In original message Alex Tutubalin writes:
> Hi!
>
> alr> страницы генерит ссылки на следующие и предыдущие страницы. В этом href'e
> alr> есть и искомая строка, понятное дело, что в encoded формате (типа
> alr> %C0%A5). Проблема в том, что при переходе на другую страницу htdig
> alr> получает эту строку в не koi8-r кодировке - запрос перекодирован сервером
> alr> (например, из win в koi), хотя этого делать в данном случае не нужно.
> alr> Посему, после того, как я понял, в чем дело, был сделан небольшой fix,
> alr> который не дает encodить кириллицу.
> Правильно это или нет я не знаю, но вариантов нет. Сканировать весь вывод cgi
> на предмет href=... и парсить это - это еще хуже, чем meta-http выкусывать.
Да и не сервера это дело...
>
> Но вообще я не уверен, что нужно одним engine индексировать все сайты. Потому
> как кому нужна смесь politika.ru и apache.lexa.ru, например :)
Для этого у htdig есть параметр restrict - пишем, например,
<input type=hidden name=restrict value="atn.itl.net.ua"> и после
этого ищем только на http://atn.itl.net.ua. Достаточно удобно, IMHO...
Можно также приделать <select> какой-нить.. Но в каждом конкретном случае
нужно выбирать наиболее оптимальный вариант.
>
Кстати, немного не в тему - о FP Extentions. Кто нибудь поборол в нем
поиск по русски его чертовым bot'ом ? FP ext. установлены на unix'e (bsdi).
--
Dmitry A.Deineka
nic-hdl DD4271
ITL Communications
"Russian Apache" includes software developed
by the Apache Group for use in the Apache HTTP server project
(http://www.apache.org/) See
Apache LICENSE.
Copyright (C) 1995-2001 The Apache Group. All rights reserved.
Copyright (C) 1996 Dm. Kryukov; Copyright (C)
1997-2009 Alex Tutubalin. Design (C) 1998 Max Smolev.