Hi!
alr> страницы генерит ссылки на следующие и предыдущие страницы. В этом href'e
alr> есть и искомая строка, понятное дело, что в encoded формате (типа
alr> %C0%A5). Проблема в том, что при переходе на другую страницу htdig
alr> получает эту строку в не koi8-r кодировке - запрос перекодирован сервером
alr> (например, из win в koi), хотя этого делать в данном случае не нужно.
alr> Посему, после того, как я понял, в чем дело, был сделан небольшой fix,
alr> который не дает encodить кириллицу.
Правильно это или нет я не знаю, но вариантов нет. Сканировать весь вывод cgi
на предмет href=... и парсить это - это еще хуже, чем meta-http выкусывать.
Но вообще я не уверен, что нужно одним engine индексировать все сайты. Потому
как кому нужна смесь politika.ru и apache.lexa.ru, например :)
Кстати об индексаторах. Для коммерческих проектов мы покупаем Yandex и я вполне
доволен. Желающие могут попробовать на www.politika.ru/search.htm, только
учтите - это бета версия странички и часть линков там еще висячая. Я ее сделал
10 минут назад.
С уважением,Alex Tutubalin
--- GoldED 2.42.G1114+
"Russian Apache" includes software developed
by the Apache Group for use in the Apache HTTP server project
(http://www.apache.org/) See
Apache LICENSE.
Copyright (C) 1995-2001 The Apache Group. All rights reserved.
Copyright (C) 1996 Dm. Kryukov; Copyright (C)
1997-2009 Alex Tutubalin. Design (C) 1998 Max Smolev.