Re: [apache-rus] robots.txt

[Mikhail Zabaluev <mzabal@module.ru>]

Привет.

Ilya Segalovich wrote:
> 
> ПРЕДЛОЖЕНИЕ:
> Хорошо бы русский apache раздавался с предопределенным robots.txt или с
> рекомендациями по его написанию с таким смыслом:
> 
> -- В robots.txt на сайтах с русским апачем должны быть запрещены для роботов
> все кодировки кроме основной. --

Тут есть одно "но". Роботы, особенно русские, вероятно, желали бы иметь
URL для каждой кодировки, в которой доступна страница. В Яндексе,
например, по запросу сплошь и рядом выдаются несколько альтернативных
URL для одной и той же страницы, естественно, с пометкой о кодировке.

Если сделать все кодировки, кроме какой-то одной, недоступными для робота,
это потребует от него прямо-таки телепатических усилий, чтобы догадаться,
что эти альтернативные URL существуют и как они именуются. В общем случае,
эта задача не может быть решена без доступа к httpd.conf
Т.е. по-хорошему надо как-то расширять конвенцию robots.txt и проводить
эти расширения у разработчиков роботов.

P.S. Неужели роботы основных искалок настолько нетактичны, что создают
плотный траффик? Мне казалось, у них разумные задержки между запросами.
=============================================================================
=               Apache-Rus@lists.lexa.ru mailing list                       =
Mail "unsubscribe apache-rus" to majordomo@lists.lexa.ru if you want to quit.
=       Archive avaliable at http://www.lexa.ru/mail-archive                =