Re: [apache-rus] robots.txt

["Ilya Segalovich" <iseg@comptek.ru>]

Привет.

----- Original Message -----
From: Mikhail Zabaluev <mzabal@module.ru>
Sent: 14 декабря 1999 г. 16:21


> Привет.
>
> Тут есть одно "но". Роботы, особенно русские, вероятно, желали бы иметь
> URL для каждой кодировки, в которой доступна страница.

По большому счету, нет.
Достаточно просто одного url-а, с указанием какая это кодировка.
Конечно красиво в рекламных целях писать, что "мы Вам сообщим адрес
документа с самой удобной для Вас кодировкой". Да только сама проблема с
невозможностью прочесть плохую кодировку уходит в прошлое. Есть масса
способов прочесть неудобную кодировку для тех несчастных (ау, где они?),
которые все еще не могут читать.

>
> Если сделать все кодировки, кроме какой-то одной, недоступными для робота,
> это потребует от него прямо-таки телепатических усилий, чтобы догадаться,
> что эти альтернативные URL существуют и как они именуются. В общем случае,
> эта задача не может быть решена без доступа к httpd.conf
> Т.е. по-хорошему надо как-то расширять конвенцию robots.txt и проводить
> эти расширения у разработчиков роботов.

Дело в том, что все равно ВСЕХ этих url-ов ни у нас, ни у апорта, ни у
рамблера нет.

Объяснение здесь простое:
"Роботы не ходят по дубликатам слишком глубоко".
Этот принцип частично снимает проблему перегрузки сети. Но только частично.

Илья


=============================================================================
=               Apache-Rus@lists.lexa.ru mailing list                       =
Mail "unsubscribe apache-rus" to majordomo@lists.lexa.ru if you want to quit.
=       Archive avaliable at http://www.lexa.ru/mail-archive                =