Re: [apache-rus] robots.txt

[Mikhail Zabaluev <mzabal@module.ru>]

Ilya Segalovich wrote:
> 
> К большому сожалению, ни заголовок Content-Type, ни прописанные в теле
> документа
> <meta http-equiv="content-type" content="text/html; charset=...">
> во многих случаях не соответствуют реальной кодировке документа. Именно
> поэтому приходится запускать автоопределитель всегда. Так делают ВСЕ русские
> искалки.
> (Если я ошибаюсь, пусть меня поправят  :-)).
> 
> Типичный пример -- провайдер требует размещения персональных страниц в
> кодировке "koi8-r", а пользователь, ничтоже сумняшеся, кладет туда
> "windows-1251". Второй типичный пример -- www-board-ы с неконтролируемой
> смесью кодировок.

И вы, конечно, индексируете всю эту кривизну, не задумываясь о том, что
такой документ, скажем, Netscape правильно отображать не будет никак.
=============================================================================
=               Apache-Rus@lists.lexa.ru mailing list                       =
Mail "unsubscribe apache-rus" to majordomo@lists.lexa.ru if you want to quit.
=       Archive avaliable at http://www.lexa.ru/mail-archive                =