Re[2]: [apache-rus] robots.txt

[Oleg Ilin <ilin@rinet.ru>]

Hello Mikhail,

Tuesday, December 14, 1999, 6:14:30 PM, you wrote:

MZ> На общую тему: если включен auto redirect, можно "пасти" роботов в URL
MZ> по умолчанию, включив CharsetNoAutoRedirectForDefaultCharset. И,
MZ> наверное, можно настроить mod_rewrite или еще чего, чтобы возвращать
MZ> забредших в специфически "кодировочные" места роботов с известным
MZ> user-agent.

O lala!
А знаете чем это кончится?
Тем что роботы начнут притворяться людьми :)
Кстати я с такими уже встречался.


Кстати, по сути вопроса - как бороться с роботами?

1. Теми которые в user-agent говорят реальные имена?
   Можно ли их перебрасывать на малоресурсоемкие странички?
   Как это сделать?

2. Как бороться с роботами притворяющимися людьми?
   Ставить счетчик на ip адрес?
   Или есть более корректные способы?

Best regards,
 Oleg                            mailto:ilin@rinet.ru


=============================================================================
=               Apache-Rus@lists.lexa.ru mailing list                       =
Mail "unsubscribe apache-rus" to majordomo@lists.lexa.ru if you want to quit.
=       Archive avaliable at http://www.lexa.ru/mail-archive                =