Re: [apache-rus] robots.txt

[Eugene Grosbein <eugen@svzserv.kemerovo.su>]

> Кстати, по сути вопроса - как бороться с роботами?
> 
> 1. Теми которые в user-agent говорят реальные имена?
>    Можно ли их перебрасывать на малоресурсоемкие странички?
>    Как это сделать?
> 
> 2. Как бороться с роботами притворяющимися людьми?
>    Ставить счетчик на ip адрес?
>    Или есть более корректные способы?

Попытка борьбы с притворяющимеся людьми роботами сделана в
mod_perl-модуле SpeedLimit - если от клиента количество запросов 
в секунду на протяжении данного времени больше данной величины, 
отключить этого клиента на даннюе время. Клиент есть пара 
(ip,user-agent). Три параметра конфигурации, полторы страницы
perl-кода. Но мне что-то не хочется его использовать, хотя и у
меня и используется mod_perl, все же весь сервер через perl 
пропускать - думаю, тормозно будет.

Евгений Гросбейн.
=============================================================================
=               Apache-Rus@lists.lexa.ru mailing list                       =
Mail "unsubscribe apache-rus" to majordomo@lists.lexa.ru if you want to quit.
=       Archive avaliable at http://www.lexa.ru/mail-archive                =