Re: [apache-rus] robots.txt

[Mikhail Zabaluev <mzabal@module.ru>]

Привет.

Eugene Grosbein wrote:
> 
> Живой пример: Googlebot на днях вызвал DoS на моем сервере с
> Apache 1.3.9, просто оккупировал надолго все 20 MaxClients и не хотел
> отдавать. Не помогла даже такая жестокая вещь, как
> ipfw add 10000 reset tcp from c9.googlebot.com to $my_ip 80
> Он продолжал долбиться в течение нескольких часов.
> Пришлось ставить mod_blockagent и отрезать Googlebot/1.0 по user-agent.

Нет, ну таких, конечно, надо давить :(

На общую тему: если включен auto redirect, можно "пасти" роботов в URL
по умолчанию, включив CharsetNoAutoRedirectForDefaultCharset. И,
наверное, можно настроить mod_rewrite или еще чего, чтобы возвращать
забредших в специфически "кодировочные" места роботов с известным
user-agent.
=============================================================================
=               Apache-Rus@lists.lexa.ru mailing list                       =
Mail "unsubscribe apache-rus" to majordomo@lists.lexa.ru if you want to quit.
=       Archive avaliable at http://www.lexa.ru/mail-archive                =