-
- Объявления
Электромонтаж Электромонтажные работы в деревянном доме. www.electric-house.ru |
Местная Конституция | FAQ - Часто задаваемые вопросы | Для новичков! | Реклама на форуме! | Публикация сообщений | Как вставить картинку или файл
Прежде чем задать вопрос, воспользуйтесь поиском - возможно, что такая тема уже есть на форуме. За нарушение правил Ваш вопрос может быть удален без объяснения причин!
Вы можете настроить отображение форума по вашему усмотрению - "Помощь и справка". Сообщения вида "Форум перегружен" не принимаются!
-
- Сообщение
Прожорливый бот YandexSomething
Насколько я знаю, этот бот заходит только на большие, новостные сайты. Неужели мы тоже стали большими?
---------------------------------------------
О боте
Компания SmartWeb, владеющая проектами-каталогами UAProm.net и RUProm.net, вынуждена была забанить сумасшедшего робота "Яндекса", который выкачивал десятки страниц в секунду.
"Сегодня наш сервер переполнил количество соединений с СУБД из-за излишней прожорливости YandexSomething-бота", - сообщается в блоге компании 15 июня. Далее говорится, что в этот день между 20 и 21 часами робопаук выкачал 19238 страниц на серверах uaprom.net и ruprom.net, доходя до 12 страниц в секунду. В твиттере той же компании говорится уже про 20-30 запросов в секунду.
Бот YandexSomething описывается в разных источниках как робот, "индексирующий новостные потоки партнеров Яндекс-Новостей". Однако, судя по обсуждениям в форумах, он донимает не только новостные сайты.
В связи с высокой нагрузкой владельцы сайтов RUProm.net и UAProm.net забанили этого бешеного бота через robots.txt. Но сегодня они выяснили, что это приводит к мстительному эффекту - "Яндекс" вообще перестал индексировать их сайт. Пришлось заменить полный запрет бота (Disallow) на уменьшение частоты доступа (Crawl-delay).
Стоит заметить, что уже не первый случай сумасшествия поисковых пауков. В начале мая хостинг-компания "Мастерхост" перестала пускать роботов "Яндекса" на сайты своих клиентов, так как эти роботы тоже производили эффект DoS-атаки. Представители робота отмазались весьма стандартно: Александр Садовский заявил, что это связано всего лишь с переносом обхода сайтов ботами с ночного времени на дневное, и назвал DoS-защиту "Мастерхоста" несложной - дескать, это она ошиблась, а вовсе не "Яндекс".
Ровно те же аргументы использовала в 2006 году Webalta, чей робот создавал перегрузки у провайдеров. Представители поисковика тоже говорили тогда, что во всем виноваты вебмастера, которые не легли под робота именно в той позе, которую захотел робот в этот день.
-
- Сообщение
Re: Прожорливый бот YandexSomething
-
- Ссылки на тему
Ссылка: | |
BBcode: | |
HTML: |
-
- Объявления
Кто на форуме
Всего посетителей: 1, из них зарегистрированных: 0, скрытых: 0 и гостей: 1 (основано на активности пользователей за последние 10 минут)
Больше всего посетителей (279) здесь было 04 сен 2013, 15:45
Сейчас эту тему просматривают: нет зарегистрированных пользователей и гости 1
Права доступа
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения
Легенда
Новые сообщения | Нет новых сообщений | Форум закрыт | |||
Подфорум Новые сообщения | Подфорум Нет новых сообщений | Ссылка на форум |
-
- Объявления
phpBB® Forum Software © phpBB Group
Русская поддержка phpBB Связь с администрацией Администраторский раздел |
|