Прожорливый бот YandexSomething

Здесь вы можете получить тех.поддержку по форуму, ознакомиться с информацией о форуме. А так же оставить ваше сообщение о работе форума: замечания, пожелания, предложения и т. д.
Правила форума
Местная Конституция | FAQ - Часто задаваемые вопросы | Для новичков! | Реклама на форуме! | Публикация сообщений | Как вставить картинку или файл

Помните, поблагодарить автора за интересное сообщение, вы можете - нажав Изображение или повысить его репутацию - нажав Изображение в сообщении.
Прежде чем задать вопрос, воспользуйтесь поиском - возможно, что такая тема уже есть на форуме. За нарушение правил Ваш вопрос может быть удален без объяснения причин!
Аватара пользователя
elhouse
Автор темы
Russia
Председатель клуба
Председатель клуба
Генеральный директор
Генеральный директор

Прожорливый бот YandexSomething

Сообщение elhouse » 11 мар 2013, 20:21

Вот и на наш форум пришёл Прожорливый бот YandexSomething

Насколько я знаю, этот бот заходит только на большие, новостные сайты. Неужели мы тоже стали большими?

---------------------------------------------

О боте

Компания SmartWeb, владеющая проектами-каталогами UAProm.net и RUProm.net, вынуждена была забанить сумасшедшего робота "Яндекса", который выкачивал десятки страниц в секунду.

"Сегодня наш сервер переполнил количество соединений с СУБД из-за излишней прожорливости YandexSomething-бота", - сообщается в блоге компании 15 июня. Далее говорится, что в этот день между 20 и 21 часами робопаук выкачал 19238 страниц на серверах uaprom.net и ruprom.net, доходя до 12 страниц в секунду. В твиттере той же компании говорится уже про 20-30 запросов в секунду.

Бот YandexSomething описывается в разных источниках как робот, "индексирующий новостные потоки партнеров Яндекс-Новостей". Однако, судя по обсуждениям в форумах, он донимает не только новостные сайты.

В связи с высокой нагрузкой владельцы сайтов RUProm.net и UAProm.net забанили этого бешеного бота через robots.txt. Но сегодня они выяснили, что это приводит к мстительному эффекту - "Яндекс" вообще перестал индексировать их сайт. Пришлось заменить полный запрет бота (Disallow) на уменьшение частоты доступа (Crawl-delay).

Стоит заметить, что уже не первый случай сумасшествия поисковых пауков. В начале мая хостинг-компания "Мастерхост" перестала пускать роботов "Яндекса" на сайты своих клиентов, так как эти роботы тоже производили эффект DoS-атаки. Представители робота отмазались весьма стандартно: Александр Садовский заявил, что это связано всего лишь с переносом обхода сайтов ботами с ночного времени на дневное, и назвал DoS-защиту "Мастерхоста" несложной - дескать, это она ошиблась, а вовсе не "Яндекс".

Ровно те же аргументы использовала в 2006 году Webalta, чей робот создавал перегрузки у провайдеров. Представители поисковика тоже говорили тогда, что во всем виноваты вебмастера, которые не легли под робота именно в той позе, которую захотел робот в этот день.
Электромонтажные работы на дачах и квартирах г. Москва.
Интернет-магазин «Electric House». Стабилизаторы напряжения, инверторы, ИБП, аккумуляторы. Voltron, Voltron 3D, Энергия, Энергия Classic/Ultra.
Все тематические вопросы и ответы на них, только на форуме! В личку по электрике не отвечаю.

Стабилизатор напряжения - Энергия СНВТ-10000/1 Hybrid
Энергия СНВТ-10000/1 Hybrid
Стабилизатор напряжения


Высокоточный гибридный стабилизатор с плавной регулировкой, выдерживающий сильные просадки и скачки напряжения.

20.900 руб.

Прожорливый бот YandexSomething

Сообщение Объявления » 11 мар 2013, 20:21

Аватара пользователя
nikola
Russia
Гуру клуба
Гуру клуба
Старший энергетик
Старший энергетик

Re: Прожорливый бот YandexSomething

Сообщение nikola » 12 мар 2013, 17:02

Скорее мы стали не маленькими, очень заметными и самыми продвинутыми ...
Все тематические вопросы и ответы на них, только на форуме! В личку по электрике не отвечаю.

Стабилизатор напряжения - Энергия Люкс-1000
Энергия Люкс-1000
Стабилизатор напряжения


Бытовой стабилизатор со встроенным фильтром сетевых помех. Защитит от скачков и просадок напряжения.

2.500 руб.

Рекомендуемый контент

 Ещё страницы сайта »


Вернуться в «Тех.поддержка»

Кто на форуме

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 0 гостей