Сетевые боты, боты веба и им подобные

FussesDemon

Администратор
Администратор
9 Фев 2005
6.418
693
113
www.unifree.ru
На протяжение уже достаточно долго времени заметил что есть боты компаний которые себя описывают как компании по продвижению веб сайтов. Конечно и не только такие компании если верить описанию сайтов. Есть и которые на подобие web.archive.org себя вещают. Но вот плодов их работы нет нигде, я не нашел..глубоко не копался конечно.

По какому алгоритму выбирают ресурс для меня остается загадкой. Так же остается не понятным выхлоп их работы всей. Раньше замечал в части общего трафика и особо их количество мизерным. Сейчас же на сайте с посещением 1 живого человека в месяц. Подобные боты могут сидит не выползая 24/7 Видно когда пришел поисковые боты. Они пришли и ушли и тишина. Есть интервал определённый через который цикл захода повторяется.
С этими же ботами обстоят дела иначе. Им как медом намазано запуская число сессии вагоны одной и той же страницы. Интересно узнать в чем выхлоп подобных ботов. Можно гадать что обкатывают свою систему? То как выбирают ресурсы для этого какой алгоритм выбора и т.д.
Если кто знает поделитесь своими мыслями предположениями.

Сам я подозреваю что это спам боты на уровне крупных компаний. Которые пытаются найти источник зафлудить ресурс не ползая сидят. Сайт попадет в их базу, если флуд был успешен когда то ранее. И эта база переходит пополняется всеми компаниями и не моделируется.

Решения как избавится сам еще не пробовал. Можно конечно банить по IP если предоставляют проблемы для ресурса и трафика. Или воспользоваться robots.txt если работают инструкции из описание самих ботов. Поскольку в будущем трафик начинает выглядеть внушительно как плотное посещение ресурса.
И думаю нужно будет собирать списки и стандартно запрещать заход на сайт через правила или если их нет. Тогда мочить по адресу сети как писал на уровне веб сервера.

Список как пример из частых. Малая часть которая возрастает.
DotBot opensiteexplorer.org/dotbo
AhrefsBot ahrefs.com/robot
SemrushBot semrush.com/bot.html
ltx71.com
BLEXBot webmeup-crawler.com
MJ12bot mj12bot.com
Internet-structure-research-project-bot
BackupLand go.backupland.com
 
Последнее редактирование:

FussesDemon

Администратор
Администратор
9 Фев 2005
6.418
693
113
www.unifree.ru
Решил на днях слегка уделить время этим сервисам. Как оказалось многие сидят за популярными проксями. Есть конечно неожиданные залетные гости совсем диких подсетей.
В общем получилось примерно около 10т ипов за несколько дней наблюдения. Не очень пристального внимания но если подчитать трафик от этих 10т ипов получается очень даже нехило так.
Если разделить айпишники поделить примерно по миру то огромная часть это Америка потом Китай, Европа, России.
ip.unifree.ru/report-h.html беглый отчет (3мб полный 10мб) если надумаем вычислять и банить страны и компании которые занимается хрен знает чем. Баним этих упырей поголовно и смело можно сказать что автоматом назвать себя даркнетом)))
Не могу понять за чем всем этим ботам заходить на ресурсы которые люди не посещают вообще.