На протяжение уже достаточно долго времени заметил что есть боты компаний которые себя описывают как компании по продвижению веб сайтов. Конечно и не только такие компании если верить описанию сайтов. Есть и которые на подобие web.archive.org себя вещают. Но вот плодов их работы нет нигде, я не нашел..глубоко не копался конечно.
По какому алгоритму выбирают ресурс для меня остается загадкой. Так же остается не понятным выхлоп их работы всей. Раньше замечал в части общего трафика и особо их количество мизерным. Сейчас же на сайте с посещением 1 живого человека в месяц. Подобные боты могут сидит не выползая 24/7 Видно когда пришел поисковые боты. Они пришли и ушли и тишина. Есть интервал определённый через который цикл захода повторяется.
С этими же ботами обстоят дела иначе. Им как медом намазано запуская число сессии вагоны одной и той же страницы. Интересно узнать в чем выхлоп подобных ботов. Можно гадать что обкатывают свою систему? То как выбирают ресурсы для этого какой алгоритм выбора и т.д.
Если кто знает поделитесь своими мыслями предположениями.
Сам я подозреваю что это спам боты на уровне крупных компаний. Которые пытаются найти источник зафлудить ресурс не ползая сидят. Сайт попадет в их базу, если флуд был успешен когда то ранее. И эта база переходит пополняется всеми компаниями и не моделируется.
Решения как избавится сам еще не пробовал. Можно конечно банить по IP если предоставляют проблемы для ресурса и трафика. Или воспользоваться robots.txt если работают инструкции из описание самих ботов. Поскольку в будущем трафик начинает выглядеть внушительно как плотное посещение ресурса.
И думаю нужно будет собирать списки и стандартно запрещать заход на сайт через правила или если их нет. Тогда мочить по адресу сети как писал на уровне веб сервера.
Список как пример из частых. Малая часть которая возрастает.
DotBot opensiteexplorer.org/dotbo
AhrefsBot ahrefs.com/robot
SemrushBot semrush.com/bot.html
ltx71.com
BLEXBot webmeup-crawler.com
MJ12bot mj12bot.com
Internet-structure-research-project-bot
BackupLand go.backupland.com
По какому алгоритму выбирают ресурс для меня остается загадкой. Так же остается не понятным выхлоп их работы всей. Раньше замечал в части общего трафика и особо их количество мизерным. Сейчас же на сайте с посещением 1 живого человека в месяц. Подобные боты могут сидит не выползая 24/7 Видно когда пришел поисковые боты. Они пришли и ушли и тишина. Есть интервал определённый через который цикл захода повторяется.
С этими же ботами обстоят дела иначе. Им как медом намазано запуская число сессии вагоны одной и той же страницы. Интересно узнать в чем выхлоп подобных ботов. Можно гадать что обкатывают свою систему? То как выбирают ресурсы для этого какой алгоритм выбора и т.д.
Если кто знает поделитесь своими мыслями предположениями.
Сам я подозреваю что это спам боты на уровне крупных компаний. Которые пытаются найти источник зафлудить ресурс не ползая сидят. Сайт попадет в их базу, если флуд был успешен когда то ранее. И эта база переходит пополняется всеми компаниями и не моделируется.
Решения как избавится сам еще не пробовал. Можно конечно банить по IP если предоставляют проблемы для ресурса и трафика. Или воспользоваться robots.txt если работают инструкции из описание самих ботов. Поскольку в будущем трафик начинает выглядеть внушительно как плотное посещение ресурса.
И думаю нужно будет собирать списки и стандартно запрещать заход на сайт через правила или если их нет. Тогда мочить по адресу сети как писал на уровне веб сервера.
Список как пример из частых. Малая часть которая возрастает.
DotBot opensiteexplorer.org/dotbo
AhrefsBot ahrefs.com/robot
SemrushBot semrush.com/bot.html
ltx71.com
BLEXBot webmeup-crawler.com
MJ12bot mj12bot.com
Internet-structure-research-project-bot
BackupLand go.backupland.com
Последнее редактирование: