Сетевые боты, боты веба и им подобные

Тема в разделе "Web Технологии", создана пользователем FussesDemon, 29 апр 2020.

  1. FussesDemon

    FussesDemon Администратор Администратор

    Регистрация:
    9 фев 2005
    Сообщения:
    2.742
    Симпатии:
    377
    На протяжение уже достаточно долго времени заметил что есть боты компаний которые себя описывают как компании по продвижению веб сайтов. Конечно и не только такие компании если верить описанию сайтов. Есть и которые на подобие web.archive.org себя вещают. Но вот плодов их работы нет нигде, я не нашел..глубоко не копался конечно.

    По какому алгоритму выбирают ресурс для меня остается загадкой. Так же остается не понятным выхлоп их работы всей. Раньше замечал в части общего трафика и особо их количество мизерным. Сейчас же на сайте с посещением 1 живого человека в месяц. Подобные боты могут сидит не выползая 24/7 Видно когда пришел поисковые боты. Они пришли и ушли и тишина. Есть интервал определённый через который цикл захода повторяется.
    С этими же ботами обстоят дела иначе. Им как медом намазано запуская число сессии вагоны одной и той же страницы. Интересно узнать в чем выхлоп подобных ботов. Можно гадать что обкатывают свою систему? То как выбирают ресурсы для этого какой алгоритм выбора и т.д.
    Если кто знает поделитесь своими мыслями предположениями.

    Сам я подозреваю что это спам боты на уровне крупных компаний. Которые пытаются найти источник зафлудить ресурс не ползая сидят. Сайт попадет в их базу, если флуд был успешен когда то ранее. И эта база переходит пополняется всеми компаниями и не моделируется.

    Решения как избавится сам еще не пробовал. Можно конечно банить по IP если предоставляют проблемы для ресурса и трафика. Или воспользоваться robots.txt если работают инструкции из описание самих ботов. Поскольку в будущем трафик начинает выглядеть внушительно как плотное посещение ресурса.
    И думаю нужно будет собирать списки и стандартно запрещать заход на сайт через правила или если их нет. Тогда мочить по адресу сети как писал на уровне веб сервера.

    Список как пример из частых. Малая часть которая возрастает.
    DotBot opensiteexplorer.org/dotbo
    AhrefsBot ahrefs.com/robot
    SemrushBot semrush.com/bot.html
    ltx71.com
    BLEXBot webmeup-crawler.com
    MJ12bot mj12bot.com
    Internet-structure-research-project-bot
    BackupLand go.backupland.com
     
    Последнее редактирование: 29 апр 2020
  2. FussesDemon

    FussesDemon Администратор Администратор

    Регистрация:
    9 фев 2005
    Сообщения:
    2.742
    Симпатии:
    377
    Решил на днях слегка уделить время этим сервисам. Как оказалось многие сидят за популярными проксями. Есть конечно неожиданные залетные гости совсем диких подсетей.
    В общем получилось примерно около 10т ипов за несколько дней наблюдения. Не очень пристального внимания но если подчитать трафик от этих 10т ипов получается очень даже нехило так.
    Если разделить айпишники поделить примерно по миру то огромная часть это Америка потом Китай, Европа, России.
    ip.unifree.ru/report-h.html беглый отчет (3мб полный 10мб) если надумаем вычислять и банить страны и компании которые занимается хрен знает чем. Баним этих упырей поголовно и смело можно сказать что автоматом назвать себя даркнетом)))
    Не могу понять за чем всем этим ботам заходить на ресурсы которые люди не посещают вообще.
     

Поделиться этой страницей