BLEXbot - что за бот такой, насколько он полезен?

программирование

(Pot) #1

Нагружает сайты, что с ним делать? Подписывается:

User Agent: Mozilla/5.0 (compatible; BLEXBot/1.0;)

Очень агрессивное поведение.


(Kharkov) #2

BLEXBot - это автоматизированный робот, который посещает страницы для изучения и анализа контента, в этом смысле он похож на роботов, используемых крупными поисковыми компаниями.

BLEXBot обходчик определяется:

Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup-crawler.com/)

Вы можете прочитать о нем подробнее: http://webmeup-crawler.com/

Вы можете блокировать его 2 способами.

  1. Через robots.txt:
User-agent: BLEXBot
Disallow: /
  1. Через .htaccess
RewriteCond %{HTTP_USER_AGENT} BLEXBot
RewriteRule (.*) - [F,L]

Ценность BLEXBot сомнительна. Если он надоедает вам, заблокируйте его.


(Андрей Белов) #3

Я не вижу в нем пользы. Зачем он? Кто-то для SEO собирает данные. SEO манипуляции лично для меня оборачиваются только одним - проблемами. Письма, спам и т.д.

Посему не только этого бота, но и ряд других.

RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} MJ12bot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} Detectify
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} dotbot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} Riddler
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} SemrushBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} LinkpadBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} BLEXBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} FlipboardProxy
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} aiHitBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} trovitBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} BUbiNG
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} MauiBot
RewriteRule (.*) - [F,L]

Например, в .htaccess
Это самый простой метод.