Каталог Маркетплейс

Защита сайта от программ парсинга, которые подставляют в User-Agent данные поисковых роботов.
Решение позволяет увеличить защиту от парсинга, блокируя запросы от программных средств, осуществляющих парсинг сайтов.

Модуль проверяет роботов с помощью обратного DNS-запроса, если обратный ответ пришел не от поисковой системы, то данный юзер будет заблокирован с ошибкой 403.

Поддерживаемые роботы:

• Googlebot
  
• Yandex
  
• Mail
  
• Bing
  

Справка о проверке принадлежности роботов Яндексу: https://yandex.ru/support/webmaster/robot-workings/check-yandex-robots.html

Справка о проверке принадлежности роботов Google: https://developers.google.com/search/docs/crawling-indexing/verifying-googlebot