Как запретить ботам посещать сайт?

На скорость загрузки сайта, помимо параметров сервера где расположен сайт, влияет нагрузка на сайт со стороны роботов различных сервисов и спам-ботов. Поэтому, очень полезно запретить нежелательным “посетителям” заходить на ваш сайт.

Достаточно эффективным решением будет сделать это с помощью директив в файле .htaccess. Запретить ботам посещать сайт можно, используя User-Agent.

Ниже приведен пример директив, которые запрещают доступ к сайт для бота, User-Agent которого AhrefsBot.

Вариант 1:

<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} “.*AhrefsBot.*” [OR]
RewriteRule “.*” “-” [F]
</IfModule>

Вариант 2:

RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule (.*) – [F,L]