Start a conversation

Как запретить ботам посещать сайт?

На скорость загрузки сайта, помимо параметров сервера где расположен сайт, влияет нагрузка на сайт со стороны роботов различных сервисов и спам-ботов. Поэтому, очень полезно запретить нежелательным “посетителям” заходить на ваш сайт.

Достаточно эффективным решением будет сделать это с помощью директив в файле .htaccess. Запретить ботам посещать сайт можно, используя User-Agent.

Ниже приведен пример директив, которые запрещают доступ к сайт для бота, User-Agent которого AhrefsBot.

Вариант 1:

<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} “.*AhrefsBot.*” [OR]
RewriteRule “.*” “-” [F]
</IfModule>

Вариант 2:

RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule (.*) – [F,L]

Choose files or drag and drop files
Was this article helpful?
Yes
No
  1. Andrii Rudkivskyi

  2. Posted
  3. Updated

Comments