Robots.txt

Что это значит

Robots.txt - простой текстовый файл в корневом каталоге сайта, например по адресу domena.sk/robots.txt. Он содержит указания для автоматических роботов, которые обходят сайт, то есть для роботов поисковиков и сервисов искусственного интеллекта. Правила говорят, какие части сайта можно сканировать, а какие нет, и где находится карта сайта.

Файл состоит из блоков, которые начинаются указанием робота и продолжаются правилами Disallow и Allow для конкретных путей. Правила могут действовать для всех роботов сразу или только для выбранных, например для робота конкретного поисковика или ИИ-сервиса. Формат стандартизирован, и большинство добросовестных роботов его соблюдают.

Robots.txt управляет сканированием, а не индексацией. Если на запрещённую страницу ведут ссылки с других сайтов, поисковик может включить её в выдачу и без чтения содержимого. Для исключения страницы из выдачи служит тег noindex, но робот увидит его, только если вы разрешите сканировать страницу.

Как это работает на практике

Для обычного корпоративного сайта достаточно простого robots.txt, который ничего не запрещает и указывает на карту сайта. Запрет имеет смысл для технических разделов, например администрирования, результатов внутреннего поиска, корзины или бесконечных комбинаций фильтров в интернет-магазине, которые зря расходовали бы ресурсы роботов и не приносили пользы.

В последние годы robots.txt используют и для решения, открывать ли контент роботам ИИ-сервисов. Фирма может разрешить их, чтобы её контент появлялся в ответах ассистентов, что связано с GEO-оптимизацией, или запретить. Дополнением может быть файл llms.txt, который предлагает ИИ-инструментам обзор содержимого.

После каждого изменения сайта рекомендуем проверять, не блокирует ли robots.txt по ошибке важные страницы или файлы CSS и JavaScript, которые поисковику нужны для отрисовки страницы. Инструменты для веб-мастеров позволяют проверить, как поисковик понимает правила, и предупреждают об ошибках.

На что обратить внимание

Самая частая и самая дорогая ошибка - оставить правило, запрещающее весь сайт, после запуска новой версии. Разработчики добавляют его на тестовую среду, и при развёртывании оно остаётся. Сайт затем постепенно исчезает из поиска. Проверка robots.txt должна входить в каждый запуск.

Robots.txt - не средство безопасности. Файл публичный, и любой может прочитать, какие пути вы хотите скрыть. Вредоносные роботы к тому же его игнорируют. Чувствительный контент нужно защищать авторизацией или вообще не размещать на публичном сайте, а не просто запрещать в robots.txt.