Robots.txt

Що це означає

Robots.txt - простий текстовий файл у кореневому каталозі сайту, наприклад за адресою domena.sk/robots.txt. Він містить вказівки для автоматичних роботів, які обходять сайт, тобто для роботів пошуковиків і сервісів штучного інтелекту. Правила кажуть, які частини сайту можна сканувати, а які ні, і де розміщено карту сайту.

Файл складається з блоків, що починаються зазначенням робота й продовжуються правилами Disallow і Allow для конкретних шляхів. Правила можуть діяти для всіх роботів одразу або лише для вибраних, наприклад для робота конкретного пошуковика чи ШІ-сервісу. Формат стандартизований, і більшість сумлінних роботів його дотримуються.

Robots.txt керує скануванням, а не індексацією. Якщо на заборонену сторінку ведуть посилання з інших сайтів, пошуковик може включити її до видачі й без читання вмісту. Для виключення сторінки з видачі слугує тег noindex, але робот побачить його, лише якщо ви дозволите сканувати сторінку.

Як це працює на практиці

Для звичайного корпоративного сайту досить простого robots.txt, який нічого не забороняє й вказує на карту сайту. Заборона має сенс для технічних розділів, наприклад адміністрування, результатів внутрішнього пошуку, кошика чи нескінченних комбінацій фільтрів в інтернет-магазині, які марно витрачали б ресурси роботів і не приносили користі.

Останніми роками robots.txt використовують і для рішення, чи відкривати контент роботам ШІ-сервісів. Фірма може дозволити їх, щоб її контент з'являвся у відповідях асистентів, що пов'язано з GEO-оптимізацією, або заборонити. Доповненням може бути файл llms.txt, який пропонує ШІ-інструментам огляд вмісту.

Після кожної зміни сайту радимо перевіряти, чи не блокує robots.txt помилково важливі сторінки або файли CSS і JavaScript, потрібні пошуковику для відображення сторінки. Інструменти для вебмайстрів дають змогу перевірити, як пошуковик розуміє правила, і попереджають про помилки.

На що звернути увагу

Найчастіша й найдорожча помилка - залишити правило, що забороняє весь сайт, після запуску нової версії. Розробники додають його на тестове середовище, і під час розгортання воно залишається. Сайт потім поступово зникає з пошуку. Перевірка robots.txt має входити до кожного запуску.

Robots.txt - не засіб безпеки. Файл публічний, і будь-хто може прочитати, які шляхи ви хочете приховати. Шкідливі роботи до того ж його ігнорують. Чутливий контент треба захищати авторизацією або взагалі не розміщувати на публічному сайті, а не просто забороняти в robots.txt.