Поисковый робот

Что это значит

Поисковый робот, или краулер, - это программа поисковой системы или AI-сервиса, которая автоматически ходит по ссылкам, скачивает страницы и передаёт их на обработку. Только после этого шага страница может пройти индексацию и появиться в результатах поиска.

Известны роботы Googlebot и Bingbot, к ним добавились роботы языковых моделей, которые собирают тексты для обучения или для ответов в реальном времени. Каждый представляется своим user-agent, а добросовестные роботы соблюдают правила в файле robots.txt.

Робот читает сайт не как человек. Он видит HTML-код, ссылки, заголовки и структурированные данные, а контент, появляющийся только после выполнения JavaScript, обрабатывает позже или не обрабатывает вовсе. Поэтому для SEO выгодно, когда основной текст есть уже в HTML от сервера, например через SSR.

Как это работает на практике

Какие разделы сайта робот может обходить, определяет robots.txt, а что включать в индекс, регулирует тег noindex. Новые страницы робот находит по ссылкам и через XML-карту сайта, адрес которой полезно указать прямо в robots.txt.

На крупных сайтах решает, сколько страниц робот успеет обойти, то есть краулинговый бюджет. Медленный сервер, ошибки и бесконечные фильтры приводят к тому, что важные страницы посещаются редко, а изменения цен или новые товары появляются в поиске с опозданием.

Для AI-роботов появляется дополнительный файл llms.txt с кратким обзором сайта. Фирма может решить, каких AI-роботов пускать: блокировка защищает контент от обучения, но снижает шанс, что AI-ассистенты упомянут её и сошлются на её страницы.

На что обратить внимание

User-agent легко подделать, поэтому не каждый посетитель с именем Googlebot действительно Google. Подлинность робота проверяют обратной DNS-записью или опубликованными диапазонами IP-адресов, что важно при настройке файрвола и защиты от вредоносных ботов.

Robots.txt не инструмент безопасности, а лишь вежливая просьба, которую вредоносные роботы игнорируют. Непубличные данные нужно защищать паролем или входом в систему, а не запретом в robots.txt, который, наоборот, выдаёт, где лежит чувствительный контент.