Краулинговый бюджет

Что это значит

Краулинговый бюджет - это число страниц сайта, которые поисковая система готова и способна обойти за определённое время. Он складывается из того, сколько запросов сервер выдержит без замедления, и из того, насколько поисковик заинтересован в контенте с учётом его популярности и свежести.

Для небольшого сайта с несколькими сотнями страниц краулинговый бюджет практически не важен, робот обойдёт их легко. Он важен для крупных интернет-магазинов, каталогов и порталов с десятками тысяч адресов, где решает, как быстро новые товары или статьи попадут в индекс.

Бюджет тратят и адреса без ценности: дублированный контент, бесконечные комбинации фильтров, параметры в URL, цепочки редиректов и битые ссылки. Робот тогда тратит время на балласт и реже посещает важные страницы.

Как это работает на практике

Первый шаг - выяснить, куда робот на самом деле ходит. Отчёт в Search Console показывает число запросов и время ответа сервера, более точную картину дают серверные логи, где видно, какие адреса робот посещает часто, а какие не посещает вовсе.

Экономия достигается уборкой: фильтры без поисковой ценности закрываются в robots.txt, варианты страниц объединяются через канонический URL, а редиректы сокращаются до одного шага. Быстрый сервер и лёгкие страницы позволяют роботу успеть больше.

Актуальная XML-карта сайта с датой последнего изменения помогает роботу находить новые и изменённые страницы. Не менее важна внутренняя перелинковка: страница, на которую не ведёт ни одна ссылка, доходит до робота медленно, даже если она есть в карте сайта.

На что обратить внимание

Noindex и канонический URL напрямую бюджет не экономят, ведь робот должен скачать страницу, чтобы увидеть указание. Для экономии обхода служит robots.txt, но закрытая страница не может передать сигнал о канонической версии, поэтому инструменты нужно сочетать обдуманно.

Резкое падение числа обойдённых страниц часто означает техническую проблему, например медленный сервер, ошибки 5xx или блокировку файрволом. Исправлять её нужно быстро: при повторяющихся ошибках поисковик снижает темп обхода и восстанавливает его постепенно.