Краулінговий бюджет

Що це означає

Краулінговий бюджет - це кількість сторінок сайту, які пошукова система готова й здатна обійти за певний час. Він складається з того, скільки запитів сервер витримає без уповільнення, і з того, наскільки пошуковик зацікавлений у контенті з огляду на його популярність і свіжість.

Для невеликого сайту з кількома сотнями сторінок краулінговий бюджет практично не важливий, робот обійде їх легко. Він важливий для великих інтернет-магазинів, каталогів і порталів із десятками тисяч адрес, де вирішує, як швидко нові товари чи статті потраплять до індексу.

Бюджет витрачають і адреси без цінності: дубльований контент, нескінченні комбінації фільтрів, параметри в URL, ланцюжки редиректів і биті посилання. Робот тоді витрачає час на баласт і рідше відвідує важливі сторінки.

Як це працює на практиці

Перший крок - з'ясувати, куди робот насправді ходить. Звіт у Search Console показує кількість запитів і час відповіді сервера, точнішу картину дають серверні логи, де видно, які адреси робот відвідує часто, а які не відвідує зовсім.

Економія досягається прибиранням: фільтри без пошукової цінності закривають у robots.txt, варіанти сторінок об'єднують через канонічний URL, а редиректи скорочують до одного кроку. Швидкий сервер і легкі сторінки дають роботу змогу встигнути більше.

Актуальна XML-карта сайту з датою останньої зміни допомагає роботу знаходити нові й змінені сторінки. Не менш важлива внутрішня перелінковка: сторінка, на яку не веде жодне посилання, доходить до робота повільно, навіть якщо вона є в карті сайту.

На що звернути увагу

Noindex і канонічний URL безпосередньо бюджет не економлять, адже робот мусить завантажити сторінку, щоб побачити вказівку. Для економії обходу служить robots.txt, але закрита сторінка не може передати сигнал про канонічну версію, тож інструменти треба поєднувати виважено.

Різке падіння кількості обійдених сторінок часто означає технічну проблему, наприклад повільний сервер, помилки 5xx або блокування файрволом. Виправляти її треба швидко: за повторюваних помилок пошуковик знижує темп обходу і відновлює його поступово.