Crawl budget

Čo to znamená

Crawl budget je počet stránok webu, ktoré je vyhľadávač ochotný a schopný prehľadať za určitý čas. Skladá sa z toho, koľko požiadaviek server zvládne bez spomalenia, a z toho, ako veľmi vyhľadávač o obsah stojí podľa jeho populárnosti a čerstvosti.

Pri malom webe s niekoľkými stovkami stránok crawl budget prakticky nerieši nikto, robot ich prejde ľahko. Dôležitý je pri veľkých e-shopoch, katalógoch a portáloch s desaťtisícami adries, kde rozhoduje, ako rýchlo sa nové produkty či články dostanú do indexu.

Rozpočet míňajú aj adresy, ktoré nemajú hodnotu: duplicitný obsah, nekonečné kombinácie filtrov, parametre v URL, presmerovacie reťazce a nefunkčné odkazy. Robot potom trávi čas na balaste a dôležité stránky navštevuje zriedkavejšie.

Ako to funguje v praxi

Prvým krokom je zistiť, kam robot naozaj chodí. Prehľad v Search Console ukazuje počet požiadaviek a odozvu servera, presnejší obraz dávajú serverové logy, kde vidno, ktoré adresy robot navštevuje často a ktoré vôbec.

Úspora sa dosahuje upratovaním: filtre bez vyhľadávacej hodnoty sa blokujú v robots.txt, varianty stránok sa zjednocujú cez kanonickú URL a presmerovania sa skracujú na jeden krok. Rýchly server a malá veľkosť stránok umožnia robotovi stihnúť viac.

Aktuálna XML mapa stránok s dátumom poslednej zmeny pomáha robotovi nájsť nové a zmenené stránky. Rovnako dôležité je vnútorné prelinkovanie: stránka, na ktorú nevedie žiadny odkaz, sa k robotovi dostane pomaly, aj keď je v mape stránok.

Na čo si dať pozor

Noindex a kanonická URL crawl budget priamo nešetria, pretože robot musí stránku stiahnuť, aby pokyn videl. Na úsporu prehľadávania slúži robots.txt, no zablokovaná stránka zas nemôže odovzdať signál o kanonickej verzii, preto treba nástroje kombinovať s rozmyslom.

Náhle zníženie počtu prehľadaných stránok často znamená technický problém, napríklad pomalý server, chyby 5xx alebo zablokovaný firewall. Opraviť ho treba rýchlo, pretože vyhľadávač pri opakovaných chybách tempo prehľadávania zníži a obnovuje ho postupne.