Crawler

Čo to znamená

Crawler, po slovensky vyhľadávací robot, je program vyhľadávača alebo AI služby, ktorý automaticky prechádza web po odkazoch, sťahuje stránky a posiela ich na spracovanie. Až po tomto kroku môže stránka prejsť indexáciou a objaviť sa vo výsledkoch vyhľadávania.

Známe sú roboty Googlebot a Bingbot, k nim pribudli roboty jazykových modelov, ktoré zbierajú texty na trénovanie alebo na odpovede v reálnom čase. Každý sa ohlasuje vlastným user-agentom a slušné roboty rešpektujú pravidlá v súbore robots.txt.

Robot nečíta web ako človek. Vidí HTML kód, odkazy, nadpisy a štruktúrované dáta, a obsah, ktorý sa objaví až po spustení JavaScriptu, spracuje neskôr alebo vôbec. Preto je pre SEO výhodné, keď je hlavný text prítomný už v serverom dodanom HTML, napríklad cez SSR.

Ako to funguje v praxi

Ktoré časti webu robot smie prehľadávať, určuje robots.txt, a čo má zaradiť do indexu, riadi značka noindex. Nové stránky robot nájde cez odkazy a XML mapu stránok, ktorej adresu je dobré uviesť priamo v robots.txt.

Pri veľkých weboch rozhoduje, koľko stránok robot stihne, teda crawl budget. Pomalý server, chyby a nekonečné filtre spôsobia, že dôležité stránky navštívi zriedka, a zmeny cien či nové produkty sa vo vyhľadávaní prejavia s oneskorením.

Pre AI roboty sa objavuje doplnkový súbor llms.txt so stručným prehľadom webu. Firma sa môže rozhodnúť, ktoré AI roboty pustí: blokovanie chráni obsah pred trénovaním, ale znižuje šancu, že ju AI asistenti spomenú a odkážu na jej stránky.

Na čo si dať pozor

User-agent sa dá ľahko sfalšovať, takže nie každý návštevník s menom Googlebot je naozaj Google. Pravosť robota overuje spätný DNS záznam alebo zverejnené rozsahy IP adries, čo je dôležité pri nastavovaní firewallu a ochrany pred škodlivými botmi.

Robots.txt nie je bezpečnostný nástroj, je to len zdvorilá prosba, ktorú škodlivé roboty ignorujú. Neverejné dáta treba chrániť heslom alebo prihlásením, nie zákazom v robots.txt, ktorý naopak prezradí, kde citlivý obsah leží.