Robots.txt

Čo to znamená

Robots.txt je jednoduchý textový súbor umiestnený v koreňovom adresári webu, napríklad na adrese domena.sk/robots.txt. Obsahuje pokyny pre automatické roboty, ktoré prehľadávajú web, teda pre roboty vyhľadávačov aj pre roboty služieb umelej inteligencie. Pravidlá hovoria, ktoré časti webu smú prehľadávať a ktoré nie, a kde nájdu mapu stránok.

Súbor sa skladá z blokov, ktoré začínajú určením robota a pokračujú pravidlami Disallow a Allow pre konkrétne cesty. Pravidlá môžu platiť pre všetkých robotov naraz alebo len pre vybraných, napríklad pre robota konkrétneho vyhľadávača či AI služby. Formát je štandardizovaný a väčšina slušných robotov ho rešpektuje.

Robots.txt riadi prehľadávanie, nie indexáciu. Ak na zakázanú stránku vedú odkazy z iných webov, vyhľadávač ju môže zaradiť do výsledkov aj bez prečítania obsahu. Na vylúčenie stránky z výsledkov slúži značka noindex, ktorú však robot uvidí, len ak mu stránku dovolíte prehľadať.

Ako to funguje v praxi

Pre bežný firemný web stačí jednoduchý robots.txt, ktorý nič nezakazuje a odkazuje na mapu stránok. Zákaz má zmysel pri technických častiach, napríklad administrácii, výsledkoch interného vyhľadávania, košíku či nekonečných kombináciách filtrov v e-shope, ktoré by robotom zbytočne míňali kapacitu a nepriniesli hodnotu.

V posledných rokoch sa robots.txt používa aj na rozhodnutie, či web sprístupní obsah robotom AI služieb. Firma sa môže rozhodnúť ich povoliť, aby sa jej obsah objavoval v odpovediach asistentov, čo súvisí s GEO optimalizáciou, alebo ich zakázať. Doplnkom môže byť súbor llms.txt, ktorý AI nástrojom ponúka prehľad obsahu.

Po každej zmene webu odporúčame overiť, či robots.txt omylom neblokuje dôležité stránky alebo súbory CSS a JavaScript, ktoré vyhľadávač potrebuje na vykreslenie stránky. Nástroje pre správcov webu umožňujú otestovať, ako vyhľadávač pravidlá chápe, a upozornia na chyby.

Na čo si dať pozor

Najčastejšou a najdrahšou chybou je ponechanie pravidla, ktoré zakazuje celý web, po spustení novej verzie. Vývojári ho pridávajú na testovacie prostredie a pri nasadení zostane. Web potom postupne mizne z výsledkov vyhľadávania. Kontrola robots.txt má byť súčasťou každého spustenia.

Robots.txt nie je bezpečnostný nástroj. Súbor je verejný a ktokoľvek si prečíta, ktoré cesty chcete skryť. Škodlivé roboty ho navyše ignorujú. Citlivý obsah treba chrániť prihlásením alebo ho na verejnom webe vôbec nemať, nie len zakázať v robots.txt.