Пошуковий робот

Що це означає

Пошуковий робот, або краулер, - це програма пошукової системи чи AI-сервісу, яка автоматично ходить за посиланнями, завантажує сторінки й передає їх на обробку. Лише після цього кроку сторінка може пройти індексацію і з'явитися в результатах пошуку.

Відомі роботи Googlebot і Bingbot, до них додалися роботи мовних моделей, які збирають тексти для навчання або для відповідей у реальному часі. Кожен представляється своїм user-agent, а сумлінні роботи дотримуються правил у файлі robots.txt.

Робот читає сайт не як людина. Він бачить HTML-код, посилання, заголовки та структуровані дані, а контент, що з'являється лише після виконання JavaScript, обробляє пізніше або не обробляє зовсім. Тому для SEO вигідно, коли основний текст є вже в HTML від сервера, наприклад через SSR.

Як це працює на практиці

Які розділи сайту робот може обходити, визначає robots.txt, а що включати до індексу, регулює тег noindex. Нові сторінки робот знаходить за посиланнями та через XML-карту сайту, адресу якої корисно вказати прямо в robots.txt.

На великих сайтах вирішує, скільки сторінок робот встигне обійти, тобто краулінговий бюджет. Повільний сервер, помилки й нескінченні фільтри призводять до того, що важливі сторінки відвідуються рідко, а зміни цін чи нові товари з'являються в пошуку із запізненням.

Для AI-роботів з'являється додатковий файл llms.txt зі стислим оглядом сайту. Фірма може вирішити, яких AI-роботів пускати: блокування захищає контент від навчання, але знижує шанс, що AI-асистенти згадають її й пошлються на її сторінки.

На що звернути увагу

User-agent легко підробити, тому не кожен відвідувач з ім'ям Googlebot справді Google. Справжність робота перевіряють зворотним DNS-записом або опублікованими діапазонами IP-адрес, що важливо під час налаштування файрвола й захисту від шкідливих ботів.

Robots.txt не інструмент безпеки, а лише ввічливе прохання, яке шкідливі роботи ігнорують. Непублічні дані треба захищати паролем або входом у систему, а не забороною в robots.txt, яка, навпаки, видає, де лежить чутливий контент.