Noindex

Що це означає

Noindex - вказівка пошуковикам не включати конкретну сторінку до свого індексу й не показувати її в результатах пошуку. Її задають або міткою meta robots у коді сторінки, або заголовком X-Robots-Tag у відповіді сервера, що працює й для файлів на кшталт PDF чи зображень.

Щоб пошуковик побачив вказівку noindex, він має спершу відвідати сторінку. Тож noindex не можна поєднувати із забороною обходу у файлі robots.txt: якщо роботу не можна зайти на сторінку, він ніколи не прочитає вказівки, і сторінка може з’явитися в індексі за посиланнями з інших сайтів.

Noindex часто поєднують із вказівкою nofollow, яка каже роботові не переходити за посиланнями на сторінці. Але для звичайного використання досить самого noindex: за посиланнями робот може й далі переходити й знаходити через них інший контент сайту.

Як це працює на практиці

Noindex використовують для сторінок, що мають бути доступні людям, але не потрібні у видачі: внутрішній пошук, подяка після надсилання форми, кошик і оформлення замовлення в магазині, сторінки з фільтрами, сторінки входу чи версії для друку. Він допомагає й проти дубльованого контенту там, де канонічного URL недостатньо.

Цілком необхідний він для тестового середовища, тобто стейджингу. Якщо тестова копія сайту потрапить до індексу, вона конкурує з робочою версією й може показати незавершений контент. Найнадійніше закрити тестове середовище паролем, а noindex - друга страховка.

На нашому сайті noindex стоїть, наприклад, на сторінках помилки 404, щоб вони не з’являлися у видачі. Сторінки з noindex при цьому не входять до карти сайту, бо вона має містити лише адреси, які ми хочемо бачити в індексі.

На що звернути увагу

Найчастіша й найдорожча помилка - noindex, що лишився на робочому сайті після запуску, наприклад перенесений із тестового середовища. Сайт тоді поступово зникає з пошуку, і трафік падає до нуля. Після кожного запуску чи великої зміни варто перевірити, чи немає вказівки на головних сторінках.

Друга помилка - використовувати noindex і водночас канонічний URL, що вказує на іншу сторінку. Ці вказівки суперечать одна одній: канонічний URL каже, що контент - копія іншої сторінки, noindex - що сторінки в індексі не має бути зовсім. Пошуковик тоді може проігнорувати обидва сигнали.