Noindex

Что это значит

Noindex - указание поисковикам не включать конкретную страницу в свой индекс и не показывать её в результатах поиска. Его задают либо меткой meta robots в коде страницы, либо заголовком X-Robots-Tag в ответе сервера, который работает и для файлов вроде PDF или изображений.

Чтобы поисковик увидел указание noindex, он должен сначала посетить страницу. Поэтому noindex нельзя сочетать с запретом обхода в файле robots.txt: если роботу нельзя зайти на страницу, он никогда не прочитает указание, и страница может появиться в индексе по ссылкам с других сайтов.

Noindex часто сочетают с указанием nofollow, которое говорит роботу не переходить по ссылкам на странице. Но для обычного использования достаточно одного noindex: по ссылкам робот может по-прежнему переходить и находить через них другой контент сайта.

Как это работает на практике

Noindex используют для страниц, которые должны быть доступны людям, но не нужны в выдаче: внутренний поиск, благодарность после отправки формы, корзина и оформление заказа в магазине, страницы с фильтрами, страницы входа или версии для печати. Он помогает и против дублированного контента там, где канонического URL недостаточно.

Совершенно необходим он для тестовой среды, то есть стейджинга. Если тестовая копия сайта попадёт в индекс, она конкурирует с рабочей версией и может показать незаконченный контент. Надёжнее всего закрыть тестовую среду паролем, а noindex - вторая страховка.

На нашем сайте noindex стоит, например, на страницах ошибки 404, чтобы они не появлялись в выдаче. Страницы с noindex при этом не входят в карту сайта, потому что она должна содержать только адреса, которые мы хотим видеть в индексе.

На что обратить внимание

Самая частая и самая дорогая ошибка - noindex, оставшийся на рабочем сайте после запуска, например перенесённый из тестовой среды. Сайт тогда постепенно исчезает из поиска, и трафик падает до нуля. После каждого запуска или крупного изменения стоит проверить, нет ли указания на главных страницах.

Вторая ошибка - использовать noindex и одновременно канонический URL, указывающий на другую страницу. Эти указания противоречат друг другу: канонический URL говорит, что контент - копия другой страницы, noindex - что страницы в индексе быть не должно вовсе. Поисковик тогда может проигнорировать оба сигнала.