Дублированный контент

Что это значит

Дублированный контент - одинаковый или очень похожий текст, доступный по нескольким URL. Он может возникнуть в пределах одного сайта, например когда товар в интернет-магазине находится в трёх категориях с тремя адресами, или между разными сайтами, например когда десятки магазинов используют одно и то же описание производителя.

Поисковик не хочет показывать в выдаче одно и то же несколько раз, поэтому выбирает одну из дублирующихся версий, а остальные подавляет. Проблема в том, что он может выбрать не ту, которую хотел бы владелец сайта, а сила ссылок и сигналов делится между несколькими адресами вместо того, чтобы усиливать один.

Дублированный контент не является поводом для наказания, если это не умышленное копирование чужого контента или генерация тысяч почти одинаковых страниц. Это скорее техническая проблема, снижающая эффективность сайта и расходующая время, которое поисковик тратит на его обход.

Как это работает на практике

Самые частые источники дублей - версии с www и без, со слешем и без, параметры в URL от фильтров и кампаний, пагинация, версии для печати или публично доступная тестовая среда. Их решают каноническим URL, редиректом 301 на основную версию или меткой noindex для страниц, которые в выдаче не нужны.

Интернет-магазинам стоит писать собственные описания хотя бы для самых продаваемых товаров. Текст производителя есть у всего рынка, и у поисковика нет причины предпочесть именно ваш магазин. На многоязычных сайтах нужно правильно настроить hreflang, чтобы языковые версии не считались дублями.

На нашем сайте у каждого термина один канонический адрес на каждом языке, а языковые версии связаны через hreflang. Поэтому и объяснение каждого термина написано отдельно, а не собрано из общих абзацев, которые повторялись бы на сотнях страниц.

На что обратить внимание

Частая ошибка - решать дубли файлом robots.txt. Если странице запретить обход, поисковик не видит и каноническую метку и может проиндексировать страницу по ссылкам. Для дублей нужны канонический URL или редирект, а не блокировка.

Внимание и к текстам по шаблону, например сотням страниц «бухгалтерия в городе X», где меняется только название города. Поисковик оценит их как дублированный или «тонкий» контент, и при большом объёме это может навредить всему сайту, а не только этим страницам.