Дубли страниц

Почему одна страница оказывается доступна по разным адресам, когда это мешает поиску и как выбрать основной адрес.

Карточка товара открывается по двум адресам. Посетитель, скорее всего, ничего не заметит, а поисковой системе придётся решить, какой адрес показывать людям. Такие страницы с одинаковым или очень похожим содержанием называют дублями.

Пара повторяющихся адресов не означает, что сайт получил штраф. Проблема начинается, когда лишние версии появляются постоянно: поиск тратит время на их обход, в результатах может оказаться неудобный адрес, а команде сложнее понять, какие страницы действительно работают. Исправление начинается с выбора страницы, которую вы хотите оставить основной.

Если не выбрать главную версию, поиск выберет её сам

Представьте, что одна услуга открывается по адресам /usluga и /usluga/. Для компании это одна страница, но для поисковой системы это два разных адреса. Она может объединить их и выбрать для выдачи тот, который сочтёт основным. Он не обязательно совпадёт с адресом в вашем меню или рекламе.

Сам факт, что один из дублей исключён из поиска, не всегда ошибка. Возможно, поисковая система уже сделала правильный выбор. Исправлять нужно ситуацию, когда она показывает не ту версию, обходит множество бесполезных адресов или пропускает страницы, на которые вы рассчитывали.

Лишние адреса иногда производит сам сайт

Обычно дубли не создают вручную. Они появляются из правил, по которым сайт формирует ссылки:

Не всякое сходство означает дубль. Две карточки могут иметь похожее описание, но представлять разные товары. А страницы городов могут быть нужны отдельно, если у них различаются условия и содержание. Объединять их только ради красивого отчёта нельзя.

Сначала найдите две страницы, которые спорят за одно место

Начните с конкретных адресов. Откройте обе страницы и сравните не только заголовок, но и основной текст, товар или услугу, условия покупки. Затем посмотрите, какой адрес стоит в меню и внутренних ссылках, а какой поисковая система считает основным.

Отчёты Яндекс Вебмастера и Google Search Console помогают увидеть страницы, которые поиск признал дублями или исключил из выдачи. Но один статус без проверки пары адресов мало что говорит. Иногда исключение правильно: в поиске уже находится нужная версия. Если версии действительно лишние, ищите правило, которое их создаёт, иначе после исправления нескольких ссылок появятся новые.

Ненужный адрес лучше перенаправить на основной

Когда отдельная страница по второму адресу больше не нужна, настройте постоянное перенаправление на основной. Человек по старой ссылке попадёт на рабочую страницу, а поиск получит ясный сигнал, какой адрес предпочитать. Так обычно поступают после переименования страницы или при выборе единого варианта со слешем либо без него.

Проверьте заодно меню, ссылки в тексте и карту сайта: они тоже должны вести на выбранный адрес. Иначе сайт продолжит предлагать поиску старые варианты, даже если перенаправление уже работает. При переносе действующего сайта это входит в проверку перед запуском, о которой мы рассказываем в статье про SEO-сопровождение.

Если оба адреса нужны, укажите предпочтительный

Иногда альтернативный адрес нельзя просто убрать. Например, посетитель меняет порядок товаров в каталоге, и ссылка получает параметр сортировки. Когда содержание страницы остаётся тем же или почти тем же, разработчик может указать в её коде основной адрес с помощью rel="canonical".

Это подсказка поисковой системе, а не приказ. Если страницы заметно отличаются или основной адрес недоступен, она может выбрать иначе. Поэтому мало добавить настройку в код: нужно проверить, совпал ли выбор поиска с вашим. Для служебных параметров Яндекс также позволяет задать правило, по которому робот игнорирует их при сравнении адресов.

Не всякую лишнюю страницу нужно перенаправлять

Результаты внутреннего поиска и некоторые варианты фильтров могут быть полезны посетителю, но не нужны в выдаче. Если такая страница должна открываться людям, а в поиске её быть не должно, разработчик может поставить noindex. Поисковый робот должен иметь доступ к странице, иначе он не увидит этот запрет.

Файл robots.txt решает другую задачу: ограничивает обход адресов. Сам по себе запрет обхода не гарантирует, что адрес исчезнет из результатов поиска. А ответ 404 уместен, когда страницы действительно больше нет и подходящей замены тоже нет. Не стоит отправлять живой товар или услугу в никуда ради чистоты отчёта.

После исправления проверьте результат, а не только настройку

Откройте старый адрес и убедитесь, что он ведёт туда, куда нужно. Проверьте основной адрес: он должен работать и быть доступным поиску. Если использовали подсказку об основном адресе или noindex, проверьте, что она стоит на нужных страницах, а не случайно на всём разделе.

Изменения в отчётах поисковых систем появятся после повторного обхода, не в момент публикации правки. Для клиента результат прост: важная страница доступна по ожидаемому адресу, лишние версии не вытесняют её из выдачи, а новые дубли не продолжают создаваться.

Не начинайте с массового закрытия адресов. Возьмите несколько конкретных пар, определите, какая страница нужна человеку и поиску, найдите причину появления второй версии. После этого разработчик сможет выбрать подходящее правило для всего сайта.