ЭтоСтудия » Статьи » Как убрать или закрыть дубли страниц от индексации

Как убрать или закрыть дубли страниц от индексации

dubli_stranic
При создании страниц на сайте порой происходит так, что случайно или из-за системного сбоя создаются их дубликаты. Эти копии несут крайне отрицательный эффект для SEO и нахождения целевой площадки в поисковой системе. Для того чтобы избавиться от этой проблемы, надо знать систему обнаружения и удаления. Именно этим двум пунктам и будет посвящена статья.
Новый тег
Веб-мастерами используются различные системы и программы для быстрого управления контента, что приводит к добавлению одного и того же материала в разных URL. Владельцы интернет-магазинов сталкиваются с этой проблемой чаще всего, что влечёт за собой создание следующего образца: https://www.site.com/products?category=hat или https://site.com/hat/cocktail?gclid=ABCD В зависимости от структуры и типа платформы, идентичных структур с одним и тем же содержанием может быть от 2 до 8 единиц. Для исправления ситуации, необходимо указать новый канонический тег. Этот тег будет указывать на основную площадку для поисковых систем, другими словами, робот будет воспринимать её как основную, а все идентичные станут для него копиями. Это приведёт к индексации только канонических структур.
Как указать тег?
Вне зависимости от движка сайта, каноническая страница указывается путём добавления кода в шапку структуру, то есть в HEAD. Этот код выглядит следующим образом: <link rel=”canonical” href=”канонический URL” /> В этом коде «канонический» необходимо заменить на полный адрес сайта, например, seo.ru/publ/soveti/indeksaciya??/>. Веб-мастерами допускается серьёзная ошибка, когда они добавляют тег только на динамические площадки (материала). Многие CMS такие, как uCoz могут дублировать содержание в пределах раздела или категории, например, http://seo.ru/load, http://seo.ru/load/0-2 и так далее. Также стоит не забывать о слеше: его отсутствие или присутствие ведёт на совершенно разные места. Всё это исправляется через код в HEAD сайта. Для раздела: <link rel=”canonical” href=”http://сайт.ru/load” /> Для категорий: <link rel=”canonical” href=”http://ваш-сайт.ru/load/kategoriya1? />
Поисковый робот
Каноническая страница направляет поискового робота в нужное русло, но бывает так, что он всё равно индексирует старые страницы. Чтобы этого избежать необходимо во внутреннем файле robots.txt прописать запрет на индексацию определённых блоков: User-agent: * Disallow: /no-index/this-page.html Параметр this-page необходимо заменить на целевой лист.

УЗНАТЬ БОЛЬШЕ

о создании и продвижении сайтов, а также заказать сайт для своего бизнеса



Редирект
Бывают случаи, когда CMS создаёт практически неразличимые блоки, например, https://optimizaciya.ru/ и http://www.optimizaciya.ru/ Для таких случаев необходимо использовать 301 редирект, где один вариант будет использоваться как основной, а второй тип будет перенаправлять посетителей на основное зеркало. Для создания редиректа можно использовать программный код .htaccess или генератор редиректов. В любом случае, для склейки доменов необходимо прописать следующее: RewriteCond %{HTTP_HOST} site\.com$ [NC] RewriteRule (.*)$ http://www.site.com/$1 [R=301,L] Можно склеить и наоборот: RewriteCond %{HTTP_HOST} www.site\.com$ [NC] RewriteRule (.*)$ http://site.com/$1 [R=301,L]
Удаление
Лучше всего избавиться от дублей путём удаления лишних блоков, но этот способ подойдёт лишь тем структурам, которые имеют полный доступ с возможностью работы через систему управления или через FTP сервер. Стоит помнить, что никто не защищён от дубликатов, поэтому стоит постоянно проверять структуру портала на наличие повторяющихся материалов, а при их нахождении – закрывать от индексации, указывать главную страницу или вовсе удалять.