Еще статьи

дубли страницДубли страниц – одинаковые документы, доступ к которым можно получить через несколько URL-адресов. Стоит отметить, что дублям страниц, в основном, подвержены различные CMS. Они безвредны до момента, пока не попадут в индекс. Индексацию необходимо отслеживать и незамедлительно реагировать, если что-то лишнее туда попало. В этой статье мы рассмотрим не только вопрос того, как удалить дубли страниц на сайте, но и как продумать оптимальную структуру интернет-ресурса.

 

Часто встречающиеся ошибки

Допустим, на сайте создана категория «job online», к ней привязан ряд других подкатегорий – «Copywriting», «Forex», и уже к последним - материалы. Если будет создан пункт меню лишь для подкатегорий, к примеру, «Copywriting», то могут появиться дополнительные ссылки, ведущие к контенту, такие как:

https://forexaccess.ru/copywriting/24-seo

https:// forexaccess.ru/1-job-online/copywriting/24-seo

https://forexaccess.ru/1-job-online/2-copywriting/24-seo

https://forexaccess.ru/index.php?option=com_content&task=view&id=24&Itemid=1 и т.д.

То есть, для формирования Url появляется множество возможностей. Все вышеперечисленные адреса будут вести к одной страничке. Описанное показывает, как чаще всего происходит. Помимо этого, поисковики могут брать в индекс и технические копии, переходя по ссылкам "Print", "PDF", "Send to afriend". Поэтому так важно продумать структуру заранее, определив главные категории и подкатегории. Когда ресурс начнет расти можно добавлять дополнительные разделы, не меняя существующей структуры.

 

Важно знать, что реструктуризация веб-площадки на пике разработки – это провал. Ему будет способствовать изменение Url-ов некоторых страниц, в худшем случае всех. А если все они были проиндексированы ранее, то и останутся «висеть» под старыми адресами, то есть будут недоступны. Это приведет к снижению рейтинга в результатах поиска и падению в несколько раз посещаемости.

 

 

Как появляются дубли страниц и как попадают в поисковые системы?

Изучая вопрос того, как удалить дубли страниц на сайте, стоит рассмотреть и причины, по которым они появляются. В некоторых случаях дубли страниц становятся видны в карте веб-сайта. Следует отметить, что на проиндексированном ресурсе проще отыскать дублированный контент. Для этого нужно скопировать уникальный материал со странички, заключить в кавычки и вставить в поисковую строку. Поисковик моментально выдаст все адреса, по которым можно отыскать статью. Если их несколько, то это будет свидетельствовать о наличии дублей страниц. Что касается неиндексированного ресурса, то проверить его можно на XENU.

 

Зачем закрывать доступ к дублям страниц?

Поисковые машины не индексируют веб-сайты с большим числом идентичных страничек, потому как выбирают наиболее релевантные. Если у последних имеются дубли, то при обновлении поисковики могут попросту «выкинуть» релевантные и на их место установить дубли, что, как правило, приводит к падению позиций веб-площадки и понижению трафика.

 

5 популярных решений по удалению дублей страниц

Все они подходят для любых CMS и валидны, если на вебсайте включен SEF и перенаправление страничек.

 

1. Robots.txt

Находится в корневой папке движка. Просмотреть его можно, введя адрес сайта/robots.txt. Файл показывает поисковикам, как ресурс должен индексироваться. С помощью Robots.txt можно закрывать определенные части площадки. Для этого всего-то следует прописать перед ними Disallow: /

Принятие решения по использованию этой команды лежит полностью на владельце вебсайта. Слишком длинный Robots.txt воспринимается как полностью разрешающим. Disallow: /*? не должна ограничивать доступ к чему-то полезному, типа карты ресурса, поэтому перед ней лучше прописать Allow: /.

 

2. Redirect 301

Redirect 301 применяется, если были поменяны пути к страничкам (адреса). Для привязки их к источнику данных следует воспользоваться redirect 301. Все его команды должны быть прописаны в файле «.htaccess». Это позволит поисковым машинам понять, что страничка была перемещена и лежит в другом месте с доступом по новому адресу. Данный метод никак не влияет на посещаемость и PR, то есть последние остаются на прежнем уровне.

301 redirect помогает склеивать и дубли страниц. Его часто используют, когда требуется «главную» с приставкой к адресу /index.php привязать с стандартному URL (без приставки). Для этого необходимо открыть «.htaccess» и ввести туда

Redirect 301 /index.php http://forexaccess.ru/

Тут же рекомендуется произвести «склейку» url-ов с www и без.

RewriteEngine On

RewriteCond %{HTTP_HOST} ^www.example.com$ [NC]

RewriteRule ^(.*)$ http://forexaccess.ru/$1 [R=301,L]

 

3. Мета-тег Robots

Еще один неплохой варинат для закрытия дотупа от индексации к дублям страниц.

<meta name="robots" content="noindex" />

 

4. Ручное удаление дублей из панели Вебмастера

Если это Google, то сделать это можно, перейдя по ссылке:

https://www.google.com/webmasters/tools/home?hl=ru

Если Яндекс, то:

http://webmaster.yandex.ru/delurl.xml 

 

5. Тег X-Robots-Tag

Является альтернативой 4 методу. Его рекомендует применять Google.

HTTP/1.1 200 OK

Date: Tue, 25 May 2015 21:42:43 GMT

...

X-Robots-Tag: noindex

...

 

Как удалить дубли страниц, если их слишком много на сайте?

Нужно зайти в https://webmaster.yandex.ru/, выбрать из списка сайт, затем пройти по пути «индексирование» - «страницы в поиске» и в самом низу найти и скачать таблицу со ссылками в файле XLS (рекомендовано) или CSV.

Затем потребуется открыть его на ПК. В нем будет несколько колонок. Дубли страниц Joomla будут помечены словом «DUPLICATE», а находящиеся в поиске -«SEARCHABLE» в колонке под названием «status». Что касается адресов, то их можно будет увидеть в колонке под названием «target».

Следует отметить, что в этой колонке будут ссылки только на дубли, поэтому их будет достаточно легко выделить, с помощью команды в Exсel «заменить» домен на тег «Disallow:», а затем скопировать и внести уже закрытые от индексации ссылки в файл robots.txt.

Естественно, большое количество ссылок удалить вручную в вебмастере будет непросто или даже невозможно, поскольку сервис дает возможность убирать лишь по 1 ссылке за 1 раз. При большом количестве этого можно и не делать, так как при следующем переобходе поисковик их не увидит и со временем удалит.

 

 

Заключение

Есть множество возможностей для того, чтобы удалить дубли страниц. Каждый из вышеперечисленных методов эффективен, поэтому какой выбрать, должен решать каждый сам. В любом случае с дублями нужно «бороться», так как это влияет на поисковое продвижение.


 

SEO-оптимизация: что нужно знать владельцу сайта

SEO-оптимизация: что нужно знать владельцу сайта

Работы с сайтом, которые приводят к поднятию его позиций в ТОПе поиско...
Читать
Правила подбора ключевых слов для продвижения сайта

Правила подбора ключевых слов для продвижения сайта

Подбор ключевых слов, их анализ и размещение в материалах, является ва...
Читать
Монетизация трафика сайта: самые эффективные способы

Монетизация трафика сайта: самые эффективные способы

Монетизация трафика сайта просто необходима, так как позволяет ресурсу...
Читать
Установка и настройка шаблона сайта на Joomla 3

Установка и настройка шаблона сайта на Joomla 3

Установка, а также настройка шаблона сайта  – важный этап, к кото...
Читать
Как в онлайн режиме проверить скорость загрузки страниц сайта

Как в онлайн режиме проверить скорость загрузки страниц сайта

Скорость загрузки страниц сайта – важный показатель, влияющий не тольк...
Читать
Что такое SEO оптимизация текстов под поисковые запросы и как ее выполнить

Что такое SEO оптимизация текстов под поисковые запросы и как ее выполнить

Контент сайта должен быть интересным для посетителей. Однако, если он...
Читать
Карта сайта (Sitemap): что это и как создать

Карта сайта (Sitemap): что это и как создать

Карта сайта – это одна из веб-страниц, которая показывает структуру ин...
Читать
Дубли страниц на сайте: чем они опасны и как удалить

Дубли страниц на сайте: чем они опасны и как удалить

Дубли страниц – одинаковые документы, доступ к которым можно получить...
Читать
Что такое Alexa Rank сайта и как его проверить

Что такое Alexa Rank сайта и как его проверить

Alexa Rank это – важный показатель, как и его собратья ТИЦ и PR. Многи...
Читать
Яндекс Вебмастер: как сообщить о новом сайте

Яндекс Вебмастер: как сообщить о новом сайте

Яндекс Вебмастер является популярным сервисом, который был создан спец...
Читать
Яндекс Метрика: как установить счетчик на сайт (для CMS Joomla)

Яндекс Метрика: как установить счетчик на сайт (для CMS Joomla)

Яндекс Метрика является инструментом, который был создан, чтобы владел...
Читать
Как провести анализ сайтов конкурентов и какие сервисы использовать

Как провести анализ сайтов конкурентов и какие сервисы использовать

В интернет-маркетинге не существует какой-либо волшебной кнопки, при п...
Читать
K2 (Joomla) – мощный компонент для создания блогов, порталов, каталогов

K2 (Joomla) – мощный компонент для создания блогов, порталов, каталогов

K2 для Joomla – это мощный компонент, обладающий широким функционалом...
Читать
Как с минимальными затратами поднять PR сайта?

Как с минимальными затратами поднять PR сайта?

Многих владельцев «молодых» ресурсов интересует вопрос, как поднять PR...
Читать
Самостоятельное создание интернет-магазина с нуля: бесплатные сервисы и программы

Самостоятельное создание интернет-магазина с нуля: бесплатные сервисы и программы

Создание интернет-магазина с нуля – процесс, который требует комплексн...
Читать
Эффективные способы привлечения трафика на сайт

Эффективные способы привлечения трафика на сайт

Процесс создания и продвижения сайта – непростое дело, с учетом высоко...
Читать
Как создать и заполнить виртуальную визитку Яндекс Директ

Как создать и заполнить виртуальную визитку Яндекс Директ

Виртуальная визитка Яндекс Директ – это инструмент, использующийся при...
Читать
Мета-тег страницы Title (тайтл): как его правильно прописать на сайте

Мета-тег страницы Title (тайтл): как его правильно прописать на сайте

Тайтлы страниц – важные элементы, которые оказывают непосредственное в...
Читать
Спецразмещение Яндекс Директ - что это такое и насколько эффективно

Спецразмещение Яндекс Директ - что это такое и насколько эффективно

Спецразмещение Яндекс Директ – это полезный рекламный инструмент, кото...
Читать
Как продвинуть сайт естественными ссылками

Как продвинуть сайт естественными ссылками

Естественные ссылки – один из инструментов, способствующий продвижению...
Читать
Контекстная реклама Яндекс Директ: особенности настройки и ведения

Контекстная реклама Яндекс Директ: особенности настройки и ведения

Контекстная реклама Яндекс Директ является одной из эффективнейших. Пр...
Читать
Как бесплатно сделать сайт на конструкторе Wix: плюсы и минусы

Как бесплатно сделать сайт на конструкторе Wix: плюсы и минусы

Наличие собственного сайта для начинающих бизнесменов – непозволительн...
Читать
Как прописать и настроить цели в Яндекс Метрике

Как прописать и настроить цели в Яндекс Метрике

Поставить цели в Яндекс Метрике не так просто, как кажется. Данный инс...
Читать
Как провести сплит (А/Б) тестирование сайтов и лендингов

Как провести сплит (А/Б) тестирование сайтов и лендингов

A/B тестирование (или сплит тестирование) – один из маркетинговых инст...
Читать
Как настроить ремаркетинг в Google Adwords: основные инструменты

Как настроить ремаркетинг в Google Adwords: основные инструменты

Ремаркетинг – технология, которая выполняет несколько функций. Она спо...
Читать
Ретаргетинг Яндекс Директ – что это такое и как настроить

Ретаргетинг Яндекс Директ – что это такое и как настроить

Ретаргетинг Яндекс Директ был разработан и внедрен совсем недавно кома...
Читать
Пошаговая инструкция для тех, кто хочет самостоятельно создавать лендинг страницы

Пошаговая инструкция для тех, кто хочет самостоятельно создавать лендинг страницы

В последнее время словосочетание «лендинг страницы» у всех на слуху....
Читать
Поведенческие факторы и их влияние на ранжирование сайта

Поведенческие факторы и их влияние на ранжирование сайта

Поведенческие факторы ранжирования сайта – это словосочетание будоражи...
Читать
Наглядные примеры того, как правильно составить семантическое ядро сайта

Наглядные примеры того, как правильно составить семантическое ядро сайта

Многие начинающие веб-мастера сталкиваются с массой сложностей при сос...
Читать
Бесплатные сервисы автопостинга: как научиться писать посты в социальных сетях

Бесплатные сервисы автопостинга: как научиться писать посты в социальных сетях

Многие начинающие копирайтеры задаются вопросом о том, как научиться п...
Читать
Популярные виды монетизации сайта: как заработать на продаже ссылок

Популярные виды монетизации сайта: как заработать на продаже ссылок

В связи с изменениями алгоритмов ранжирования Яндекса, ходит масса про...
Читать
Как заработать на контекстной рекламе: эффективные способы монетизации сайта

Как заработать на контекстной рекламе: эффективные способы монетизации сайта

Сегодня контекстная реклама – это 1/5 часть от общего дохода с сайта....
Читать
Рейтинг тизерных сетей для рекламодателя и вебмастера

Рейтинг тизерных сетей для рекламодателя и вебмастера

Пытаетесь понять, какие нынче актуальны тизерные сети для вебмастера и...
Читать
Как продвинуть сайт в ТОП 10 Яндекса: методы, которые действительно работают

Как продвинуть сайт в ТОП 10 Яндекса: методы, которые действительно работают

Органическое продвижение сайта в Яндексе – это неотъемлемая составляющ...
Читать
Как самостоятельно повысить индекс цитирования сайта

Как самостоятельно повысить индекс цитирования сайта

Довольно часто начинающие вебмастера задаются вопросом о том, как повы...
Читать
Аудит сайта: как провести его самостоятельно

Аудит сайта: как провести его самостоятельно

Аудит сайта – работа, состоящая из нескольких этапов, на каждом из ко...
Читать
Самые дорогие и доходные тематики сайтов

Самые дорогие и доходные тематики сайтов

Любой вебмастер рано или поздно задумывается о создании собственного с...
Читать
Рейтинг бирж вечных ссылок: обзор популярных сайтов

Рейтинг бирж вечных ссылок: обзор популярных сайтов

Биржи вечных ссылок со временем для многих владельцев сайтов становятс...
Читать
Продвижение сайта вечными ссылками: как поднять ТИЦ самостоятельно

Продвижение сайта вечными ссылками: как поднять ТИЦ самостоятельно

Каждый владелец интернет-ресурса рано или поздно задумывается о том, к...
Читать
Где взять уникальный контент для сайта и его роль в продвижении

Где взять уникальный контент для сайта и его роль в продвижении

Если установка движка для сайта занимает всего несколько минут, то его...
Читать
Популярные сайты с бесплатными фото для коммерческого использования

Популярные сайты с бесплатными фото для коммерческого использования

Выражение «Google в помощь» актуально далеко не во всех случаях, в осо...
Читать
Блог в интернете: как на нем заработать

Блог в интернете: как на нем заработать

В сети Интернет большой популярностью пользуются не только сайты, но и...
Читать
Популярные фотобанки бесплатных фотографий высокого разрешения

Популярные фотобанки бесплатных фотографий высокого разрешения

О том, где взять фото и картинки для своего сайта, говорилось в одной...
Читать
Где и как проверить сайт на наличие ошибок в онлайн режиме

Где и как проверить сайт на наличие ошибок в онлайн режиме

Каждый владелец собственного интернет-ресурса желает знать, как провер...
Читать
Оптимизация сайта: как самостоятельно ее сделать?

Оптимизация сайта: как самостоятельно ее сделать?

Многие неопытные владельцы интернет-ресурсов задаются вопросом о том,...
Читать
Размещение рекламных баннеров на сайте: сколько можно заработать

Размещение рекламных баннеров на сайте: сколько можно заработать

Реклама в Интернете является тем, что приносит доходы. С момента появл...
Читать
Реклама на своем сайте: как и сколько можно заработать

Реклама на своем сайте: как и сколько можно заработать

Каждый, кто пытается выйти на достойный заработок в интернете знает, ч...
Читать
Самостоятельное продвижение сайта в ТОП: самые эффективные способы

Самостоятельное продвижение сайта в ТОП: самые эффективные способы

Процесс работы над сайтом начинается с приобретения доменного имени и...
Читать
Где бесплатно можно скачать фото и картинки для сайта

Где бесплатно можно скачать фото и картинки для сайта

Важным этапом в процессе создания и продвижения сайта является оформле...
Читать
Как установить Joomla на denwer: пошаговая инструкция для новичков

Как установить Joomla на denwer: пошаговая инструкция для новичков

Важный этап в процессе создания сайта - установка Joomla на Денвер. Jo...
Читать
Пошаговая инструкция по созданию с нуля сайта на движке Joomla

Пошаговая инструкция по созданию с нуля сайта на движке Joomla

Те, кто долгое время проводит в интернете, наверняка задумывались о со...
Читать
Способ, который позволит заработать деньги, сидя дома

Способ, который позволит заработать деньги, сидя дома

Если внимательно изучить популярные способы заработать деньги, сидя до...
Читать
Еще статьи
Яндекс.Метрика