Еще статьи

дубли страницДубли страниц – одинаковые документы, доступ к которым можно получить через несколько URL-адресов. Стоит отметить, что дублям страниц, в основном, подвержены различные CMS. Они безвредны до момента, пока не попадут в индекс. Индексацию необходимо отслеживать и незамедлительно реагировать, если что-то лишнее туда попало. В этой статье мы рассмотрим не только вопрос того, как удалить дубли страниц на сайте, но и как продумать оптимальную структуру интернет-ресурса.

 

Часто встречающиеся ошибки

Допустим, на сайте создана категория «job online», к ней привязан ряд других подкатегорий – «Copywriting», «Forex», и уже к последним - материалы. Если будет создан пункт меню лишь для подкатегорий, к примеру, «Copywriting», то могут появиться дополнительные ссылки, ведущие к контенту, такие как:

https://forexaccess.ru/copywriting/24-seo

https:// forexaccess.ru/1-job-online/copywriting/24-seo

https://forexaccess.ru/1-job-online/2-copywriting/24-seo

https://forexaccess.ru/index.php?option=com_content&task=view&id=24&Itemid=1 и т.д.

То есть, для формирования Url появляется множество возможностей. Все вышеперечисленные адреса будут вести к одной страничке. Описанное показывает, как чаще всего происходит. Помимо этого, поисковики могут брать в индекс и технические копии, переходя по ссылкам "Print", "PDF", "Send to afriend". Поэтому так важно продумать структуру заранее, определив главные категории и подкатегории. Когда ресурс начнет расти можно добавлять дополнительные разделы, не меняя существующей структуры.

 

Важно знать, что реструктуризация веб-площадки на пике разработки – это провал. Ему будет способствовать изменение Url-ов некоторых страниц, в худшем случае всех. А если все они были проиндексированы ранее, то и останутся «висеть» под старыми адресами, то есть будут недоступны. Это приведет к снижению рейтинга в результатах поиска и падению в несколько раз посещаемости.

 

 

Как появляются дубли страниц и как попадают в поисковые системы?

Изучая вопрос того, как удалить дубли страниц на сайте, стоит рассмотреть и причины, по которым они появляются. В некоторых случаях дубли страниц становятся видны в карте веб-сайта. Следует отметить, что на проиндексированном ресурсе проще отыскать дублированный контент. Для этого нужно скопировать уникальный материал со странички, заключить в кавычки и вставить в поисковую строку. Поисковик моментально выдаст все адреса, по которым можно отыскать статью. Если их несколько, то это будет свидетельствовать о наличии дублей страниц. Что касается неиндексированного ресурса, то проверить его можно на XENU.

 

Зачем закрывать доступ к дублям страниц?

Поисковые машины не индексируют веб-сайты с большим числом идентичных страничек, потому как выбирают наиболее релевантные. Если у последних имеются дубли, то при обновлении поисковики могут попросту «выкинуть» релевантные и на их место установить дубли, что, как правило, приводит к падению позиций веб-площадки и понижению трафика.

 

5 популярных решений по удалению дублей страниц

Все они подходят для любых CMS и валидны, если на вебсайте включен SEF и перенаправление страничек.

 

1. Robots.txt

Находится в корневой папке движка. Просмотреть его можно, введя адрес сайта/robots.txt. Файл показывает поисковикам, как ресурс должен индексироваться. С помощью Robots.txt можно закрывать определенные части площадки. Для этого всего-то следует прописать перед ними Disallow: /

Принятие решения по использованию этой команды лежит полностью на владельце вебсайта. Слишком длинный Robots.txt воспринимается как полностью разрешающим. Disallow: /*? не должна ограничивать доступ к чему-то полезному, типа карты ресурса, поэтому перед ней лучше прописать Allow: /.

 

2. Redirect 301

Redirect 301 применяется, если были поменяны пути к страничкам (адреса). Для привязки их к источнику данных следует воспользоваться redirect 301. Все его команды должны быть прописаны в файле «.htaccess». Это позволит поисковым машинам понять, что страничка была перемещена и лежит в другом месте с доступом по новому адресу. Данный метод никак не влияет на посещаемость и PR, то есть последние остаются на прежнем уровне.

301 redirect помогает склеивать и дубли страниц. Его часто используют, когда требуется «главную» с приставкой к адресу /index.php привязать с стандартному URL (без приставки). Для этого необходимо открыть «.htaccess» и ввести туда

Redirect 301 /index.php http://forexaccess.ru/

Тут же рекомендуется произвести «склейку» url-ов с www и без.

RewriteEngine On

RewriteCond %{HTTP_HOST} ^www.example.com$ [NC]

RewriteRule ^(.*)$ http://forexaccess.ru/$1 [R=301,L]

 

3. Мета-тег Robots

Еще один неплохой варинат для закрытия дотупа от индексации к дублям страниц.

<meta name="robots" content="noindex" />

 

4. Ручное удаление дублей из панели Вебмастера

Если это Google, то сделать это можно, перейдя по ссылке:

https://www.google.com/webmasters/tools/home?hl=ru

Если Яндекс, то:

http://webmaster.yandex.ru/delurl.xml 

 

5. Тег X-Robots-Tag

Является альтернативой 4 методу. Его рекомендует применять Google.

HTTP/1.1 200 OK

Date: Tue, 25 May 2015 21:42:43 GMT

...

X-Robots-Tag: noindex

...

 

Как удалить дубли страниц, если их слишком много на сайте?

Нужно зайти в https://webmaster.yandex.ru/, выбрать из списка сайт, затем пройти по пути «индексирование» - «страницы в поиске» и в самом низу найти и скачать таблицу со ссылками в файле XLS (рекомендовано) или CSV.

Затем потребуется открыть его на ПК. В нем будет несколько колонок. Дубли страниц Joomla будут помечены словом «DUPLICATE», а находящиеся в поиске -«SEARCHABLE» в колонке под названием «status». Что касается адресов, то их можно будет увидеть в колонке под названием «target».

Следует отметить, что в этой колонке будут ссылки только на дубли, поэтому их будет достаточно легко выделить, с помощью команды в Exсel «заменить» домен на тег «Disallow:», а затем скопировать и внести уже закрытые от индексации ссылки в файл robots.txt.

Естественно, большое количество ссылок удалить вручную в вебмастере будет непросто или даже невозможно, поскольку сервис дает возможность убирать лишь по 1 ссылке за 1 раз. При большом количестве этого можно и не делать, так как при следующем переобходе поисковик их не увидит и со временем удалит.

 

 

Заключение

Есть множество возможностей для того, чтобы удалить дубли страниц. Каждый из вышеперечисленных методов эффективен, поэтому какой выбрать, должен решать каждый сам. В любом случае с дублями нужно «бороться», так как это влияет на поисковое продвижение.


 

Для чего нужен сайт

Для чего нужен сайт

Зачем бизнесу или обычному пользователю собственный сайт? Данный вопро...
Читать
Как заработать на гугле с помощью собственного сайта

Как заработать на гугле с помощью собственного сайта

Владельцы сайтов прекрасно знают, что ресурс – это один из способов пр...
Читать
SEO-оптимизация: что нужно знать владельцу сайта

SEO-оптимизация: что нужно знать владельцу сайта

Работы с сайтом, которые приводят к поднятию его позиций в ТОПе поиско...
Читать
Правила подбора ключевых слов для продвижения сайта

Правила подбора ключевых слов для продвижения сайта

Подбор ключевых слов, их анализ и размещение в материалах, является ва...
Читать
Монетизация трафика сайта: самые эффективные способы

Монетизация трафика сайта: самые эффективные способы

Монетизация трафика сайта просто необходима, так как позволяет ресурсу...
Читать
Установка и настройка шаблона сайта на Joomla 3

Установка и настройка шаблона сайта на Joomla 3

Установка, а также настройка шаблона сайта  – важный этап, к кото...
Читать
Как в онлайн режиме проверить скорость загрузки страниц сайта

Как в онлайн режиме проверить скорость загрузки страниц сайта

Скорость загрузки страниц сайта – важный показатель, влияющий не тольк...
Читать
Что такое SEO оптимизация текстов под поисковые запросы и как ее выполнить

Что такое SEO оптимизация текстов под поисковые запросы и как ее выполнить

Контент сайта должен быть интересным для посетителей. Однако, если он...
Читать
Карта сайта (Sitemap): что это и как создать

Карта сайта (Sitemap): что это и как создать

Карта сайта – это одна из веб-страниц, которая показывает структуру ин...
Читать
Дубли страниц на сайте: чем они опасны и как удалить

Дубли страниц на сайте: чем они опасны и как удалить

Дубли страниц – одинаковые документы, доступ к которым можно получить...
Читать
Что такое Alexa Rank сайта и как его проверить

Что такое Alexa Rank сайта и как его проверить

Alexa Rank это – важный показатель, как и его собратья ТИЦ и PR. Многи...
Читать
Яндекс Вебмастер: как сообщить о новом сайте

Яндекс Вебмастер: как сообщить о новом сайте

Яндекс Вебмастер является популярным сервисом, который был создан спец...
Читать
Яндекс Метрика: как установить счетчик на сайт (для CMS Joomla)

Яндекс Метрика: как установить счетчик на сайт (для CMS Joomla)

Яндекс Метрика является инструментом, который был создан, чтобы владел...
Читать
Как провести анализ сайтов конкурентов и какие сервисы использовать

Как провести анализ сайтов конкурентов и какие сервисы использовать

В интернет-маркетинге не существует какой-либо волшебной кнопки, при п...
Читать
K2 (Joomla) – мощный компонент для создания блогов, порталов, каталогов

K2 (Joomla) – мощный компонент для создания блогов, порталов, каталогов

K2 для Joomla – это мощный компонент, обладающий широким функционалом...
Читать
Как с минимальными затратами поднять PR сайта?

Как с минимальными затратами поднять PR сайта?

Многих владельцев «молодых» ресурсов интересует вопрос, как поднять PR...
Читать
Самостоятельное создание интернет-магазина с нуля: бесплатные сервисы и программы

Самостоятельное создание интернет-магазина с нуля: бесплатные сервисы и программы

Создание интернет-магазина с нуля – процесс, который требует комплексн...
Читать
Эффективные способы привлечения трафика на сайт

Эффективные способы привлечения трафика на сайт

Процесс создания и продвижения сайта – непростое дело, с учетом высоко...
Читать
Как создать и заполнить виртуальную визитку Яндекс Директ

Как создать и заполнить виртуальную визитку Яндекс Директ

Виртуальная визитка Яндекс Директ – это инструмент, использующийся при...
Читать
Мета-тег страницы Title (тайтл): как его правильно прописать на сайте

Мета-тег страницы Title (тайтл): как его правильно прописать на сайте

Тайтлы страниц – важные элементы, которые оказывают непосредственное в...
Читать
Спецразмещение Яндекс Директ - что это такое и насколько эффективно

Спецразмещение Яндекс Директ - что это такое и насколько эффективно

Спецразмещение Яндекс Директ – это полезный рекламный инструмент, кото...
Читать
Как продвинуть сайт естественными ссылками

Как продвинуть сайт естественными ссылками

Естественные ссылки – один из инструментов, способствующий продвижению...
Читать
Контекстная реклама Яндекс Директ: особенности настройки и ведения

Контекстная реклама Яндекс Директ: особенности настройки и ведения

Контекстная реклама Яндекс Директ является одной из эффективнейших. Пр...
Читать
Как бесплатно сделать сайт на конструкторе Wix: плюсы и минусы

Как бесплатно сделать сайт на конструкторе Wix: плюсы и минусы

Наличие собственного сайта для начинающих бизнесменов – непозволительн...
Читать
Как прописать и настроить цели в Яндекс Метрике

Как прописать и настроить цели в Яндекс Метрике

Поставить цели в Яндекс Метрике не так просто, как кажется. Данный инс...
Читать
Как провести сплит (А/Б) тестирование сайтов и лендингов

Как провести сплит (А/Б) тестирование сайтов и лендингов

A/B тестирование (или сплит тестирование) – один из маркетинговых инст...
Читать
Как настроить ремаркетинг в Google Adwords: основные инструменты

Как настроить ремаркетинг в Google Adwords: основные инструменты

Ремаркетинг – технология, которая выполняет несколько функций. Она спо...
Читать
Ретаргетинг Яндекс Директ – что это такое и как настроить

Ретаргетинг Яндекс Директ – что это такое и как настроить

Ретаргетинг Яндекс Директ был разработан и внедрен совсем недавно кома...
Читать
Пошаговая инструкция для тех, кто хочет самостоятельно создавать лендинг страницы

Пошаговая инструкция для тех, кто хочет самостоятельно создавать лендинг страницы

В последнее время словосочетание «лендинг страницы» у всех на слуху....
Читать
Поведенческие факторы и их влияние на ранжирование сайта

Поведенческие факторы и их влияние на ранжирование сайта

Поведенческие факторы ранжирования сайта – это словосочетание будоражи...
Читать
Наглядные примеры того, как правильно составить семантическое ядро сайта

Наглядные примеры того, как правильно составить семантическое ядро сайта

Многие начинающие веб-мастера сталкиваются с массой сложностей при сос...
Читать
Бесплатные сервисы автопостинга: как научиться писать посты в социальных сетях

Бесплатные сервисы автопостинга: как научиться писать посты в социальных сетях

Многие начинающие копирайтеры задаются вопросом о том, как научиться п...
Читать
Популярные виды монетизации сайта: как заработать на продаже ссылок

Популярные виды монетизации сайта: как заработать на продаже ссылок

В связи с изменениями алгоритмов ранжирования Яндекса, ходит масса про...
Читать
Как заработать на контекстной рекламе: эффективные способы монетизации сайта

Как заработать на контекстной рекламе: эффективные способы монетизации сайта

Сегодня контекстная реклама – это 1/5 часть от общего дохода с сайта....
Читать
Рейтинг тизерных сетей для рекламодателя и вебмастера

Рейтинг тизерных сетей для рекламодателя и вебмастера

Пытаетесь понять, какие нынче актуальны тизерные сети для вебмастера и...
Читать
Как продвинуть сайт в ТОП 10 Яндекса: методы, которые действительно работают

Как продвинуть сайт в ТОП 10 Яндекса: методы, которые действительно работают

Органическое продвижение сайта в Яндексе – это неотъемлемая составляющ...
Читать
Как самостоятельно повысить индекс цитирования сайта

Как самостоятельно повысить индекс цитирования сайта

Довольно часто начинающие вебмастера задаются вопросом о том, как повы...
Читать
Аудит сайта: как провести его самостоятельно

Аудит сайта: как провести его самостоятельно

Аудит сайта – работа, состоящая из нескольких этапов, на каждом из ко...
Читать
Самые дорогие и доходные тематики сайтов

Самые дорогие и доходные тематики сайтов

Любой вебмастер рано или поздно задумывается о создании собственного с...
Читать
Рейтинг бирж вечных ссылок: обзор популярных сайтов

Рейтинг бирж вечных ссылок: обзор популярных сайтов

Биржи вечных ссылок со временем для многих владельцев сайтов становятс...
Читать
Продвижение сайта вечными ссылками: как поднять ТИЦ самостоятельно

Продвижение сайта вечными ссылками: как поднять ТИЦ самостоятельно

Каждый владелец интернет-ресурса рано или поздно задумывается о том, к...
Читать
Где взять уникальный контент для сайта и его роль в продвижении

Где взять уникальный контент для сайта и его роль в продвижении

Если установка движка для сайта занимает всего несколько минут, то его...
Читать
Популярные сайты с бесплатными фото для коммерческого использования

Популярные сайты с бесплатными фото для коммерческого использования

Выражение «Google в помощь» актуально далеко не во всех случаях, в осо...
Читать
Блог в интернете: как на нем заработать

Блог в интернете: как на нем заработать

В сети Интернет большой популярностью пользуются не только сайты, но и...
Читать
Популярные фотобанки бесплатных фотографий высокого разрешения

Популярные фотобанки бесплатных фотографий высокого разрешения

О том, где взять фото и картинки для своего сайта, говорилось в одной...
Читать
Где и как проверить сайт на наличие ошибок в онлайн режиме

Где и как проверить сайт на наличие ошибок в онлайн режиме

Каждый владелец собственного интернет-ресурса желает знать, как провер...
Читать
Оптимизация сайта: как самостоятельно ее сделать?

Оптимизация сайта: как самостоятельно ее сделать?

Многие неопытные владельцы интернет-ресурсов задаются вопросом о том,...
Читать
Размещение рекламных баннеров на сайте: сколько можно заработать

Размещение рекламных баннеров на сайте: сколько можно заработать

Реклама в Интернете является тем, что приносит доходы. С момента появл...
Читать
Реклама на своем сайте: как и сколько можно заработать

Реклама на своем сайте: как и сколько можно заработать

Каждый, кто пытается выйти на достойный заработок в интернете знает, ч...
Читать
Самостоятельное продвижение сайта в ТОП: самые эффективные способы

Самостоятельное продвижение сайта в ТОП: самые эффективные способы

Процесс работы над сайтом начинается с приобретения доменного имени и...
Читать
Где бесплатно можно скачать фото и картинки для сайта

Где бесплатно можно скачать фото и картинки для сайта

Важным этапом в процессе создания и продвижения сайта является оформле...
Читать
Как установить Joomla на denwer: пошаговая инструкция для новичков

Как установить Joomla на denwer: пошаговая инструкция для новичков

Важный этап в процессе создания сайта - установка Joomla на Денвер. Jo...
Читать
Пошаговая инструкция по созданию с нуля сайта на движке Joomla

Пошаговая инструкция по созданию с нуля сайта на движке Joomla

Те, кто долгое время проводит в интернете, наверняка задумывались о со...
Читать
Способ, который позволит заработать деньги, сидя дома

Способ, который позволит заработать деньги, сидя дома

Если внимательно изучить популярные способы заработать деньги, сидя до...
Читать
Еще статьи
Яндекс.Метрика