Как убрать дубли страниц joomla 3

Убираем дублирование страниц в CMS Joomla

Информация о материале Категория: Ресурсы

• joomla
• сайт

Дублирование страниц является одним из проблемных мест на работающих сайтах. По умолчанию проблема дублей страниц актуальна для всех CMS. Эта проблема не обошла CMS Joomla, где одно из слабых мест — дублирование страниц. Увидеть дубли можно, если на сайте одна и таже страница имеет разные ссылки. В большинстве случаев новичок, создавший сайт на Joomla не подозревает, что с появлением нового сайта, появились дубли созданных страниц. Осознание приходит со временем и опытом. К сожалению, нельзя создав сайт, не получить дубли страниц, но можно с этим поработать.

Прежде всего надо понимать, что дубли страниц мешают оптимизации сайта, а значит и его продвижению. Робот, проходящий по сайту, обнаруживает страницу и инексирует ее c определенной ссылкой. Затем снова встречает страницу с тем же содержанием, но имеющую уже другую ссылку. Возникает путаница. Какую ссылку выдавать по одному и тому же запросу. Поэтому поисковые системы стараются игнорировать дублированные страницы. Возможно будет происходить следующая ситуация, когда ссылка на страницу будет временами меняться, что сразу же повлечет за собой потерю трафика.

При создании сайта важно определиться с его структурой, с именами, которые вы даете меню, категориям, подкатегориям и именам статей. Это нужно для того, чтобы впоследствии не менялись соответственно имена ссылок на сайте. Нужно определиться, в каком виде должна быть конечная ссылка на статью. Далее нужно определиться с сайтом, будет это www, просто http или https.

Соответственно боремся с дублями страниц в CMS Joomla:

1. Прежде всего используем файл .htaccess, благодаря которому можно производить дополнительную конфигурацию веб-сервера (меняем название site.ru на свое имя).

RewriteEngine On

# перенаправление с www на https (если сайт доступен по https)
RewriteCond % ^www\.(.*) [NC]
RewriteRule ^(.*)$ https://%1/$1 [R=301,L]

# перенаправление с http на https:
RewriteCond % ^ site \ . ru [NC]
RewriteCond % ^http$
RewriteCond % off
RewriteRule (.*) https://%% [R=301,L]

# убираем полный дубль по адресу site.ru/index.php
RewriteCond % ^[A-Z]\ /index\.php\ HTTP/
RewriteRule ^index\.php$ http:// site.ru / [R=301,L]

# 301 редирект на окончание .html
REDIRECTMATCH 301 (.*/[^/.]+)($|\?)$ http:// site.ru $1.html

# 301 редирект с .html на без .html
REDIRECTMATCH 301 (.*)\.html$ http://site.ru$1

2. Используем файл robot.txt, благодаря которому можно ограничить доступ роботу к содержимому сайта.

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /log/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*?
Disallow: /*%
Disallow: /*&
Disallow: /*tag
Disallow: /*print=1
Disallow: /*sovety-k/
Disallow: /*sovety/

User-agent: Yandex
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /log/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*?
Disallow: /*%
Disallow: /*&
Disallow: /*tag
Disallow: /*print=1
Disallow: /*sovety-k/
Disallow: /*sovety/

Host: site.ru
Sitemap: https:// site.ru /sitemap.xml

Можно использовать различные плагины для Joomla.

�� Дубли страниц Joomla – как избавиться

Создание и раскрутка сайтов на статичном html всё менее популярна, и большинство веб-мастеров переходит на современные CMS, в частности на Joomla, которая в нагрузку к своим плюсам может и огорчить пользователя, прежде всего, дублированием страниц. Дубли страниц в Joomla это своеобразный бич веб-мастера, хотя, положа руку на сердце, грешат этим многие системы автоматизации сайтов.

Поиск дублей

Во-первых, давайте посмотрим, как определить дубли страниц и почему они негативно сказываются на процессе продвижения сайта. Самый простой способ определения дублирования – это воспользоваться расширенным поиском на Яндексе, где в строчку «сайт» забиваем свой проект, а в поисковую строку тот или иной запрос. В результате можно видеть страницы сайта по мере их релевантности, тут же водятся и дублирующие друг друга страницы. Ещё проще воспользоваться пауком Netpeak Spider, который выгрузит страницы и найдёт в них дубли в один клик.

Второй немаловажный вопрос, почему поисковые системы относятся к этому негативно, ведь это не умышленная попытка обмана поисковиков, а технические проблемы CMS, о который, в принципе роботы должны знать. В том то и дело, что именно роботы могут определить такие страницы, как умышленный спам, ведь фактически по двум разным адресам предоставляется один и тот же материал. Попытки переписки со службой поддержки Яндекса ни к чему не приводят, поэтому надо стараться избегать дублей страниц Joomla.

Удаление дубли

Если сайт небольшой, то можно закрыть дублирующиеся материалы через robots.txt, но это всё равно не выход, а лишь лишний геморрой в копилке оптимизатора. Говорить об этом могу с уверенностью, так как сам прошёл через это, хотя и использовал десятки вариантов для борьбы с дублированием. Сегодня могу поделиться, как можно побороть то, что негативно отражается на раскрутке. Полный бан за такие дубли Joomla получить маловероятно, но добиться пессимизации сайта вполне возможно, поэтому для начала я закрыл в robots.txt все технические и второстепенные страницы массово –

Таким образом, отсекается основная складская база, куда Joomla может запихивать дубли. Если кому очень надо открыть некоторые страницы, например, для компонента xmap, то есть для того, чтобы добавить в панель вебмастера карту сайта, то нужные страницы легко открываются с помощью директивы Allow: , которая ставиться перед Disallow:.

Однако лично мне не давали жизни дубли страниц Joomla типа

И долгие поиски ни к чему положительному не приводили, кроме как закрывать сотни левых ссылок вручную в robots.txt. Однако однажды ответ пришёл, как озарение и открыл глаза на простейшие вещи, с которыми, знаю точно, сталкивался не я один. Многие сегодня практикуют (и правильно делают) продвижение сайта в социальных сетях, посредством установки кнопок для интеграции. При этом не все обращают внимание, что некоторые плагины при интеграции в Twitter просто обрезают ссылку и для решения проблемы надо настроить или заменить плагин, так как роботы идут по ссылки «твиттнуть» и попадают на её обрезанный вид, который и заносят по своему электронному незнанию в индекс.

Проблема оказалась проста, как медный таз, жаль, что таким образом убирается только часть дублей, правда эта-то часть меня больше всего и волновала. Оказывается, часть ошибок оптимизации всё-таки происходит по совокупности недосмотра веб-мастера и недоработок CMS, так что с этим можно и нужно бороться. Удачи.

Если же Вас не радуют дубли типа /sobstven-sate/eksperiment-seo/383.html, то есть сокращённые адреса страниц, используйте плагин для Joomla Shnodoubles , найти который можно погуглив или отписавшись мне в комментариях, с ним я полностью решил проблему на считанные минуты. Подумав и устав отписываться я предлагаю скачать nodoubles для Joomla прямо с сайта.

Также предлагаю видео по удалению дублей в Joomla посредством 301-го редиректа —

Вопросы-ответы

Можно ли избавить от дублей на автомате?

Отсутствие дублей на 90% гарантируется в автоматическом режиме. Для Joomla достаточно настроить robots и htaccess, а также разобраться со склейкой страниц на основную навигационную. Однако в процессе расширения сайта дубли могут появляться, поэтому отслеживайте их через паука Netpeak Spider.

Неужели пауки ПС не понимают, что дубли на Joomla – это ошибка разработчиков?

А почему эта ошибка не исправляется владельцем? Если вы купите машину с дефектом, то не станете же вы жаловаться, что ваc штрафует ГИБДД за, то что не горят фары или не соответствуют нормам выхлопные газы? В поддержку обращаться смысла нет, так как CMS не платная.

Сейчас сильно жёстко штрафуют за дубли редко, но… Если по запросу, например, дублирование страниц у вас присутствуют в поиске 3-4 документа с одинаковым контентом, но разными урлами, то, как вы думаете статический вес будет на каждой из них максимальный, или размажется? В конце концов это вам решать, нужен ли вам декоративный мусорный сайт или вы хотите делиться с пользователями информацией и получать за это профит при правильной настройке CMS.

Удаление дублей страниц на сайтах Joomla

Дубли – это одинаковые веб-страницы, доступные по разным URL-адресам. Виды дублей страниц:

• дубли с www и без
• дубли с https:// и без
• дубли с символом «/» на конце
• дубли с суффиксом .html
• дубли с символом вопроса
• дубли с index.php
• дубли в формате RSS, PDF и для печати
• дубли материалов компонента контента

Тип: услуга

Состав работ

• Создание полной резервной копии текущего сайта (файлы + база данных)
• Указание поисковым системам на актуальные страницы
• Редиректы с помощью функционала Joomla
• Редиректы через файл .htaccess
• Настройка исключений в файле robots.txt
• Указания на канонические URL-адреса
• Настройки материалов контента – отключение генерации страниц RSS, PDF
• Установка и настройка плагина JL No Doubles
• Отчёт

JL No Doubles — убирает дубли страниц

JL No Doubles — плагин призван помочь людям, у которых есть проблемы с дублями страниц, склеить множество одинаковых страниц в одну сделав редирект с не правильной страницы, на правильную. Так же плагин может быть использован, для формирования корректной структуры сайта при ее изменении. Допустим вы изменили алиас пункта меню или перенесли статью в другой раздел.

Этот плагин простой и удобный инструмент, для того, чтоб сократить дубли в несколько раз. Допустим сайт Joomline сократил дубли в 4 раза после начала использования этого плагина.

Плагин основан на Shnodoubles, переданный Hekima на поддержку Joomline.

В комплект входит:

• Плагин JL No Doubles.

Внимание! Плагин не работает ни с какими компонентами стороннего SEF! Плагин не работает при отключенном SEF Joomla. Возможны проблема с кириллическими URL.

Последняя актуальная версия для Joomla 2.5 — 2.2.0

Где использовать плагин?

Убрать дубли, которые попали в поисковые системы. Автоматические редиректы при изменении структуры сайта.

В других компонентах

Вы можете использовать плагин в: K2, Virtuemart, JoomShopping, HikaShop, Zoo.

Примеры использования

В Joomla страница может иметь массу адресов, и при этом оставаться одной и той же страницей.

Например сайт Joomline имеет такие страницы:

И еще массу других подобных страниц, и все эти страницы могут попасть в индекс поисковиков. Это на самом деле очень не приятно, когда вы заходите в Яндекс вебмастер, или Google вебмастер и видите на своем сайте место 100 страниц 1000, а то и больше. Из-за этого ваш сайт может плохо ранжироваться и вообще испытывать массу трудностей.

Новости по расширению JL No Doubles

JL No Doubles v2.6.0 — поддержка Phoca Cart

JL No Doubles v2.5.1 — отказ от системы лицензирования

JL No Doubles v2.4.3

Возможности JL No Doubles:

• Поддержка Joomla 3.
• Локализация: Русский и Английский.
• Возможность настроить 301 редирект на корректную страницу.
• Возможность отдавать 404 ошибку при попадании на не корректную страницу.
• Возможность задать исключения для любого компонента установленного на сайте.
• Работа с com_content (материалы Joomla), com_tag (теги Joomla).
• Работа с меню Joomla.
• Поддержка: K2, Virtuemart, ZOO, JoomShopping, HikaShop, Phoca Cart .
• JoomShopping поддерживаются: карточки товара, категории и производители.
• Глубокая поддержка категории Joomla, корректно обрабатывается пагинация и всевозможные дубли категорий.
• Поддержка исключения регулярных выражений. Полезно для всевозможных систем статистики и расширений, которые не соблюдают правила роутера Joomla.
• Поддержка мультиязычных сайтов.
• Поддержка кириллических URL

Еще расширения для вашего сайта

История версий JL No Doubles — убирает дубли страниц

• Добавлена поддержка Phoca Cart.
• Изменен Donate.

Вся история версиий

• Отключена система лицензирования.
• Изменен сервер обновления.
• Изменены языковые переменные.
• Обновлены копирайты.

• Исправления notice в админ панели Joomla.
• Исправления для layout com_content.
• Исправления для JoomShopping.

• Улучшен редирект.
• Исправления для K2.

• Исправления для нового роутера Joomla.
• Исправления для K2.

• Добавлена поддержка HikaShop.
• Исправления для K2.
• Исправления для K2 кириллица.
• Мелкие исправления.

• Исправление тегов К2.
• Исправления кириллических URL.

• Исправление для JoomShopping.
• Исправления для Virtuemart.
• Улучшена поддержка кириллических URL.

• Исправление для JoomShopping.
• Изменение языковых переменных.

• Исправления для JoomShopping.

• Дополнительные обработки если не подключены библиотеки.
• Исправления для компонента тегов.
• Исправления для отключенного роутера Joomla.
• Исправления пагинации.
• Исправления для ZOO.
• Исправления для Virtuemart.

• Поддержка urlEncode.
• Поддрежка компонента тегов.
• Поддержка JoomShopping. (требует лицензии).

• Автоматическое определение пагинации в зависимости от настроек категории com_content.
• Поддержка переменных tmpl.
• Улучшения для Virtuemart.
• Исправления для избранного com_content.
• Багфикс.

• Исправления для Virtuemart.

• Исправление стоп слов.
• Исправление для мультиязычных сайтов.
• Исправления для com_content.
• Исправления для virtuematr.

• Расширена поддержка K2.
• Расширена поддержка Virtuemart.
• Расширена поддержка Zoo.
• Исправлены ошибки.
• Добавлена поддержка категорий com_content.
• Добавлена система глобальных исключений параметров не поддерживающих роутер Joomla.
• Добавлена система лицензирования.
• Поддержка мультиязычных сайтов.

• Финальный релиз для Joomla 3.
• Портирование функций с Joomla 2.5.
• Исправление ошибок, актуализация кода в связи с новыми требованиями Joomla.
• Выделение языковых переменных.
• Локализация на английский язык.