Как удалить сайт из поиска яндекс

Как удалить страницу из индекса Яндекса навсегда?

Заказчик тасовал товары между категориями без редиректов. Теперь в Вебмастере висит предупреждение, что страницы имеют одинаковый title: страница с новым адресом и ссылка на 404. Таких страниц набралось почти 40% от общего количества страниц. После его манипуляций, поисковый трафик просел в два раза. 301 редирект не помогает.
Что делать в такой ситуации? Как заставить Яндекс понять, что страниц больше не существует, значит и дублей нет?

Ответ

Чтобы избавиться от ошибки в Вебмастере прежде всего нужно время. Причина в том, что карточки дольше индексируются поисковым роботом. Это из-за того, что чем меньше внутренних ссылок на страницу, тем меньшую часть она занимает в краулинговом бюджете.

Кроме того, при настройке 404 ответа сервера, поисковый робот со временем вновь заходит на страницу, для того, чтобы проверить не удалена ли она. В таком случае рекомендуем назначить 410 ответ сервера (удалена окончательно).

Чтобы ускорить исключение таких страниц, можно воспользоваться функционалом Яндекс.Вебмастера:

1. Удаление страниц из поиска.
2. Переобход страниц.
3. Увеличить скорость обхода поисковым роботом. Важно выполнять данную правку в том случае, если у Вас хороший сервер и это не даст сильную нагрузку. На одном SPA проекте у клиента слетел prerender и Яндекс пометил 1 000 важных страниц, как дубли. После устранения ошибки, мы увеличили скорость обхода по максимуму и за два дня Яндекс почистил все ошибки.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Подписаться на рассылку

• Могут ли упасть позиции и трафик страниц категорий из-за удаления карточек товара? В интернет магазине было около 37 тыс товаров. Месяц назад была чистка, убрали 7-8 тыс товаров, они сваливались в 404…. Сейчас, позиции по кс категорий.
• Как можно удалить из индекса Яндекса несколько тысяч страниц? Чем можно быстро выкинуть из поиска Яндекса несколько тысяч страниц (все 404, висят уже 3 месяца — поиск сам не выкидывает) + загнать бота, чтобы.
• Как удалить http страницы из индекса Google после переезда на https? Сайт уже несколько лет назад переведен на https, со всех страниц с http сделан редирект 301 на https. Но Google несколько десятков страниц с http.
• Как и когда нужно удалять thin контент с сайта? В последнее время встречаю кейсы вида: удалил thin контент и трафик пошёл вверх. Что думаете по этому поводу? Как удалять: просто 404 или 301 сливаем.
• Что делать с удаляющимися карточками товара, которого уже нет в наличии? Сайт по продаже авто из США, товары парсятся из сайтов аукционов в США. То есть на сайте каждый день обновляются товары и так же удаляются.

Юрист по образованию. Что такое SEO узнал на собеседовании. Прошел тернистый путь от контент-менеджера к SEO-аналитику.

Девиз: Юмор. Сохраняй чувство юмора, особенно в отношении себя самого — это безграничная сила.

Как удалить страницу из индекса Яндекса и Google

Чтобы оперативно удалить страницу из поиска, необходимо воспользоваться инструментом Яндекс Вебмастера и Search Console: «Удалить URL».

Перед тем как использовать данные сервисы, настройте 404 код ответа удаляемых страниц или запретите от индексации в файле robots.txt.

В течение нескольких дней после использования сервиса, страницы пропадут из выдачи поисковых систем.

Автоматическое удаление страниц

Если страница отвечает любому из трех условий:

• Отдает 404 код ошибки.
• Закрыта от индексации в файле robots.txt.
• Закрыта от индексации мета-тегом robots.

То со временем она удалится из индекса автоматически.

Недостаток автоматического метода в том, что удаление страниц может затянуться — ожидание повторного переобхода поисковыми роботами. А, если это внутренняя страница с небольшим количеством входящих ссылок, то произойти это может не скоро.

Именно поэтому рекомендуется использоваться ручные сервисы по удалению страниц из индекса.

Ждите новые заметки в блоге или ищите на нашем сайте.

Как удалить страницы сайта из поисковой выдачи

SEO

Автор Алексей На чтение 3 мин Просмотров 2.1к. Опубликовано 10.02.2021 Обновлено 07.02.2021

Часто случается что в поисковую выдачу попадают мусорные страницы, либо просто хотите удалить из поиска определенные страницы сайта. Сегодня разберем как это быстро и правильно сделать.

Для чего удалять страницы из поиска

Лично я на днях провел аудит CTR страниц блога и нашел так сказать бесполезные страницы заточенные под низкочастотные запросы которые имеют мало показов, не лучшие позиции и нулевой CTR. По факту это некачественный контент, который нет смысла оптимизировать и который понижает общее качество сайта.

Смотрите интересную статью: Пошаговый аудит контента — там есть более подробная информация о стратегии удаления некачественного контента и ее обоснование.

Немного про статусы ответов страниц

Сейчас в большинстве CMS при удалении страниц, они начинают отдавать 404 ошибку — страница не найдена. Можно оставить данный ответ — тогда в течении пол года поисковые системы должны удалить данные страницы из поиска автоматически. Но можно ускорить процесс удаления страниц если отдать им вместо 404 статуса, ошибку 410 gone — страница удалена.

Здесь основная разница заключается в том что 404 код не информирует, будет ли отображаться данная страница в будущем или она не появится больше совсем. А 410 код информирует, что страница присутствовала на сайте и теперь удалена.

Как настроить ошибку 410 gone

Сделать это можно несколькими способами:

1. Если ошибка 404 отдается при помощи файла 404.php — тогда можно внести туда строчку кода: header($_SERVER[«SERVER_PROTOCOL»] . » 410 Gone»); , таким образом все 404 ошибки будут отдавать 410 ответ.
2. Через файл .htaccess, внеся в него строку типа RewriteRule ^test/?$ — [R=410,L] — где test адрес страницы.
3. Через плагины, например для woprdpress есть плагин « Ultimate 410 Gone Status Code » в котором можно как в ручную добавлять страницы, так и массово выгружать из CSV.

Как проверить ответ сервера

Чтобы проверить какой код статуса HTTP отдает удаленная страница, можно воспользоваться бесплатным сервисом checkmy.ru .

Страницы удалили, настроили им ответ 410, теперь осталось подождать (до 2х месяцев чтобы поисковые системы удалили данный контент, либо ускорить процесс скормив их поисковым системам.

Удаление страниц из Яндекс

В Яндекс.Вебмастер есть специальный инструмент: «Удаление страниц из поиска», открываем его закидываем туда URL (не больше 500 в день) и жмем на кнопку удалить.

Удаление страниц из Googole

С гуглом все немного сложнее. В search console есть инструмент Удаления — Временные удаления — который быстро, но временно (на 6 месяцев) удаляет страницы из поиска.

Судя по справке , если у страниц будет 404 или 410 статус ответа, то они будут по истечению пол года удалены навсегда.

Если есть вопросы, спрашивайте!

Удаление сайта из поиска Google и «Яндекс»

Причины для удаления сайта или отдельной страницы из поиска могут быть разными. Но суть всегда одна — необходимо сделать так, чтобы конкретный документ нельзя было найти. В этой статье расскажем как и когда нужно удалять страницы из поисковых систем.

Зачем может потребоваться удалить сайт из поиска

Для начала стоит разобраться в каких ситуациях нужно заниматься удалением страницы из поисковой системы.

• Старый сайт. Если веб-ресурс не работает, можно убрать его из поиска. Вообще лучше всего настроить редирект со старого домена на новый, но в этой статье предположим, что вы просто хотите его удалить.
• Неактуальные страницы. К примеру, вы изменили публичную оферту, но старая может находиться в поиске. Чтобы не возникло проблем с потенциальными клиентами, лучше сделать старую версию недоступной.
• Дубли. Иногда возникают ситуации, когда появляются дубли страниц. Это также причина убрать их из поиска.

Важно! Если вы удалите сайт или страницу из поиска, они, возможно, будут доступны из веб-архива.

Таким образом, несмотря на полное удаление сайта или страницы из поиска ее теоретически можно будет найти другими способами. Также учитывайте, что для разных поисковых систем способы убрать ресурс из выдачи могут отличаться.

Важное дополнение! Удалить сайты конкурентов не получится.

Продвижение сайтов

• Любой формат сотрудничества: позиции, лиды, трафик.
• Подбираем запросы, которые приводят реальных покупателей!

Удаление страницы из «Яндекса»

Здесь есть несколько способов, они немного отличаются по техническим нюансам. Выбирать метод лучше с учетом возможности доступа к инструментам.

Через «Яндекс.Вебмастер»

В «Яндекс.Вебмастер» есть встроенный инструмент для удаления ссылок на отдельные страницы из поиска. В меню сервиса находим вкладку «Инструменты» и в выпадающем списке выбираем «Удаление страниц из поиска».

Открывается окно с полем для ввода удаляемых URL. Указываем в поле соответствующие страницы и жмем кнопку «Удалить». За сутки дается возможность удалить до 500 ссылок.

Еще есть вариант удаления «По префиксу». Переходим на соответствующую страницу, кликнув на кнопку «По префиксу». Здесь предлагается два способа удаления. Один через Robots.txt, его мы рассмотрим позже, другой вариант — добавление указания в поле. К примеру, нам нужно закрыть от индексации все страницы с личными данными пользователей. Они начинаются с префикса page? в URL. Указываем его в поле и кликаем «Удалить».

Работа через «Яндекс.Вебмастер» простой и надежный способ убрать определенные страницы из поисковой выдачи.

Удаление страницы (404)

Как работает такой способ. Тут инструкции не будет. Просто описание с опорой на справку «Яндекс».

Вы можете просто удалить страницу со своего сайта. В этом случае при попытке перехода по URL будет появляться ошибка 404.

Если поисковый краулер при очередном переобходе сайта посетит страницу с кодом 404, он ее удалит из поиска. Обычно пропадает документ с кодом 404 из выдачи в течение недели, после того как ее посетил робот. Чтобы он быстрее пришел на нужную страницу, отправьте ее на переобход, это значительно ускорит процесс удаления.

Читайте также:
Страница 404: 18+ примеров как оформить страницу ошибки

Через robots.txt

Выше уже упоминалось, что удалить отдельные страницы и целые каталоги можно через файл robots.txt. Давайте разберемся как это работает. Для запрета посещения поисковыми роботами определенных страниц, существует директива Disallow, подробнее про то, как она работает можете прочитать в нашей статье.

Здесь же мы рассмотрим как удалять с ее помощью страницы из поисковой выдачи. Допустим, нам нужно удалить каталог с персональными страничкам пользователей /password, а также отдельную страницу с префиксом /page/?156. Для этого прописываем в файле robots.txt строки, выделенные на скриншоте.

Обратите внимание, что директивы для удаления нужно вводить после указания: User-agent: Yandex. Так вы покажете, что эта директива должна выполняться поисковым роботом «Яндекса».

Продвижение сайтов

• Любой формат сотрудничества: позиции, лиды, трафик.
• Подбираем запросы, которые приводят реальных покупателей!

Через метатеги

Еще один вариант — указание на запрет индексации через метатеги. В этом случае прописывается метатег robots с параметром “noindex”. Такой способ подходит для одностраничных сайтов или сделанных на чистом html.

Вписываем в код страницы между тегами head, такую конструкцию.

Выглядит в коде она вот так.

Для Google удаление страницы из поиска происходит аналогично, только указываем name= “google”.

Удаление сайта из Google

Убрать сайт из поиска Google можно только одним способом — через запрос в Google Search Console. Для этого в кабинете находим ссылку «Удаление» и переходим по ней. После чего кликаем «Создать запрос».

Открывается всплывающее окно, где есть два варианта:

1. Временное удаление страницы. Собственно это и есть удаление страницы. Но, для большей надежности рекомендуется удалить документ или использовать метатеги.
2. Удаление кэшированной копии страницы. Здесь можно удалить оставшуюся в кэше копию.

Рассмотрим вариант с временным удалением страницы. Вставляем в поле URL. После чего выбираем «Удалить только этот URL». Если вы хотите удалить, например, категорию товаров из поиска, можно выбрать «Удалить все URL с этим префиксом». В этом случае будут удалены из выдачи все документы с таким префиксом. Теперь нажимаем кнопку «След.».

Показывается окно с предупреждением, что страница во всех вариантах будет удалена из поиска. Нажимаем «Отправить запрос».

Теперь на вкладке «Удаление» появилась новая строка. При необходимости вы можете отправить еще один запрос на удаление.

В целом для Google работает только этот способ и метатеги. Директивы в robots.txt эта поисковая система может не учитывать.

Читайте также:
Факторы ранжирования Google и Яндекс: что это и как работает

Полезные советы

Теперь дадим небольшой чек-лист, который поможет вам решить, что делать с ненужными страницами на сайте.

• Удаляйте страницы с устаревшей информацией. Все недействительные оферты, карточки отсутствующих товаров лучше удалить.
• Способ удаления зависит от поисковой системы. «Яндекс» и Google по-разному реагируют на инструменты запрещающие индексацию, учитывайте это.
• Дублируйте запреты. Лучше использовать несколько способов одновременно.
• Используйте инструменты «Вебмастер» и Search Console. Это позволит гарантировать удаление страницы из поиска.

Коротко о главном

• Удаляют обычно страницы с устаревшим контентом.
• Недостаточно поставить «заглушку», нужно сообщить об этом поисковым роботам.
• «Яндекс» поддерживает разные инструменты для удаления сайтов и страниц из поиска.
• Google поддерживает только запрет индексации через метатеги и удаление в Search Console.

Присоединяйтесь к нашему Telegram-каналу!

• Теперь Вы можете читать последние новости из мира интернет-маркетинга в мессенджере Telegram на своём мобильном телефоне.
• Для этого вам необходимо подписаться на наш канал.