Как можно удалить из индекса Яндекса несколько тысяч страниц?
Чем можно быстро выкинуть из поиска Яндекса несколько тысяч страниц (все 404, висят уже 3 месяца — поиск сам не выкидывает) + загнать бота, чтобы переклеил страницы с 301 редиректом (тоже 3 месяца висят, до сих пор не склеены)?
Ответ
С аналогичной проблемой мы столкнулись в августе прошлого года, необходимо было удалить 7 000 низкокачественных страниц (скриншоты домов, которые доступны на отдельных страницах).
Настроив 404 сервера для ненужных страниц ничего не вышло, так как робот повторно заходил на такие страницы, с целью перепроверки ответа сервера. Мы настроили 410 ответ сервера — удалено навсегда, но это также не дало результата, так как алгоритм заточен так, что робот повторно перепроверяет несколько раз страницы с HTTP-статусом с кодом 404, 403 или 410.
Если Ваш сайт продвигается только в Яндексе, тогда можете воспользоваться инструментом “Удаление страниц из поиска” в Яндекс.Вебмастере:
Таким образом можно удалить до 500 страниц за день, при этом можете не переживать: если среди данных url окажется страница с другим ответом сервера (то есть не 404, 403 или 410), тогда удаления не будет.
Если у Вас сайт продвигается в двух поисковых системах, то ручное удаление Вам не поможет. Можете воспользоваться следующим вариантом: закрытие каталога в robots.txt. Этим же вариантом воспользовались мы и таким образом исключили все ненужные страницы меньше чем за две недели.
Ускорить индексацию новых url можно:
- Улучшив скорость сайта. К тому же, сейчас это важный фактор в Google, который добавил новый отчет в консоли.
- Для того чтобы ускорить переезд сайта необходимо со старого сайта отправить два файла Sitemap со старыми и новыми URL. Это поможет поисковым роботам обнаружить переадресацию и ускорит перенос сайта.
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Подписаться на рассылку
- Как восстановить позиции и трафик сайта после взлома? Взломали сайт на WP, залили кучу страниц в карту сайта, они проиндексировались. Заметили не сразу, поэтому нужно решать не только проблему, но и последствия. Можно.
- Как повлияет удаление 4 тыс. страниц с неуникальным контентом? Есть сайт с 4 тыс. статьями неуникального контента. Решили все статьи удалить и сделать 40 оптимизированных страниц. Как посмотрят поисковики на резкое падение числа страниц.
- Что делать, если страницы удалились из индекса и просели позиции из-за недоступности сайта? Не оплатили доменное имя и сайт неделю был недоступен. Когда проблема была устранена обнаружилось что по самому частотному запросу сайт из топа Google, хотя находится.
- Как скажется на SEO удаление уникальных страниц товаров в карточке интернет-магазина? Подскажите, пожалуйста, как скажется на seo удаление уникальных страниц торговых предложений в карточке интернет-магазина? Были разные URL для разных характеристик (цветов, размеров), а останется только.
- Как удалить спамные страницы с изменённым контентом после взлома сайта? Сайт был взломан, сейчас его полечили, все вирусы убрали. Но в выдаче весь спам остался. Как максимально быстро убрать весь мусор из выдачи? 1. Как.
Юрист по образованию. Что такое SEO узнал на собеседовании. Прошел тернистый путь от контент-менеджера к SEO-аналитику.
Девиз: Юмор. Сохраняй чувство юмора, особенно в отношении себя самого — это безграничная сила.
Как бороться со спамными ссылками в Яндексе?
На мой сайт стали ссылаться с различных порно сайтов и всякого рода мусорных сайтов на китайском языке. Как бороться в Яндексе с ссылками из разных некачественных ресурсов (порно сайты и тому подобный мусор влияющий на качество акцептора)?
Ответ
К сожалению, в Яндексе нет инструмента, такого как Google Disavow Links Tool.
Единственное что остаётся в Яндексе — пытаться снять ссылки вручную, написав письма владельцам площадки с просьбой удалить ссылки, мотивируя их вознаграждением, но скорее всего ответа вы не получите.
Также необходимо собрать файл с перечнем всех плохих обратных ссылок и обратиться в тех.поддержку Яндекса — напишите что пытались связаться с вебмастерами, но ничего не получилось и результата нет (приложите скриншоты с переписками и всё что сможете найти). Вы получите стандартный ответ от поддержки, но в случае наложения фильтра у Вас будут доказательства, что вы уже обращались и пробовали решить эту проблему.
Небольшое количество плохих ссылок едва ли станет причиной наложения фильтра. Алгоритмы Яндекса умеет отличать подобные некачественные ссылки и скорее всего не учитывают их — ответ от поддержки Яндекса:
Беспокоиться о некачественных ссылках стоит только в том случае, если их процент близок к половине. Но в подавляющем большинстве случаев лучше тратить время и ресурсы на развитие сайта и получение новых, качественных ссылок, чем на поиски пропавших вебмастеров — стоит закупать 2-е качественные ссылки взамен 1-ой плохой.
Подробнее о том, каким сайтам стоит беспокоится при обнаружении “ссылочной атаки” на свой сайт мы рассказывали тут: «Ссылочный бум: что делать, если на сайт проставляют спамные ссылки».
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Подписаться на рассылку
- Как отклонить редиректы с спамных сайтов? Чёрные SEOшники редиректят плохие сайты на наш. Как отказаться от редиректа и сделать так, чтобы Google не учитывал его влияние на наш сайт? Ответ Для.
- Перенос сайта из-за спамного ссылочного профиля Стоит ли переносить сайт на другой домен и сделать на него редирект (с site.ru на site.me), если site.ru заспамлен плохими ссылками? Ответ Мы считаем, что.
- Ссылки со спамных сайтов с прямым анкором — как повлияют на ранжирование и что с ними делать? Вижу, что с одинаковым текстом и прямым анкором на мой сайт стали появляться ссылки с сайтов сделанных под копирку 1 в 1 и одинаковым контентом.
- Что делать с резким приростом спамных ссылок? Заметил, что мой ссылочный профиль (судя по серч консоли) заметно прирос. Все бы хорошо, да рост этот связан с ссылками на так называемом «ломе», на.
- Как проверить новые ссылки на спамность и определить те, от которых стоит отказаться? Сайт начал проседать в Google после прогона по ссылочному. Как проверить новые ссылки на спамность и от каких нужно будет отказаться, чтобы вернуть позиции? Ответ.
В SEO нравится возможность работать в различных ситуациях.
Всегда привлекала командная работа.
Увлекаюсь хореографией, настолками, сериалами и фильмами, чуть-чуть играю в волейбол и настольный теннис.
Девиз: Человек сам прокладывает свой путь
ТОП-13 санкций сайта от Яндекса – фильтры поисковой системы
Фильтры поисковой системы Яндекс – это некие правила, по которым «Яндекс» проверяет сайт и в случае выявленных нарушений снижает позицию сайта (пессимизация) или вовсе сайт блокирует, тем самым убирает его из поисковой выдачи. Некоторые фильтра (правила) очень жесткие, если их нарушить – сайт может навсегда пропасть из SEO-выдачи!
Что такое поисковые фильтры «Яндекса»
Алгоритмы, по которым работают все поисковые системы yandex при распознавании сайтов с искусственно наращенными позициями выдачи, называют фильтрами. Фильтры поисковой системы служат как инструмент чистки поисковой выдачи от некачественных и нарушивших правила сайтов. Фильтрация идет от ненужного мусора, спама, фейковых страниц и прочего информационного хлама, который препятствует нормальной работе поисковика.
Основной целью фильтров является предоставление пользователю только качественных ресурсов. Программные роботы проверяют сайты на наличие черных методов SEO.
Почему сайт попал под фильтр
Первым звонком, что сайт находится под влиянием фильтра, является резкое снижение трафика. Сайт показывает уменьшение популярности, при этом SEO находится без изменений.
Пожалуй, самой часто встречающейся причиной, по которой на сайт накладывается фильтр, это не содержание в нем полезной информации для пользователя. Это случается с копированными текстами, плохо перефразированными, где уже не остается важных моментов.
Не допустимо появление текстов с переспамом. Это повторяющиеся фразы, частое точное вхождение слов.
Яндекс моментально блокирует тексты с тематикой 18 +. Это нецензурная лексика или тексты с элементами эротики.
Все фильтры поисковой системы Яндекс
Внимательно следите за соблюдением правил (фильтров) Яндекса, заранее предупредите SEO-специалиста или агенство о том что вы желаете продвигаться «Белым» способом и обговорите санкции в случае попадания под SEO-фильтра Яндекса.
Список известных и самых популярных фильтров ПС Яндекса:
- Переспам
- Переоптимизация
- Текстовый антиспам
- СПАМ в микрозаметке
- Баден-Баден
- Повторяющийся контент
Ссылочные санкции:
- Ссылочный взрыв
- «Пингвин»
- Ссылочный СПАМ или пессимизация
- Внутренний и внешний Непот
- Минусинкс
За поведенческую информацию:
- накрутка ПФ
- кликджекинг
- криптоджекинг
- содействие имитаций действий пользователей
Ассоциированность сайтов в группу:
- Аффилированность
- На идентичные сниппеты
За рекламную составляющую:
- Назойливая реклама
- Обманная и избыточная реклама
- За обман мобильных пользователей
- Реклама, вводящую в заблуждение
- Навязчивые оповещения
За «взрослое» содержимое:
- Adult-фильтр
За качество содержимого и бизнеса:
- Поисковой фильтр Яндекса АГС
- Supplementary Results
- Панда
- Некачественный бизнес
За направленность ресурса:
- Бан
- Различные типы ручных санкций
- За нарушение законодательства
Рассмотрим более подробно основные фильтры поисковой системы Яндекс.
Переоптимизация
При его использовании уменьшается релевантность документа в Яндексе.
Причины переоптимизации
Одной из причин возникновения данного фильтра является неверное определение метрик эффективности сайта.
Фильтр поисковой системы Яндекс накладывается сразу, если было установлено, что:
- Большое скопление ключевиков в одном месте, обычно рассматривается соотношение слов на одну страницу
- Ключевые слова вписаны нелогично, выглядят неестественно, бросаются в глаза своей корявостью и навязчивость, выделены жирным
- Присутствие технической синонимизации в тексте
Как определить переоптимизированный сайт
Знаком определения будет то, что сайт исчез с верхних страниц поисковика. Такие страницы резко теряют трафик. Позиции могут упасть до 25-ти пунктов.
Как снять
В данном случае требуется полное, грамотное редактирование текста. Должны быть заменены все вхождения, изменены ключевые слова. Обязательно необходимо уменьшить количество ключей. Переделать страницу нужно так, чтобы она была читаема, интересна для пользователей, несла полезную и доступную информацию.
Переспам
Он сокращает релевантность в запросах. Яндекс накладывает санкцию на текст, когда он явно перенасыщен однотипными словами, ключами, вхождениями.
Причины переспама
Помимо часто встречающихся одинаковых фраз, однокоренных слов основной из причин, почему система накладывает переспам, это большое процентное содержание воды. Яндекс отслеживают слова «паразиты» и другие пустые символы. То есть, в тексте несколько значимых слов, которые окружены пустыми, не нужными предложениями. Если убрать эту воду, смысл текста не теряется.
Как определить
Если у сайта стали проседать единичные позиции, а ранее этого не наблюдалось, то вероятнее всего сайт попал под фильтр Яндекса. При этом основной запрос в поисковике может спуститься даже до 15-40 х позиций.
Как снять
Как снять фильтры поисковой системы Яндекс в этом случае, решает сам обладатель сайта. Хороший результат даст изменение, перефразирование основного запроса (ключевого слова). После этого пессимизация чаще всего пропадает. Это происходит потому, что у пессимизации прочная привязка к главному запросу.
Также не плохой вариант удаления или корректировки в поисковых фразах точного вхождения.
Рекомендуется добавлять заголовки, изображения, таблицы, графики.
Ты последний
Новый фильтр Яндекса 2021 быстро находит и ставит блокировку на несоответствующие сайты. Как узнать, что сайт находится под фильтром Яндекса, не составит труда – сайт сразу уходит на последнюю строчку. У данного фильтра говорящее название.
Причины
Под такие фильтры поисковой системы Яндекс попадают тексты, не имеющие нужной, интересной, новой информации. Это бесполезные статьи, рерайт, копипаст или другой спам. То есть, в предложениях отсутствует смысловая нагрузка или абзацы полностью заимствованы с других сайтов.
Как определить
Проверка сайта на фильтры поисковой системы Яндекса показывает, что самые частые запросы из поисковика стремительно ушли вниз. На самом деле угасают все запросы, но частые страдают в первую очередь. Что касаемо недавно созданных страниц, они беспрепятственно попадают в индекс.
Как снять
Выход из-под фильтра Яндекса возможен при условии полной, качественной проработке страницы. Это касается абсолютно всех страниц, ушедших далеко вниз или полностью вылетевших из индекса.
Нужно максимально добиться уникальности контента. Не допускается использование не нужных слов и оборотов ради увеличения объема текста. Написанное должно быть полезно и значимо для читателя.
Ссылочный фильтр – Минусинск
Фильтр Яндекса за ссылки называют Минусинск. Множество сайтов применяют ссылки-мусор. Читателям они мешают, порой даже вредят.
Причины
Попасть под фильтр может сайт, когда анкоры насыщены ключами. Использование СПАМ-ных ссылок, особенно в больших количествах несомненно приведет к санкциям.
Как определить
Если у сайта Яндекс снизился трафик в сравнении со средним его показателем, то он возможно попал под влияние фильтра. Снижение отражается на всех доменах, не только на зеркале.
Сайты, попавшие под Минусинск падают в рейтинге в два раза. Данный фильтр можно проследить в «безопасность и нарушения».
Как снять
В этом случае рекомендуется удалить все СПАМ-ные ссылки, привести в порядок сайт и тщательно следить за выкладываемым материалом. Все впредь используемые ссылки проверять на мусор, СПАМ и «рекламность».
Фильтр за резкое увеличение ссылочной массы
Фильтр препятствует распространению информации, которая навязывается покупкой платных ссылок.
Причины
Это происходит из-за резкого скачка ссылочной массы вверх. По другому называют ссылочным взрывом. То есть, за минимальный промежуток времени домен получил максимальную ссылочную нагрузку.
Особенно этот фильтр проявляется при СПАМ-ных и других сомнительных ссылках.
Как определить
Наложение данного фильтра Яндекс приводит к снижению ИКС и других позиций по семантике. При наложение фильтра за «ссылочный взрыв» Яндекс начинает некорректно воспринимать донора.
Как снять
Целесообразно для активной работы сайта периодически проводить его чистку. Перепроверять чистоту ссылок. Весь мусор, платные ссылки, рекламу, SEO ссылки следует удалять.
Выбирать следует только важные ссылки, необходимые читателям, которые действительно будут полезны.
Фильтр «АГС»
Фильтр препятствует размножению всех подозрительных сайтов. Фильтр существует более 10-ти лет. Первоначально он исключал все домены с большим использованием SEO ссылок. С тех пор его функции не много скорректировались.
Причины заложения фильтра «АГС»
Поисковой фильтр Яндекса АГС обезвреживает все существующие сомнительные сайты. Идет блокировка всех дорвиев.
Недостоверные сайты, которые предоставляют непроверенную или же заведомо ложную информацию будут отфильтрованы.
Тексты с задвоенными страницами, скопированными, с повторяющимися абзацами попадут под фильтр. Наличие редиректов также является причиной наложения АГС фильтра. В случаях взлома страниц идет также пессимизация.
Как определить
Отслеживание позиций помогает вовремя понять, что с сайтом происходят изменения. Трафик начинает резко падать. Это видно по всем критериям запроса. Также может наблюдаться полное покидание индекса. Страницы совсем его покидают.
Как снять
Контент обязан быть качественным. Нужно перепроверить и при необходимость удалить все дублирование, подчистить мешающий спам, ненужные ссылки, SEO, редиректы. То есть, провести грамотный анализ сайта, избавить его от мусора.
На будущее рекомендуется регулярно обновлять контент, прослеживать за наполняемостью сайта правильной информацией, наблюдать за поведенческими метриками, они должны быть в нужном диапазоне.
Фильтр поисковой системы Яндекс «Аффилиат»
Происходит писсимизация позиций одного из аффилированных сайтов. Один сайт будет прослеживаться в первой десятке в поисковой системе, другой, нерелевантный – в 20-ке.
Причины
Если домены имеют близкую контактную информацию, дизайн, ассортимент (копия сайта), то вероятнее всего на них будет наложен фильтр аффилиатов. Это иногда случается даже в тех случаях, когда один номер телефона высвечивается на разных доменах.
Также это может быть идентичное описание товара, структура каталога, одинаковая стоимость и др. Это чаще всего несколько сайтов одной кампании.
Как определить
Понять, что на сайт наложен именно этот фильтр, практически не возможно. Поддержка не указывает этот фильтр в своем списке. Но можно вручную проверить несколько сайтов. Например, вводить коммерческий запрос в поисковик и прослеживать, выйдут ли данные сайты на близкие позиции в первой десятке. Если не получилось обнаружить такие запросы, то есть вероятность аффилированности этих сайтов.
Как избавиться
Для дальнейшей успешной работы сайтов нужно подчистить и скорректировать дубликаты номеров, адресов и других совпадающих данных. И периодически контролировать наполнение сайта.
Фильтр Yandex «Adult»
Его задача заключается в ограничении распространения «Взрослых» тем.
Причины
Публикация запрещенной тематики, такой как порно, эротика, насилие. Или предоставление ссылок на неприемлемые темы.
Как определить
Если неожиданно упали позиции по данной тематике, вероятно произошло наложение фильтра.
Как от него освободиться
Чтобы освободиться от воздействия фильтра Adult, нужно удалить все запрещенные картинки, фото, видео. Ссылок для перехода на данные темы также не должно быть.
Рекламный фильтр
Фильтр блокируют всю некорректную рекламу, СПАМ и другой не интересную контент.
Причины
Наличие на сайте навязчивой рекламы. Также ограничивается работа сайтов с агрессивной рекламой, когда она мешает изучению контента.
Как определить
Идет угасание трафика, позиции стремятся вниз. Это касается страниц как с рекламой, так и без.
Как убрать
Нужно удалить всю рекламу. Не должно быть рекламных блоков, тем более самопроизвольно включающейся рекламы.
Фильтр «Баден-Баден»
Фильтр борется со спамом. А также проводит анализ, полезен ли материал для пользователя.
Причины
Фильтр блокирует сайт, если есть подозрения, что материал не несет пользователю нужной информации.
Часто встречается поисковой спам. Также присутствует искусственное внесение заданных характеристик текста. Таких как, водность, тошнота и др.
Присутствие «жирных» ключевых фраз.
Как определить
Просадка позиций как всего сайта, так и отдельной страницы. Баден-баден может быть наложен на одну страницу или на весь сайт. В Яндекс-вебмастере появиться уведомление.
Как убрать
Убедившись, что именно фильтр “Баден-баден” стал причиной ухудшения трафика и позиций, нужно проработать весь текст на страницы с фильтром. Некоторые страницы лучше вовсе удалить, если переделать их не предоставляется возможным. По другим убрать лишнюю воду и переспамленный текст.
Правила «Одинаковые сниппеты»
Одинаковые описание страниц title и description, то есть сниппеты, распознаются и ограничиваются фильтрами.
Как узнать
Не качественно ранжируются новые страницы.
Как убрать
Проработать весь текст и добиться на каждой странице уникальности title и description.
Мобильный фильтр
Если сайт невозможно просмотреть на смартфоне, то он попадет под новый фильтр Яндекса.
Причины
Неудобна или невозможна работа на мобильном телефоне. (мелкий шрифт, большие не стандартные таблицы).
Как определить
Пессимизация в мобильном поиске Яндекса.
Как убрать
Необходимо отредактировать сайт, сделать его работу возможной и удобной со всех мобильных устройств.
Поведенческий фильтр
Это фильтр за накрутку поведенческих факторов Яндекса.
Причины наложения
Для увеличения поведенческого фактора используются не живые пользователи, а имитированные системы, боты. Якобы идет изучение сайта.
Как определить
По всему семантическому ядру идет снижение активности посещений и падение позиций.
Как снять
Данный фильтр может ограничивать работу сайта вплоть до года. Для снятия ограничений необходимо прекратить использование запрещенных способов накрутки поведенческих факторов.
Заключение
Каждый обладатель сайта нацелен на его качественную работу. Для этого необходимо тщательно следить за наполняемостью контента. Не допустимо дублировать информацию с чужих источников. Запрещается использовать навязчивую рекламу, спам и другой ненужный мусор. Рекомендуется пополнять сайты полезными и интересными текстами. Следует прослеживать посещаемость и рейтинг. В случае возникновения спорных ситуаций всегда можно обратиться в техническую поддержку.
5 способов убрать страницу из поисковой выдачи Яндекса или Google
У многих вебмастеров возникает необходимость избавиться от одной из страниц сайта, чтобы та не отображалась в поисковых системах. Это может произойти из-за потери актуальности, дублей или из-за ошибочного добавления в поисковую выдачу страницы, содержащей информацию, не подлежащую разглашению. К примеру, совсем недавно смс-сообщения пользователей одного из центральных операторов России были проиндексированы Яндексом. Нередки случаи, когда персональные данные клиентов так же попадали в SERP.
Разбирать причины нет смысла, лучше разберем, как же избавиться от упоминания таких страниц. Разумеется, вся информация должна быть использована только если вы владелец сайта. Если же обнаружили данные на стороннем ресурсе, которых не должно быть в выдаче, лучше выйти на связь с хозяином сайта, чтобы он принял меры.
5 способов убрать страницу из результатов поиска
1) Ошибка 404
Самый простой способ удалить страницу сайта из поисковой системы, это удалить ее на своем сайте. Это сработает только в том случае, если при переходе по старому адресу пользователи увидят ошибку 404, которая означает отсутствие страницы.
После удаления страницы, ждем повторной индексации поисковым роботом. Это может занять как несколько часов, так и несколько месяцев.
Однако если удалить страницу с сайта нельзя, то этот способ невозможно применить, значит нужно попробовать иные методы.
2) Изменение файла robot.txt
Один из наиболее популярных методов скрытия разделов от индексации, это настроить корневой файл robot.txt. Интернет кишит способами внесения изменений в файл, рассмотрим лишь основные.
Закрываем раздел панели администрации от индексирования поисковыми роботами:
Закрываем одну страницу от индексирования:
Disallow: /my_emails.html #закрываем страницу my_emails.html
Disallow: /search.php?q=* #закрываем страницу поиска
Когда изменяем этот файл, так же ждем повторной индексации, чтобы система убрала из выдачи страницу. Однако если на страницу ведет внешние ссылки, она может продолжать отображаться в выдаче.
Это неудобно, когда надо удалять страницы разных разделов, когда сложно подобрать шаблон раздела Disallow.
Это может служить альтернативой прошлого способа, правда придется работать не с файлом, а непосредственно с кодом сайта, добавляя между тегов head:
Самое главное преимущество такого способа состоит в том, что его можно добавлять на каждую страницу, которая должна скрыться от поисковой выдачи. При этом не нужно напрягаться с файлом robots.txt. Однако есть и недостаток, который состоит в том, что такой тег сложно использовать в изменяющемся сайте, основанном на одном шаблоне header.tpl, когда нет обширных знаний программирования.
4) Заголовки X-Robots-Tag
Этим используется за рубежом. По сути своей, это альтернатива прошлому способу, которой пользуется Google. Причем согласно официальным данным, Яндекс не использует этот http-заголовок, однако в скором времени, скорее всего, начнет работать с ним.
Как и в случае с мета-тегом, мы вносим изменения код. Но делаем это в http-заголовок, который не виден в общем коде.
X-Robots-Tag: noindex, nofollow
Зачастую, таким образом, скрывают страницы линкпомойки и пользуются при обмене URL.
5) Самостоятельно удаление
Самый быстрый и легкий метод избавится от страницы в поисковой выдачи – удалить ее вручную. Для этого нужно зайти в панель вебмастера, где нужно создать запрос на удаление и закрыть доступ для сканера.
Однако перед тем как вручную удалять страницы, нужно закрыть их от индекса, используя другие способы. У Google удаление происходит за считанные часы. Яндекс работает немного медленнее. Этот метод предпочтителен тогда, когда нужно быстро убрать из выдачи ненужные страницы.