Почему гугл не индексирует страницы сайта

Почему Google не индексирует некоторые страницы моего сайта

Многие страницы никогда не индексируются Google. Узнайте, почему почему Гугл не индексирует страницы сайта. Но сначала подпишитесь на наш Телеграм. Там мы публикуем идеи, которыми больше нигде не делимся. Мы разрабатываем сайты. Знаем, как запустить рост сайта с первых дней. Продвигаем сайты. Делаем продажи с первых дней запуска сайта. Свяжитесь с нами!

Не все страницы вашего сайта светятся в Google

Если вы работаете с сайтом, особенно с большим, вы, вероятно, заметили, что не все страницы вашего сайта индексируется. Почему Google пишет: «страница просканирована, но пока не проиндексирована указанные ниже страницы не индексируются Google и не появляются в результатах поиска»? Причин может быть несколько.

Многие seo-оптимизаторы по-прежнему считают, что Google не может индексировать контент из-за технических особенностей, но это миф. Правда в том, что Google может не проиндексировать ваши страницы, если вы не отправляете последовательные технические сигналы о том, какие страницы вы хотите проиндексировать.

Что касается других технических проблем: такие вещи, как JavaScript, действительно усложняют индексацию, ваш сайт может страдать от серьезных проблем с индексированием, даже если он написан на чистом HTML.

Причины, по которым Google не индексирует ваши страницы

Проверив самые популярные интернет-магазины мира, обнаружили, что в среднем 15% их индексируемых страниц продуктов невозможно найти в Google.

Результат удивительный. Почему? Каковы причины, по которым Google решает не индексировать то, что технически должно быть проиндексировано?

Консоль поиска Google сообщает о нескольких статусах неиндексированных страниц, например «Просканировано — в настоящее время не проиндексировано» или «Обнаружено — в настоящее время не проиндексировано». Хотя эта информация явно не помогает решить проблему, это хорошее начала диагностики.

Основные проблемы с индексацией

Наиболее популярные проблемы индексации, о которых сообщает Google Search Console:

1. «Просканировано — в настоящее время не проиндексировано»

В этом случае Google посетил страницу, но не проиндексировал ее.

Исходя из моего опыта, это обычно проблема качества контента. Учитывая бум электронной коммерции, который в настоящее время происходит, ожидаемо, что Google стал более требовательным к качеству сайтов. Поэтому, если вы заметили, что ваши страницы «просканированы — в настоящее время не проиндексированы», убедитесь, что контент на этих страницах имеет уникальную ценность:

• Используйте уникальные заголовки, описания и текст на всех индексируемых страницах.
• Избегайте копирования описаний продуктов из внешних источников.
• Используйте канонические теги для объединения повторяющегося контента.
• Запретите Google сканировать или индексировать некачественные разделы вашего сайта с помощью файла robots.txt или тега noindex.

Мы разрабатываем рейтинговые сайты. Напишите нам!

2. «Обнаружено — в настоящее время не индексируется»

Это проблема может охватывать всё, от проблем со сканированием до недостаточного качества контента. Это серьезная проблема, особенно в случае крупных интернет-магазинов. И такое может случиться с десятками миллионов URL-адресов на одном сайте.

Google может сообщить, что страницы продуктов электронной коммерции «обнаружены — в настоящее время не проиндексированы» по следующим причинам:

• Проблема с бюджетом сканирования: в очереди сканирования может быть слишком много URL-адресов, и они могут быть просканированы и проиндексированы позже.
• Проблема с качеством: Google может подумать, что некоторые страницы в этом домене не стоит сканировать и решит не посещать их, ища шаблон в их URL.

Чтобы справиться с этой проблемой, требуется некоторый опыт. Если вы обнаружите, что ваши страницы «обнаружены — в настоящее время не проиндексированы», сделайте следующее:

1. Определите, есть ли шаблоны страниц, попадающих в эту категорию. Может быть, проблема связана с определенной категорией товаров, а вся категория не имеет внутренней связи? Или, может быть, огромная часть страниц продуктов ожидает в очереди на индексирование?
2. Оптимизируйте свой краулинговый бюджет. Сосредоточьтесь на обнаружении некачественных страниц, которые Google тратит много времени на сканирование. К обычным подозрениям относятся страницы отфильтрованных категорий и страницы внутреннего поиска — эти страницы могут легко попасть в десятки миллионов на типичном сайте электронной коммерции. Если робот Googlebot может свободно их сканировать, у него может не быть ресурсов для доступа к ценным материалам на вашем сайте, проиндексированным в Google.

Мы разрабатываем сайты под ключ и продвигаем их статьями. Напишите нам!

3. «Повторяющееся содержание»

Дублирование контента может быть вызвано разными причинами, например:

• Варианты языка (например, английский язык в Великобритании, США или Канаде). Если у вас есть несколько версий одной и той же страницы, ориентированных на разные страны, некоторые из этих страниц могут оказаться неиндексированными.
• Дублированный контент, используемый вашими конкурентами. Это часто происходит в e-commerce, когда несколько сайтов используют одно и то же описание продукта, предоставленное производителем.

Помимо использования rel = canonical, 301 редиректа или создания уникального контента, я бы сосредоточился на предоставлении уникальной ценности для пользователей. Fast-growing-trees.com может быть примером. Вместо скучных описаний и советов по посадке и поливу на сайте можно увидеть подробный FAQ по многим продуктам.

Кроме того, вы можете легко сравнивать похожие товары.

Для многих продуктов есть FAQ.

Как проверить индексирование вашего сайта

Вы можете легко проверить, сколько страниц вашего сайта не проиндексировано, открыв отчет об индексировании в Google Search Console.

Первое, на что следует обратить внимание, — это количество исключенных страниц. Затем попробуйте найти закономерность — какие типы страниц не индексируются?

Если у вас интернет-магазин, вы, скорее всего, увидите неиндексированные страницы продуктов. Хотя это всегда должно быть предупреждающим знаком, вы не можете ожидать, что все страницы ваших продуктов будут проиндексированы, особенно на большом сайте. Например, в большом интернет-магазине обязательно будут дублирующиеся страницы и товары с истекшим сроком годности или отсутствующие в наличии. Этим страницам может не хватать качества, которое поместило бы их в начало очереди индексации Google (и это если Google вообще решит сканировать эти страницы).

Кроме того, на крупных интернет-магазинах, как правило, возникают проблемы с бюджетом сканирования. Я видел случаи, когда в интернет-магазинах было более миллиона товаров, в то время как 90% из них были классифицированы как «обнаруженные — в настоящее время не проиндексированные». Но если вы видите, что важные страницы исключаются из индекса Google, вы должны быть серьезно обеспокоены.

Мы экспертно запускаем сайты брендов. Напишите нам!

Как повысить вероятность того, что Google проиндексирует ваши страницы

Каждый сайт индивидуален и может иметь разные проблемы с индексированием. Тем не менее, вот советы, как проиндексировать сайт:

1. Избегайте ошибок «Soft 404».

Убедитесь, что на ваших страницах нет ничего, что может ложно указывать на мягкий статус 404. Это включает в себя все, что угодно, от использования «Не найдено» или «Недоступно» в копии до наличия числа «404» в URL-адресе.

2. Используйте внутренние ссылки.

Внутренние ссылки — один из ключевых сигналов для Google о том, что данная страница является важной частью сайта и заслуживает индексации. Не оставляйте лишних страниц в структуре вашего сайта и не забудьте включить все индексируемые страницы в карты сайта. Внутренние ссылки — один из элементов кайдзен сайта.

3. Реализуйте надежную стратегию сканирования.

Не позволяйте Google сканировать ваш сайт. Если на сканирование менее ценных частей вашего домена тратится слишком много ресурсов, Google может потребоваться слишком много времени, чтобы добраться до нужного. Анализ журнала сервера может дать вам полное представление о том, что сканирует робот Googlebot и как его оптимизировать.

4. Устранение некачественного и дублированного контента.

На каждом большом сайте в конечном итоге появляются страницы, которые не следует индексировать. Убедитесь, что эти страницы не попадают в ваши карты сайта, и при необходимости используйте тег noindex и файл robots.txt. Если вы позволите Google проводить слишком много времени в худших частях вашего сайта, это может недооценить общее качество вашего домена.

5. Посылайте последовательные сигналы SEO.

Один из распространенных примеров отправки непоследовательных сигналов SEO в Google — это изменение канонических тегов с помощью JavaScript. Как сказал Мартин Сплитт из Google во время работы JavaScript SEO Office Hours, вы никогда не можете быть уверены в том, что Google будет делать, если у вас есть один канонический тег в исходном HTML и другой после рендеринга JavaScript.

Мы виртуозно делаем запоминающиеся сайты. Напишите нам!

Интернет становится слишком большим

За последние пару лет Google совершил гигантский скачок в обработке JavaScript, упростив работу оптимизаторов поисковых систем. В наши дни реже можно увидеть сайты на базе JavaScript, которые не индексируются из-за конкретного технического стека, который они используют.

Но можем ли мы ожидать того же самого с проблемами индексации, не связанными с JavaScript? Я так не думаю. Интернет постоянно растет. Каждый день появляются новые сайты, а существующие растут. Сможет ли Google справиться с этой проблемой?

Этот вопрос появляется время от времени. Цитата Google:

«У Google ограниченное количество ресурсов, поэтому, когда он сталкивается с почти бесконечным количеством контента, доступного в Интернете, робот Googlebot может найти и просканировать только часть этого контента. Затем из просканированного контента мы можем проиндексировать только его часть».

Другими словами, Google может посещать только часть всех страниц в Интернете и индексировать еще меньшую часть. И даже если ваш сайт великолепен, вы должны помнить об этом.

Вероятно, Google не будет посещать все страницы вашего сайта, даже если он относительно небольшой. Ваша задача — убедиться, что Google может обнаруживать и индексировать страницы, важные для вашего бизнеса.

Мы продвигаем сайты статьями. Свяжитесь с нами!

Как решить проблемы с индексацией сайта в Google и Яндексе

Кратко самое важное об основах: как решить проблемы с индексацией и ускорить ее в Яндексе и Google.

Привет! Это PR-CY, мы делаем сервис для проверки SEO и позиций в ПС. Попробуйте прогнать проверку по своему сайту и посмотрите, какие ошибки он найдет.

В статье разберем типичные проблемы, а потом поговорим об ускорении. Постараемся лаконично)

Проблемы с индексацией:
❌ Страницы вообще не индексируются

Если роботы и Яндекса, и Google игнорируют страницы сайта, нужно убедиться, что ботам не запретили обход.

Проверьте настройки хостинга и файл robots.txt — там не должно быть запрета на индексацию.

Также запрет может быть в HTTP-заголовке X-Robot-Tag, который находится в файле конфигурации сервера. Проверить запрет через X-Robots-Tag можно в инструменте бесплатно.

❌Страницы не индексируются одним из поисковиков

Если либо Google, либо Яндекс не индексируют страницы сайта, проблема может быть в санкциях от этого поисковика.

Нужно определить, какие санкции лежат на сайте, и исправить ошибки. Проверьте уведомления о Вебмастере и Консоли, часть санкций сопровождаются письмом от поисковика. Подробно в материалах о санкциях Яндекса и фильтрах Google.

❌ Страницы индексируются, но нужно долго ждать

Вариантов может быть много: вы редко обновляете контент, поэтому боты редко его посещают, страницы не оптимизированы, не участвуют в перелинковке… Проблема может быть в других ошибках на сайте, например, в куче ошибочных лишних страниц, сгенерированных движком, на которые тратится время.

Посмотреть динамику индексации страниц и найти ошибки в SEO можно в сервисе для анализа сайта:

Итак, если страницы не индексируются, то проверьте ограничения, если игнорирует поисковик, то возможны санкции, а если индексирование идет, но долго, это повод попытаться его ускорить.

Как ускорить индексирование:

Лучший способ улучшить процесс индексирования — создавать превосходный, а значит уникальный и убедительный контент. Именно в нем должны нуждаться пользователи, именно его они затем будут рекомендовать другим

Джон Мюллер, представитель Google

Ага, классно. Создавайте превосходный контент, а если ваш контент плохо индексируется, то он недостаточно превосходный… ��

Что реально можно сделать, чтобы ускорить процесс.

1. Отправить страницу на переобход

Найдите переобход страниц в Google Search Console и Яндекс.Вебмастере и отправьте нужные URL на индексацию.

В Яндекс.Вебмастере это раздел Индексирование — Переобход страниц. В консоли Google это Инструмент проверки URL.

2. Проверить разрешения в robots.txt

В файле robots.txt веб-мастер прописывает рекомендации для поисковых ботов Яндекса и Google. Можно запретить ботам посещать некоторые страницы, для этого есть директива «disallow», «nofollow», можно использовать мета-тег «noindex» или «none». Тогда при следующем посещении сайта бот увидит запрет и может к нему прислушаться.

А может и не прислушаться — это всего лишь рекомендации, а не прямое указание. ��‍♂

3. Взять за правило обновлять контент

Поисковики ценят, когда веб-мастер следит за актуальностью контента, исправляет его и добавляет что-то новое. Регулярно обновляющийся сайт бот будет чаще сканировать. Чем реже обновлять контент, тем реже боту понадобится его перепроверять.

Сотрудник Google советовал добавлять на страницу видео с Youtube, если странице нечего добавить и содержание еще актуально. Поведенческие улучшатся за счет просмотра видео, на странице появится новый формат контента — это тоже хороший сигнал для поисковика.

4. Создать динамическую Sitemap

Для ускорения индексации карту можно сделать динамической, то есть по мере создания новых страниц она сама будет обновляться.

Для проектов на конструкторах сайтов, например, на Tilda, карта по умолчанию динамическая, для CMS есть плагины и отдельные сервисы. К примеру, на WordPress с этой задачей справится All in One SEO Pack.

5. Пометить обновления в Sitemap

Можно указать обновленные файлы в Sitemap вручную. Google рекомендует отметить страницы в Карте тегом < lastmod >и отправить страницу на переобход.

Но, опять же, ссылки в Карте сайта — это рекомендации.

6. Проверить структуру и перелинковку разделов

На сайте не должно быть страниц, оторванных от других. Если на страницу не ведут ссылки с категорий, разделов и других страниц, поисковикам сложнее определить ее релевантность и неоткуда перейти на нее для сканирования.

Такие страницы называют сиротами.

Нужно встроить их в структуру сайта.

В этой схеме каждая страница имеет ссылку с родительской категории, но они могут линковаться и между собой:

На поведение бота влияет количество кликов от главной до текущей страницы. Бот переходит на страницы по ссылкам с главной. Чем меньше кликов от главной до искомой страницы, тем она важнее, тем быстрее он до нее доберется и просканирует.

Если страница не индексируется, проверьте ее расположение в структуре сайта и количество кликов до нее с главной.

7. Ускорить загрузку сайта

Ограничивать индексацию может долгий ответ сервера. По словам Джона Мюллера из Google, если в среднем это время составляет больше одной секунды, Google не будет сканировать столько страниц, сколько мог бы.

Сомневаемся, что так уж много сайтов загружаются медленнее минуты, но всё возможно. На всякий случай проверьте скорость в сторонних инструментах.

Многое из перечисленного можно проверить автоматически в сервисе для анализа сайта. Ту же скорость — он быстро проанализирует этапы загрузки и отдельно найдет конкретные страницы, на которых есть проблема со скоростью.

Оцените пост, если было полезно 🙂 И напишите в комментариях, если вам есть что добавить к списку.

9 причин, почему Google не индексирует ваш сайт

Google не индексирует ваш сайт? Распространенная проблема, у которой есть много причин. Ниже рассмотрены 9 наиболее популярных и способы их решения.

Долгая загрузка сайта

Долго загружающиеся сайты не нравятся Google и индексируются дольше. У медленной загрузки есть множество причин. Например, слишком большое количество контента для обработки пользовательским браузером. Или использование устаревших серверов с ограниченными ресурсами.

Читайте также:
Как проверить скорость загрузки сайта и как ускорить загрузку

Проверить скорость загрузки сайта можно с помощью двух инструментов:

1. PageSpeed Insights. Этот инструмент Google анализирует скорость загрузки сайта и дает рекомендации для оптимизации. Хороший показатель — от 70 баллов. Чем ближе к 100, тем лучше.
2. WebPageTest. Этот инструмент оценивает скорость загрузки сайта и выделяет элементы, которые ее снижают.

Более быстрый хостинг или использование CDN (сеть доставки содержимого) увеличат скорость загрузки сайта.

Присоединяйтесь к нашему Telegram-каналу!

• Теперь Вы можете читать последние новости из мира интернет-маркетинга в мессенджере Telegram на своём мобильном телефоне.
• Для этого вам необходимо подписаться на наш канал.

У сайта бесконечный цикл переадресации

Бесконечный цикл переадресации — еще одна частая проблема, мешающая индексации. Она может появиться из-за банальной опечатки. Но решить ее просто.

Если используется WordPress, файл .htaccess поможет найти страницы, с которых перенаправляется трафик. Просто вставьте в поиск Redirect 301, чтобы обнаружить все файлы с перенаправлением. Исправьте опечатки. Если присутствует 302 редирект, его стоит поменять на 301.

Читайте также:
Как сделать редирект — подробное руководство по настройке и использованию

С помощью инструмента Screaming Frog можно найти дополнительные ошибки на сайте. После их устранения воспользуйтесь Google Search Console, чтобы повторно подать запрос на индексацию. Обычно процесс занимает около семи дней.

Использование плагинов, блокирующих Googlebot

Некоторые плагины могут блокировать работу поискового робота Googlebot. В таком случае поисковая система не сможет просканировать сайт. Если вы настраиваете файл robots.txt через одноименный плагин для WordPress, Googlebot будет заблокирован.

Самостоятельная настройка файла решит проблему. Robots.txt должен размещаться в корневой папке сайта и быть доступен по адресу ваш_домен.ru/robots.txt. Убедитесь, что в файле нет косой черты в строчке Disallow:

Наличие косой черты «/» блокирует все страницы из корневой папки сайта. Чтобы поисковый робот мог проиндексировать весь сайт, ее нужно убрать.

Читайте также:
Что такое robots.txt как его создать и правильно настроить

Для рендеринга используется JavaScript

В процессе рендеринга веб-страницы браузер преобразует код в картинку. Использование JavaScript не всегда приводит к проблемам с индексацией. Но они точно возникнут, если JavaScript используется для маскировки.

Маскировка — это прием, при котором сайт предоставляет пользователям и поисковым системам неодинаковый контент или разные URL. Это нарушение рекомендаций Google.

Иногда рендерная и сырая версия страницы отличаются друг от друга, что может восприниматься как маскировка. В таком случае индексация остановится. Скрытие файлов JavaScript и CSS также не позволит Google проиндексировать сайт.

В Google Search Console не указаны все варианты домена

В Google Search Console должны быть указаны и верифицированы все варианты вашего домена. Это особенно важно, если вы мигрируете с http:// на https://.

Установлены метатеги noindex, nofollow

Установка метатегов noindex, nofollow бывает необходима. Но если метатеги появляются не на той странице или применяются ко всему сайту, он не будет индексироваться.

Читайте также:
4 метатега, которые стоит использовать: Robots, Rel canonical, Hreflang, Schema.org

Решить эту проблему просто — поменяйте все метатеги noindex, nofollow на index, follow.

Штрафные санкции со стороны Google

За нарушение рекомендаций Google может пессимизировать сайт. Штрафные санкции накладываются как вручную, так и автоматически. Например, после обновления алгоритмов.

До тех пор, пока нарушения не устранены, сайт не будет индексироваться. Чаще всего штрафы накладываются за наличие:

• вредоносного и нежелательного ПО на сайте;
• скрытого текста и ссылок;
• маскировки;
• скрытой переадресации;
• нерелевантных ключевых слов;
• избыточного количества ключевых слов;
• дублированного контента.

Сайт не адаптирован под мобильные платформы

Адаптация сайта под мобильные платформы — критический момент. С 1 июля 2019 года Google при индексации отдает приоритет мобильному контенту.

Необязательно вносить много изменений. Бывает достаточно плавающей сетки и медиавыражений. Под плавающей сеткой понимается макет сайта, адаптирующийся под меняющиеся размеры экрана или устройство пользователя. А медиавыражения позволяют CSS адаптироваться под параметры или характеристики устройства.

Специальный инструмент Google позволит проверить оптимизацию для мобильных устройств. Он подскажет, не было ли нагромождений кода при написании сайта, что также влияет на индексацию.

Проблемы с техническим SEO

Техническое SEO — важный элемент при работе с сайтом. Именно техническая оптимизация помогает поисковым системам сканировать, понимать и индексировать страницы.

С помощью грамотно выполненного технического SEO можно идентифицировать проблемы с основными интернет-показателями, сканированием и индексацией. Порой может казаться, что проще запустить новые сайт, но качественное техническое SEO поможет решить проблемы.

Технический аудит сайта

• Наличие дублей страниц, безопасность, корректность всех технических параметров: переадресаций, robots.txt, sitemap.xml скорость загрузки и др.
• Техническая оптимизация — один из основных этапов в продвижении.

Поисковые роботы, вперед!

Чтобы сайт был успешным, важно размещать на нем хороший контент, работать с техническим SEO и создавать качественные обратные ссылки. Но все это будет впустую, если он не индексируется.

Убедитесь, что все проблемы с индексацией решены, и тогда Google отблагодарит вас хорошим трафиком.

Причины почему Google не индексирует сайт

Продвижение в поиске не работает без полноценной индексации, поэтому если система не добавляет веб-ресурс в свой каталог, необходимо найти причину и устранить её.

В статье мы пошагово проанализируем все факторы, которые могут помешать Google проиндексировать ваш сайт. Покажем, как устранить проблемы.

Нет мобильной адаптации

Начиная с 2019 года, при индексации отдается приоритет мобильной версии. Важно при вёрстке макета адаптировать его под определённые устройства: ПК, ноутбук, мобильный телефон, планшет. Иначе вы попадёте в ситуацию: поисковая система будет низко ранжировать ваш ресурс, а приоритет будут получать сайты оптимизированные для мобильных устройств.

Узнать насколько хорошо адаптирована мобильная версия, можно, если воспользоваться специальным инструментом — Google Search Console. Необходимо ввести URL и нажать кнопку «Проверить страницу».

Много дублированного контента

Дубли страниц, метатегов, текстового и графического наполнения могут стать причиной отсутствия индексации и попадания под поисковые санкции. Выбраться из бана бывает очень трудно, поэтому необходимо сделать всё, чтобы веб-ресурс под него не попал.

Чаще всего поисковик банит из-за следующих проблем:

вредоносное программное обеспечение;
большое количество скрытого текста и ссылок;
многочисленная переадресация и цепочки редиректов;
нерелевантные ключевые слова или их переспам;
повторяющийся контент.
Необходимо устранить все нарушения и только после этого отправлять страницы сайта на переиндексацию.

Неправильное техническое SEO

Техническая оптимизация — обязательная составляющая для правильного индексирования, сканирования портала. С помощью её грамотного выполнения можно найти основные проблемы и устранить их.

Для того, чтобы таких проблем не возникало, маркетинговое агентство IZIFIR еще на этапе проектирования и создания структуры сайта, привлекает SEO-специалиста. Важно предупредить возможность появления таких проблем, чтобы не пришлось тратить время на их решение в дальнейшем, переделку.

Использование JavaScript для рендеринга

В ходе преобразования кода в картинку часто используют JavaScript, что само по себе не несёт проблем с индексацией. Однако они могут возникнуть, если используется маскировка. Скрытие файлов не поможет.

При маскировке пользователям и поисковым системам предлагают разный контент и ссылки на страницы.

Неправильная работа хостинга или сервера

Не должно быть ситуаций, когда поисковой робот придёт на страницу и откажет в индексации из-за недоступности сайта. Заранее позаботьтесь о том, чтобы у сервера был стабильный up time. Это можно проверить любым сервисом по мониторингу.

Домен попал в бан

Даже если вы зарегистрировали хороший домен, проверили ссылки, сайт имеет уникальный контент и хороший дизайн, но не хочет индексироваться, то возможно дело в этом.

Чтобы исключить такую вероятность, необходимо написать в поддержку Яндекс Вебмастер и оставить свой запрос на форуме Google для вебмастеров, после чего начать усилённо развивать проект. Обычно если в течение 3-4 месяцев ничего не меняется, то рекомендуем начать использовать другой домен или переклеить сайт на новое доменное имя.

Ошибки сканирования

Многочисленные ошибки сканирования затрудняют путь робота к определённым страницам. Для проверки этой причины выполните следующие действия: зайдите в Google Search Console, кликните на «Сканирование» и смотрите результат.

Если обнаружены критические ошибки, то необходимо их исправить.

Страницы сайта или полностью весь портал закрыты в robots.txt

Обычно разработчики сдают сайт закрытым от индексации в файлах robots.txt. Это легко поправить, если следовать инструкции:

Найти путь к файлу: он выглядит примерно так https://izifir.ru/robots.txt. Необходимо к URL подставить название файла “/robots.txt”.

В коде будут прописаны директивы, которые помогают роботам понять какие страницы индексировать, а какие не нужно: . Disallow — запрещает индексацию, а Allow — разрешает.

Здесь необходимо прописать правильный сценарий и оставить для индексации только нужные страницы.

Если вы новичок в этом, рекомендуем обратиться к специалистам, которые за несколько минут вернут портал к индексации.

Блокировка сайта в .htaccess

С помощью этого файла тоже можно закрыть сайт от поисковых систем. Для того, чтобы проверить этот момент, следует найти его на сервере и посмотреть в коде изменения.

Лучше всего обратиться к разработчикам, которые делали веб-ресурс и попросить проверить их.

Бесконечный цикл переадресации

Это тоже может быть серьёзной причиной для закрытия веб-портала от поиска. Здесь поможет файл .htaccess. Необходимо его найти и вставить Redirect 301 для обнаружения команд с перенаправлением.

Дополнительные ошибки можно найти при помощи инструмента Screaming Frog. После их устранения, обратитесь еще раз с запросом в Google.

Есть метатеги noindex, nofollow

Эти метатеги нужны в некоторых случаях. Но иногда бывает так, что они ставятся не на той странице или применены ко всему веб-ресурсу. В таком случае индексации не будет.

Если вы обнаружили их наличие, то просто замените их на другие: index, follow.

Сайт долго грузится

Порталы с длительной загрузкой индексируются хуже. У медленной загрузки есть много причин, но определить насколько хорошо ресурс работает можно несколькими инструментами:

PageSpeed Insights (хорошо анализирует скорость и предоставляет рекомендации по оптимизации).
WebPageTest (показывает скорость и элементы, которые её снижают).

Чтобы сайт успешно продвигался, важно размещать на нем качественный контент, работать с технической оптимизацией и создавать правильные обратные ссылки. Перед этим следует убедиться, что портал правильно индексируется. В противном случае все усилия для продвижения уйдут в никуда.

Если у сайта внезапно упал трафик, выросли отказы или он перестал приносить прибыль, обратитесь к нам. Специалисты агентства проведут технический и маркетинговый аудит и помогут найти проблему.

Нет мобильной адаптации

Много дублированного контента

Неправильное техническое SEO

Использование JavaScript для рендеринга

Неправильная работа хостинга или сервера

Домен попал в бан

Страницы сайта или полностью весь портал закрыты в robots.txt

Блокировка сайта в .htaccess

Бесконечный цикл переадресации

Есть метатеги noindex, nofollow