Как узнать, что страница вылетела из индекса

Google и Яндекс постоянно обновляются, а вместе с этим усиливаются риски вылета из индекса страниц сайтов, владельцы которых не успевают сориентироваться. В 2020-21 годах многие владельцы ощутили на себе это неприятное явление, когда множество страниц просто вылетают из индекса.

Анализировать и диагностировать подобные проблемы просто необходимо.

Как обнаружить вылет страницы из индекса поисковой системы

Это сразу ощущается по снижению трафика, уменьшившихся переходов с рекламы или общем снижении продаж с сайта, если страница продающая.

Для проверки каждой страницы можно использовать инструменты Вебмастера, выбрав меню индексирование и пункт «Проверить статус URL».

Без захода в меню Вебмастера можно просто ввести команду url и адрес сайта в поисковую строку, и отследить выдачу системы. Если страница не выдается, значит в индексе ее нет.

Сервис Google Search Console позволяет проверить индексацию в Google. В результате проверки наличие индексации отмечается галочкой.

Отслеживать наличие индексации необходимо регулярно, чтобы не прозевать массовый вылет страниц из сайта. Для этого существуют специальные вкладки Яндекс.Вебмастера и Google Search Consol.

Причины исключения страниц поисковыми системами

Таких причин несколько:

1. Сайт попал под фильтры.
2. Сам вебмастер установил мета тег Robots или файл robots.txt.
3. Ошибки в оформлении редиректов.
4. Ошибка 404 уделяется автоматически.
5. Удалены дубли или повторяющиеся страницы.

Решение проблемы

• Работу по выходу из сложившейся ситуации необходимо начинать с проверки позиций страниц в поисковиках, а затем выявить дубли страниц, переспамленный контент, страницы с переоптимизацией. Иногда поисковым системам не нравятся страницы с искусственными накрутками поведенческих факторов.
• Файлы robots.txt и установка метатега Robots могли выставить сами вебмастера при технической правке сайта. Их тоже необходимо перепроверить и скорректировать.
• Проверить дубли страниц. Такой контроль необходимо проводить регулярно, убирая лишние дубли. Там, где дубли не убираются – применять тег rel=canonical. 
• На сайте может быть много страниц с одним и тем же текстом. Желательно уникализировать карточки товаров, по крайней мере прописать все мета теги тайтл и дескрипшен продуктов с включением полных наименований.

Проверка текста на уникальность

Существует масса сервисов, позволяющих проверить текст на уникальность. Многие из них проверяют тексты онлайн и бесплатно.

Также важно обращать внимание на текст – он должен нести полезную информацию. Если на сайте много текстов с несвязанными ссылками, для размещения рекламы, вебмастер может постоянно сталкиваться с проблемой индексации.

Контент – это один из важнейших аспектов. Качеству текстов необходимо уделять особое внимание.

Переоптимизация

Избыточное количество ключевых фраз в тексте может искажать смысл и снижать практическую пользу. Неудивительно, что поисковики исключают их из поиска. На сегодняшний день большой список поисковых фраз на страничке относят к черным методам продвижения. Рекомендации здесь прежние – работать над тексами более качественно, не превышать рекомендуемые показатели тошнотности ключевых слов.

Технические проблемы

1. Неверный код ответа.
2. Ошибка 404 Not Found.
3. Директива noindex или файл robots.txt.
4. Закрытие страницы в настройках плагина при обновлении.
5. Отмена индексирования в настройках.
6. Дубликаты: проверить выдачу с помощью оператора «site:». Для крупных сайтов можно устанавливать тег «rel=canonical» или настройка 301 редиректа.
7. Неправильная настройка 301 редиректа.

Недостаточное качество сайта

Здесь нужно рассмотреть наличие агрессивной рекламы, всплывающих окон, некорректного меню, некорректного поиска по сайту. Наличие больших проблем — это прямой путь к попаданию под санкции поисковых систем.

На сайтах, ориентированных на продажи, должны быть адреса и прямые телефоны офисов компаний, гарантийные обязательства. Сведения должны быть достоверными и не противоречивыми, чтобы вызывать доверие пользователей.

Ссылки внутренние и внешние

Современные требования к ссылочной массе исключают массовые покупки ссылок в короткое время. Лучше всего распланировать мероприятия по линкбилдингу и постепенно работать в этом направлении.

Иногда поисковые системы накладывают санкции на сайт по ошибке, поэтому, если обнаружено массовое выпадение страниц из индекса, а видимых причин не обнаружено, обязательно поинтересуйтесь причинами в сервисах поддержки причинами попадания под фильтры.

Если считаете, что страница выпала, то сначала проверьте сайт с помощью инструментов Search Console Google и «Яндекс.Вебмастер», потом с помощью нашего чек-листа определите причину выпадения из индекса.