Наверное, каждый веб-мастер сталкивался с проблемой, когда органического трафика становится все меньше, посещения сайта падают, а в поисковой выдаче страниц почти не остается. Если с подобной проблемой столкнулись и вы, то стоит проверить, не выпал ли сайт и отдельные страницы из поисковой индексации. Как это сделать и почему страницы могут перестать индексироваться — разберемся в этой статье.
Чтобы узнать, индексируется сайт или нет, веб-мастеру потребуется:
- Зайти в Яндекс Вебмастер, перейти на вкладку «Индексирование», нажать «Проверить статус URL». В поле проверки ввести ссылку на сайт, который необходимо проверить. Если будет написано, что страница обходится роботом и находится в поиске, значит, все хорошо.
Пример проверки в Яндекс Вебмастере
- Далее воспользуемся поисковиком Яндекса и оператором URL для проверки. Вводим запрос (url:ссылка на сайт). Если страница индексируется, то нажав «Поиск», вы увидите ее в выдаче Яндекса, если нет — страница будет отсутствовать.
Пример индексированной страницы в поиске Яндекса
- Проверим, что с сайтом в поисковой системе Google. Для проверки индексации в Google используется сервис Google Search Console. Заходим в сервис, вставляем ссылку на сайт и ждем ответа от Google.
- По окончании проверки веб-мастер получает всю информацию о странице, в том числе индексируется ли URL.
Пример отчета Google Search Console
Массовое выпадение страниц из индексации
Помимо выпадения целого сайта из индексации, могут выпадать и отдельные страницы, поэтому за этим процессом необходимо периодически следить, проверяя хотя бы основные страницы.
- Разберемся с выпадением страниц в Яндексе. Для этого опять направляемся в Яндекс Вебмастер, на вкладку «Индексирование» и переходим в раздел «Страницы в поиске».
Отчет об индексации в Яндекс Вебмастере
- Обязательно проверяйте раздел «Исключенные страницы», здесь отобразится вся информация о дате и причине исключения из индексации.
Отчет об исключенных страницах в Яндекс Вебмастере
- Для проверки исключений в Google используется Google Search Console, где после входа необходимо перейти на вкладку «Покрытие». Здесь отображается следующая информация:
- Страницы, имеющие ошибки (Google не может их проиндексировать).
- Страницы, которые имеют проблему, но индексируются.
- Страницы, не имеющие ошибок.
- Страницы, исключенные из индексации.
Отчет в Google Search Console
Причины выпадения страниц из индексации
Ключевых причин, по которым страница может пропадать из индексации, две: технические и контент. Третья причина на стороне поисковых систем, иногда Google/Yandex лагают, и сканирующий бот пропускает или просто не индексирует страницу.
Решается проблема через техническую поддержку Google/Яндекса. Пишите смело, ведь помимо точной информации о сайте и его страницах вы получите рекомендации по оптимизации страниц.
Технические причины
Редиректы. Поисковые системы исключают из индексации сайты, которые имеют редирект и переводят пользователя на другие страницы. При этом конечная страница, на которую и происходит редирект, может не выпадать из индексации, если не нарушает других правил.
Пример отчета редиректов в Яндекс Вебмастере
Следовательно, если не хотите терять позиции в поисковой выдаче — исключите редирект с сайта. Но бывает и другая ситуация, когда сайт меняет основную ссылку, переезжая на другой адрес. В этом случае редирект использовать стоит, чтобы не терять клиентов, которые переходят, пользуясь ссылкой на старый сайт.
404. Страницы, при переходе на которые пользователь видит 404 ошибку, не индексируются. Если страница удалена и не работает по ошибке, то ее стоит восстановить. В случае, когда страница не нужна, на сайте следует удалить все ссылки, которые на нее вели.
Пример 404 ошибки на сайте
Иногда и по вине хостинг-провайдера на страницах сайта висит 404 ошибка — если проблема повторяется часто, то лучше сменить хостинг, чтобы не терять позиции в поисковой выдаче.
Для проверки сервера перейдите в Яндекс Вебмастер, зайдите в раздел «Инструменты» и выберите «Проверка ответа сервера».
Проверка ответа сервера в Яндекс Вебмастере
Метатег Robots (noindex) и файл Robots.txt. Каждый владелец сайта может настраивать страницы, которые не стоит включать в поисковую индексацию, делается это при помощи файла Robots.
Открываете файл Robots, направляетесь к атрибуту «name», если стоит значение «robots», а атрибут «content» имеет значение «noindex» — это означает, что индексация страницы запрещена любому роботу поисковой системы.
Настройка показа страницы с использованием метатега Robots
Следовательно, если индексировать страницу не надо, оставляете «noindex», в иных ситуациях — удаляете. Больше информации о тонкостях работы с метатегами можно найти в справке Google.
Просканированная страница еще не проиндексирована. В Google Search Console есть сайты, исключенные из индексации, имеющие статус «Страница просканирована, но пока не проиндексирована» — это означает, что поисковый робот увидел страницу, просканировал, но в индексацию она еще не попала. Стоит просто подождать и страница появится в поиске.
Пример отчета в Google Search Console просканированной страницы
С проблемой индексации можно столкнуться еще и из-за плохого хостинга или постоянных технических работ. Например, поисковый робот, обходя сайты, попадет в интервал времени, когда страница находится на технических работах или упал хостинг.
В этом случае бот вынужден исключить страницу из индексации. После того, как сайт возобновит работу, вы можете просто направить бота просканировать страницы еще раз, и тогда они вновь проиндексируются.
Чтобы направить Google-бота, необходимо подать запросы в Google Search (больше информации), а в Яндексе зайти в Вебмастер и в разделе «Индексирование» назначить переобход страниц (информация по Яндексу).
Неканоническая страница. Неканонической является страница, которая схожа по контенту с другой страницей, но имеет меньший приоритет показа, из-за чего может выпадать из поисковой выдачи. Для этого в исходном коде присутствует атрибут rel=«canonical», который позволяет выделить для поисковых систем приоритетную страницу, вследствие чего другие страницы могут исключаться из поиска.
Но проблема может возникнуть на этапе сканирования страниц ботом, если он неправильно определяет каноническую страницу, то как раз основная выпадет из поисковой выдачи, чтобы этого избежать необходимо удалить атрибут rel=«canonical» с других страниц, которые не являются приоритетными в показе.
Пример отчетов в Google Search Console и Яндекс Вебмастер о канонических страницах.
Google Search Console
Яндекс Вебмастер
Вредоносный код на сайте. Сайт, который имеет вредоносный код вне зависимости от процесса появления кода (взломали сайт или вы самостоятельно изменили код) получает санкции и выпадает из индексации. Если вас взломали, то стоит сразу обратиться в техподдержку Google/Яндекса, сообщить о проблеме и восстановить работу сайта.
Причины зависящие от контента
Дубли. Страницы, которые дублируют контент с других ресурсов (речь идет о полном или частичном дублировании), исключаются из поиска.
Если на сайте есть похожие друг на друга страницы — это другая ситуация, здесь одна из страниц может выпадать из индексации, поэтому за ненадобностью от второй можно отказаться.
Пример отчета с Яндекс Вебмастера о дублированных страницах
Если необходимо, чтобы похожие друг на друга страницы оставались на сайте и проходили индексацию, то их нужно максимально уникализировать. Можно изменить метатеги, сделать уникальными картинки и текст. Процент уникальности текста должен быть около 90%, чтобы уникализировать картинки — перескриньте их или скиньте в Телеграм и скачайте).
Исключенные страницы за дублирование в Яндекс Вебмастере
В ситуации, когда нет времени уникализировать вторую страницу, можно сделать одну из них каноничной.
Плохое качество контента. Под плохим качеством контента понимается низкая уникальность статей, большое количество рекламы, спам, низкое качество изображений.
Искусственный интеллект поисковых систем все время сравнивает сайты и определяет, насколько каждая страница привлекательна пользователям, сколько по времени ее читают, где пользователи останавливаются, какой процент отказов и т. п. Поэтому чем хуже ИИ оценит качество наполнения сайта, тем ниже позиция будет в выдаче.
Отчет в Яндекс Вебмастере о плохом качестве контента
Плохое качество страниц. Плохими называются страницы, которые не удовлетворяют поисковому запросу человека. Например, пользователь ищет «как выбрать зубную щетку», а, попадая на сайт, ему приходится читать о здоровье зубов.
Обнаружив плохую страницу, робот опускает ее в поисковой выдаче. Чаще всего сюда относятся страницы с небольшим количеством контента.
Пример Яндекс Вебмастера
Для повышения позиций необходимо наполнять сайт разносторонним контентом, указывать контактную информацию. Например, веб-мастерам интернет-магазина рекомендуется рассказать о гарантии, о процессе покупки и получении продукта.
Переоптимизированный контент. Встречается на сайтах, где статьи пишутся для поисковых систем, а не читателей. На сайте все материалы с Сео-оптимизацией, статьи кишат ключевыми словами, но при этом информационная ценность в них минимальна.
Обычно такие сайты хоть и выигрывают на Сео-оптимизации, проигрывают, когда ИИ поисковиков оценивает ресурс с точки зрения пользы читателю. По итогу подобные сайты выпадают из индексации или теряют позиции в поисковой выдаче.
Переоптимизация в Яндексе
Решение — сосредоточиться на контенте для пользователей, в перспективе такой подход имеет больше преимуществ.
Накрутка поведенческих факторов. Поисковые системы в 2021 году достаточно хорошо развиты, чтобы вычислять «фейковые» поведенческие факторы, поэтому если владелец сайта решит накрутить популярности, то поплатится плохой индексацией.
Искусственные ссылки на сайт в отчете Яндекс Вебмастера
В качестве примера можно привести накрутку кликов по ссылкам на сайте, нередко черные сайты накручивают и клики по рекламе, чтобы увеличивать свой доход, тем не менее такой путь приводит лишь к блокировке и потере доверия со стороны поисковых систем (сайт может выпадать из индексации вплоть до 9 месяцев).
Семейный фильтр. Крупные поисковые системы (как раз Google и Яндекс) имеют фильтр, исключающий из поисковой выдачи страницы, содержащие материалы 18+. Помимо этого под фильтр могут попасть сайты, которые содержат рекламные блоки или ключевые слова, связанные с адалт-тематикой.
Пример семейного фильтра в Яндекс поиске
Блокировка сайта. К блокировке могут приводят действия, запрещенные правилами поисковой системы. Например, запрещенные способы продвижения, клоакинг, скрытые и многократные повторяющиеся теги H1 и strong, большое количество «украденного» контента и редиректов.
Отчет об имитации действий пользователей в Яндекс Вебмастере
Неуникальные сниппеты. Сниппет — небольшой информационный блок, отображающий содержание сайта по поисковому запросу. Сниппет помогает сложить первостепенное представление о контенте на странице, следовательно, чем сниппет привлекательнее, тем больше трафика получит сайт.
Пример сниппета в поисковой выдаче Google
Если сниппет сайта похож на сниппет конкурента, то поисковая система вынуждена скрыть один из них. Эта ситуация достаточно часто встречается в интернет-магазинах, где находятся одинаковые товары с похожим описанием (Например, можно вспомнить продажу цветов, товар у всех одинаковый, а придумать какое-то уникальное описание не просто).
Следовательно, чтобы избежать выпадения страницы из выдачи, рекомендуется использовать уникальное описание сайта. Если замечаете, что начинаете терять органический трафик по основным запросам, то, скорее всего, вас настигла эта проблема, но, поменяв описание и просканировав страницу поисковым ботом, вы решите проблему.
Аффилированность. Если компания имеет два сайта с похожим контентом и описанием, то они будут бороться и за поисковую выдачу, причем поисковые системы здесь не будут показывать один сайт на первом месте, а другой на второй, в выдаче будет только какой-то один сайт.
Пример аффилированности
Google и Яндекс все время борются за разнообразие поисковой выдачи, поэтому и стараются, чтобы два сайта одной компании не показывались по одному и тому же набору ключевых фраз. Процесс определения аффилиатов простой, поисковый робот сравнивает информацию сайтов, начиная с контактных данных.
Как проверить, находится ли сайт под фильтром
- Для проверки в Яндексе заходите в Яндекс Вебмастер, направляетесь в раздел «Диагностика», подраздел «Безопасность и нарушения» и проверяете сайт. Если сайт получил фильтр, то информация об этом будет находиться прямо здесь.
Информация о диагностике сайта в Яндекс Вебмастере
- Для проверки в Google переходите в Google Search Console, далее направляетесь в раздел «Меры, принятые вручную», а после «Проблемы безопасности». Если в обоих разделах пусто, значит нарушений нет и поисковой индексации ничего не мешает.
Диагностика в Google Search Console
Рекомендации от поисковых систем:
- Чтобы сайты хорошо индексировались как на ПК, так и на телефонах, убедитесь, что мобильная версия сайта содержит тот же самый контент.
- Используйте одинаково информативные заголовки для всех версий сайта.
- Проверяйте качество видео и фото. Лучше индексируются страницы, где контент высокого разрешения.
- Подтвердите право собственности на сайт.
- Убедитесь, что сайт не нарушает правил безопасности.
Вывод
Подводя итоги, рекомендуем чаще пользоваться сервисами Google Search Console и Яндекс Вебмастер для аналитики как сайта целиком, так и отдельных страниц, а также посвящать время технической составляющей поисковой выдачи. Ведь чем лучше вы разбираетесь в работе алгоритмом поисковиков, тем больше трафика сможете привлечь на сайт.
