Почему страницы исключены из поиска

Страницы сайта могут пропадать из результатов поиска Яндекса по нескольким причинам. Чтобы узнать, по какой именно причине страница исключена, перейдите в Вебмастер на страницу Индексирование → Страницы в поиске и выберите Исключённые страницы. Подробно о блоке Исключённые страницы

Причина исключения страницы	Решение
Страница признана малоценной или маловостребованной	Алгоритм принял решение не включать страницу в поиск, поскольку у нее мало шансов оказаться востребованной пользователями. Так может произойти, например, если страница не содержит контента, дублирует уже известные роботу страницы или ее контент не вполне отвечает интересам пользователей. Это автоматический регулярный процесс, поэтому решение алгоритма может измениться. Подробно в разделе Малоценные или маловостребованные страницы.
Ошибка при загрузке или обработке страницы роботом — если ответ сервера содержал HTTP-статус 3XX, 4XX или 5XX	Выявить ошибку поможет инструмент Проверка ответа сервера. Если страница доступна для робота, проверьте, что: информация о страницах есть в файле Sitemap; в файле robots.txt запрещающие директивы Disallow, noindex и HTML-элемент noindex закрывают от индексирования только служебные и дублирующие страницы.
Индексирование страницы запрещено в файле robots.txt или с помощью метатега с директивой noindex	Удалите запрещающие директивы. Если вы самостоятельно не размещали запрет в файле robots.txt, обратитесь к хостинг-провайдеру или регистратору доменного имени для выяснения подробностей. Также проверьте, не было ли блокировки доменного имени в связи с истечением срока регистрации.
Страница перенаправляет робота на другие страницы	Убедитесь, что исключенная страница действительно должна перенаправлять пользователей. Для этого используйте инструмент Проверка ответа сервера.
Страница дублирует содержание другой страницы	Если страница определена как дубль по ошибке, следуйте указаниям в разделе Дублирование страниц.
Страница не является канонической	Проверьте, что страницы действительно должна перенаправлять робота на URL, указанный в атрибуте rel=»canonical».
Сайт признан неглавным зеркалом	Если сайты объединены в группу по ошибке, следуйте рекомендациям в разделе Расклейка зеркал сайта.
На сайте обнаружены нарушения	Чтобы проверить это, перейдите в Вебмастере на страницу Диагностика → Безопасность и нарушения.

Робот продолжает посещать исключенные из поиска страницы, а специальный алгоритм проверяет вероятность их показа в выдаче перед каждым обновлением поисковой базы. Таким образом, страница может появится в поиске в течение двух недель после того, как робот узнает о ее изменении.

Если вы устранили причину удаления страницы, отправьте страницу на переобход. Так вы сообщите роботу об изменениях.

Нажмите, чтобы решить проблему

На странице правильно заполнены метатеги description, Keywords и элемент title, страница соответствует всем требованиям. Почему она не в поиске?

Алгоритм проверяет на страницах сайта не только наличие всех необходимых тегов, но и уникальность, полноту материала, его востребованность и актуальность, а также многие другие факторы. При этом метатегам стоит уделять внимание. Например, метатег description и элемент title могут создаваться автоматически, повторять друг друга.

Если на сайте большое количество практически одинаковых товаров, которые отличаются только цветом, размером или конфигурацией, они тоже могут не попасть в поиск. В этот список можно также добавить страницы пагинации, подбора товара или сравнений, страницы-картинки, на которых совсем нет текстового контента.

Страницы, которые отображаются как исключенные, в браузере открываются нормально. Что это значит?

Это может происходить по нескольким причинам:

• Заголовки, которые запрашивает робот у сервера, отличаются от заголовков, запрашиваемых браузером. Поэтому исключенные страницы могут открываться в браузере корректно.

• Если страница исключена из поиска из-за ошибки при ее загрузке, она исчезнет из списка исключенных только в том случае, если при новом обращении робота станет доступна. Проверьте ответ сервера по интересующему вас URL. Если ответ содержит HTTP-статус 200 OK, дождитесь нового посещения робота.

В списке «Исключенные страницы» показываются страницы, которых уже нет на сайте. Как их удалить?

На странице Страницы в поиске, в списке Исключенные страницы, отображаются страницы, к которым робот обращался, но не проиндексировал (это могут быть уже несуществующие страницы, если ранее они были известны роботу).

Страница удаляется из списка исключенных, если:

• она недоступна для робота в течение некоторого времени;

• на нее не ссылаются другие страницы сайта и внешние источники.

Наличие и количество исключенных страниц в сервисе не должно влиять на положение сайта в результатах поиска.

Чтобы ваш вопрос быстрее попал к нужному специалисту, уточните тему:

Страницы с разным содержанием могут считаться дублями, если отвечали роботу сообщением об ошибке (например, на сайте была установлена заглушка). Проверьте, как отвечают страницы сейчас. Если страницы отдают разное содержимое, отправьте их на переобход — так они смогут быстрее вернуться в результаты поиска.

Чтобы избежать исключения страниц из поиска в случае кратковременной недоступности сайта, настройте HTTP-код ответа 503.

Исключение страниц из поиска не является ошибкой со стороны сайта или индексирующего робота: исключаются страницы, которые пользователи не смогут обнаружить по запросам, поэтому их исключение не должно повлиять на видимость проиндексированных страниц сайта. Подробно см. в разделе Малоценные или маловостребованные страницы.

Напишите в службу поддержки, если:

• страницы занимали высокие позиции в результатах поиска до момента их исключения;

• позиции сайта после исключения страниц существенно понизились;

• количестве переходов из поисковой системы значительно сократилось после исключения страниц.

Заполнить форму

Структура сайта — Вебмастер.

Справка

Основой интернета являются ссылки, по которым можно переходить со страницы на другую страницу, с сайта на другой сайт. Работа поискового робота Яндекса основана на переходах по ссылкам и анализе этих ссылок. Если на вашем сайте есть документы, на которые не ссылаются другие страницы, робот Яндекса никогда не узнает про их существование, и они не будут учитываться при поиске. Поэтому важно следить за тем, как страницы вашего сайта связаны друг с другом. Вот несколько советов по организации структуры сайта:

1. Поддерживайте четкую ссылочную структуру на сайте. Каждый документ должен относиться к своему разделу. Следите, чтобы на каждый документ можно было попасть по обычной ссылке, обозначающейся в HTML-коде страницы тегом <A>: <a href=…>…</a>. Вообще говоря, время, которое необходимо роботу Яндекса, чтобы проиндексировать какую-либо внутреннюю страницу сайта, зависит, в том числе, от глубины вложенности этой страницы. Поэтому чем глубже страница, тем больше времени может пройти до включения ее в индекс.

   При создании ссылок между документами сайта нужно учитывать еще один момент. Часто входной точкой на ваш сайт является именно главная страница. Ведь людям гораздо проще запомнить название (имя домена) сайта, но не конкретную внутреннюю страницу, URL которой может быть довольно замысловатым. Организация навигации по сайту должна позволять пользователю быстро сориентироваться в его структуре и легко находить нужные документы, чтобы не возникало ситуации, когда, не найдя нужной информации, разочарованный посетитель покидает сайт.

2. Используйте карту сайта. Для крупных проектов, содержащих множество страниц, рекомендуется использовать Sitemap (карту сайта). Это поможет поисковому роботу проиндексировать и проанализировать документы вашего сайта.

3. Ограничивайте индексирование служебной информации. Многочисленные страницы-дубликаты, результаты поиска по сайту, статистика посещений и тому подобные страницы могут тратить ресурсы робота и мешать индексированию основного содержимого сайта. Такие страницы не имеют ценности для поисковой системы, так как пользователям в выдаче они не предоставляют какой-то уникальной информации. Рекомендуем запрещать индексирование таких страниц в файле robots.txt. Если их не исключить из индексирования, то может получиться так, что регулярно добавляющиеся или обновляющиеся технические страницы будут хорошо индексироваться, а факт обновления важной информации на основных страницах сайта для робота останется незамеченным.

4. Каждая страница должна иметь уникальный адрес (URL). Желательно, чтобы вид URL давал представление о том, что содержится на соответствующей странице. Использование транслитерации в адресах страниц также позволит роботу понять, о чем может быть страница. Например, один только URL http://download.yandex.ru/company/experience/Baitin_Korrekciya%20gramotnosti.pdf дает поисковому роботу множество информации о документе: его можно скачать; формат, скорее всего, PDF; документ, вероятно, релевантен запросу «коррекция грамотности» и так далее.

5. Делайте ссылки на другие разделы сайта текстовыми, чтобы предоставить роботу больше информации о материалах, которые в них размещены.

6. Проверяйте корректность symlink-ов, чтобы при движении по сайту у страниц не получался бесконечно растущий URL. Страницы, у которых в пути содержится много повторений одного и того же токена, например, example.com/vasya/vasya/vasya/vasya/ могут не индексироваться.

Совет.

• Запрещайте индексирование не предназначенных для пользователей страниц в файле robots.txt.

• Используйте одинаковую кодировку для страниц сайта и кириллических адресов в его структуре, так как встретив ссылку href=»/корзина» на странице с кодировкой, например, UTF-8 робот сохранит ее именно в этой кодировке, а значит она должна быть доступна по адресу «/%D0%BA%D0%BE%D1%80%D0%B7%D0%B8%D0%BD%D0%B0».

К следующему разделу

Если страницы доступны для робота, отправлены на переобход, но не появляются в поиске больше двух недель, заполните форму ниже:

Что делать, если на вашем сайте обнаружены проблемы

Яндекс. Вебмастер ежедневно проверяет ваш сайт. Все обнаруженные проблемы отображаются на странице Устранение неполадок → Диагностика сайта. Вы можете подписаться на уведомления об ошибках.

Шаг 1. Исправьте обнаруженные ошибки

Выберите категорию обнаруженной проблемы и следуйте инструкциям:

0 Категория9 Описание0019 Примечание

Fatal	Проверяется подключение к серверу, доступность сайта для индексации, безопасность и соответствие рекомендациям Яндекса.	Проблемы этой категории могут привести к исключению отдельных страниц или всего сайта из результатов поиска. Мы рекомендуем следить за этими ошибками и исправлять их как можно скорее.
Критический	Робот проверяет количество неработающих внутренних ссылок, время отклика сервера и наличие действующего SSL-сертификата.
Возможные проблемы	Проверяет валидность файлов Sitemap и robots.txt, включена индексация страниц с тегом Яндекс.Метрики, настройки отображения несуществующих файлов, количество дубликатов страниц, наличие редиректов, назойливой рекламы , и так далее.	Эти проблемы могут повлиять на качество и скорость индексации сайта.
Рекомендации	Эти предложения обычно направлены на улучшение рейтинга сайта в результатах поиска.	Используйте их, чтобы улучшить представление сайта в результатах поиска.

Шаг 2. Дождитесь перепроверки сайта.

Робот Яндекса узнает об обновлениях на сайте при следующем посещении. Для ускорения:

1. отправить обновленные страницы на переиндексацию. Робот просканирует страницу в течение двух недель.

2. Убедитесь, что робот просканировал страницу — проверьте статус URL.

3. На странице «Устранение неполадок → Диагностика сайта» проверьте, отображается ли проблема, которую вы устранили. Если это так, нажмите Подтвердить.

Если Яндекс.Вебмастер снова не обнаружит проблему, сообщение о ней исчезнет.

Если вы уверены, что исправили ошибку, но сообщение о ней все равно отображается в Яндекс.Вебмастере, подождите некоторое время. При этом сообщение об ошибке не влияет на индексацию вашего сайта.

Расскажите нам, о чем ваш вопрос, чтобы мы могли направить вас к нужному специалисту:

Не удалось подключиться к серверу из-за ошибки DNSСайт закрыт для индексации в файле robots.txt

Если вы следовали рекомендациям и сайт доступен для робота, но ошибка все равно появляется в Яндекс.Вебмастере, заполните заполните форму:

Если вы следовали рекомендациям, но ошибка все равно появляется в Яндекс. Вебмастере, заполните форму:

Неверные настройки SSL-сертификатаОбнаружены дубликаты страниц с GET-параметрамиЕще одна критическая проблема

Если вы следовали рекомендациям, но ошибка все равно появляется в Яндекс.Вебмастере, заполните форму:

Если вы недавно добавили директивы Clean-param, запретили обход дубликатов с помощью robots.txt или поставили rel=»canonical» может пройти несколько дней, прежде чем эти изменения будут учтены в Диагностике сайта в Яндекс.Вебмастере и уведомление перестанет отображаться.

Если через некоторое время ошибка все равно появляется в Яндекс.Вебмастере, заполните форму:

Файл robots.txt не найден Файлы Sitemap в настоящее время не используются индексирующим ботом Обнаружены ошибки в файлах SitemapФайл favicon недоступен для роботаДругие вопросы о возможных проблемах

Ознакомьтесь с рекомендациями. Если файл доступен для робота и может быть загружен в Яндекс. Вебмастере, но проблема все равно возникает, заполните форму:

См. рекомендации выше. Если файл был добавлен более 2 недель назад, но сообщение не исчезает, заполните форму:

См. приведенные выше рекомендации. Если ошибок в файле нет, но сообщение все равно появляется, заполните форму:

См. рекомендации выше. Если ответ сервера соответствует 200 OK и значение параметра type соответствует формату файла, но сообщение не исчезает, заполните форму:

Регион сайта не задан Сайт не зарегистрирован в Яндекс.БизнесFavicon файл не найденСайт не оптимизирован для мобильных устройств

Дополнительные сведения о назначении региона см. в разделе Регион сайта.

Задать вопрос по редактированию информации в Яндекс.Бизнес.

Ознакомьтесь с рекомендациями. Если вы следовали рекомендациям, но сообщение все равно появляется, заполните форму:

Сообщение исчезнет, ​​когда робот Яндекса загрузит фавикон, и появится в результатах поиска.

Фавикон размещается на сайте корректно, но не отображается в поискеФавикон появился в результатах поиска, но Яндекс.Вебмастер все равно показывает рекомендацию фавикона

В этом случае проверьте, посещал ли робот ваш сайт и отредактируйте фавикон. Для получения дополнительной информации см. раздел Favicon.

См. рекомендации выше. Если у вас остались вопросы по оптимизации сайта для мобильных устройств, заполните форму:

Пожалуйста, опишите ошибку в форме ниже. Это поможет нам воспроизвести его. Например, опишите действия, которые приводят к ошибке и добавьте скриншот.

Индексирование — Веб-мастер. Помощь

Расскажите нам, о чем ваш вопрос, чтобы мы могли направить вас к нужному специалисту:

Проверить, отображаются ли страницы в поиске. Для этого введите URL страницы, которую хотите проверить, в строку поиска Яндекса:

Пример: url:https://example.com/page/.

Пример: https://example. com/page/.

Страница появляется в результатах поискаСтраница не отображается в результатах поиска

Это означает, что страница уже проиндексирована: она добавлена ​​в базу данных робота. Если вы не находите страницу по определенному запросу или она оказывается на низких позициях, попробуйте самостоятельно выяснить причину изменения рейтинга сайта.

Или уточнить вопрос:

Позиция сайта по запросам упалаСайт имеет низкий рейтинг в результатах поискаПо определенному запросу найдена другая страница сайтаСайт отсутствует в результатах поискаПосещаемость сайта уменьшиласьСообщить о несанкционированном копировании информации с моего сайта

Проверить выяснять причины изменения рейтинга, а также проверять сайт на предмет безопасности и нарушений. Если Яндекс.Вебмастер обнаружил угрозу или нарушение, следуйте рекомендациям, предоставленным в сервисе.

На сайте нет нарушений и угроз

Изменения в поисковом рейтинге сайта в большинстве случаев допустимы. Это может быть связано с постоянными корректировками алгоритмов и динамикой результатов поиска.

Обратитесь в службу поддержки, если изменение рейтинга сопровождается всеми перечисленными условиями:

• Сайт долгое время лидировал.

• Рейтинг сайта упал более чем на 30 пунктов (при небольших изменениях проверьте, соответствует ли ваш сайт рекомендациям, изложенным в этом разделе).

• Посещаемость сайта уменьшилась.

Заполните форму

Если ваш сайт не имеет высоких позиций по некоторым запросам, возможно, он еще не набрал достаточной релевантности. Проверьте показатели сайта, описанные в этом разделе.

Причины низкой позиции сайта остаются неясными

Используйте оператор [url] (пример), чтобы проверить, включена ли страница в поиск.

Страница не в поискеСтраница в поиске

• Страница может быть страницей сайта А, которая дублирует содержимое другой страницы того же сайта, но имеет другой URL.

  «}}»>. Сведения о том, как это проверить и исправить, см. в разделе Дублирование страниц. Также страница может не попасть в поиск или исчезнуть из него по другим причинам.

• Если сайт сменил адрес, но страница отображается в поиске по старому адресу, убедитесь, что вы правильно перенесли сайт.

Специальный алгоритм определяет, будет страница отображаться в результатах поиска или нет. Например, чтобы страница отображалась, ее содержимое должно соответствовать поисковому запросу. Для получения дополнительной информации см. Этап 4. Формирование результатов поиска.

Страница в поиске вообще не соответствует запросу

Если вы не нашли новые страницы сайта в поиске, перейдите на страницу Как добавить сайт в поиск? раздел. Если страницы ранее были в поиске, а сейчас отсутствуют, ознакомьтесь с причинами исключения страниц.

Если вы заметили снижение посещаемости веб-сайта, проверьте, с какими источниками трафика связана эта проблема. Сделать это можно с помощью сводного отчета Источники в Яндекс.Метрике.

Трафик, полученный из результатов поиска, может уменьшиться по разным причинам, например:

• Рейтинг сайта изменился.

• Ранее популярные страницы исчезли из поиска. Чтобы отслеживать состояние поиска важных для вас страниц, настройте мониторинг.

• На сайте обнаружены нарушения безопасности или проблемы.

Если трафик не изменится в течение двух недель после устранения описанных выше проблем, обратитесь в службу поддержки.

Рекомендации не помогли

Если другой ресурс имеет идентичный вашему контент, этого недостаточно для исключения сайта из результатов поиска.

Чтобы защитить свои авторские права, вы можете подать жалобу непосредственно администратору сайта, содержание которого, по вашему мнению, идентично вашему, или использовать другие законные средства для защиты своих прав.

Если вы не можете договориться с администрацией сайта, попробуйте написать хостинг-провайдеру сайта.

Рекомендации не помогли

Это означает, что сайт или часть страниц еще не проиндексированы роботом Яндекса. Подробнее о том, как робот сканирует сайты, читайте в разделе Как работает поиск Яндекса?.

Уточните вопрос:

Сайт добавлен в Яндекс.Вебмастер, но еще не появился в поискеНовые страницы сайта не попали в поискСайт или страницы исчезли из результатов поиска

Как правило, сайты добавлялись в Яндекс.Вебмастер появляются в результатах поиска в течение двух недель. Если этого не произошло, проверьте, не запрещена ли индексация сайта в файле robots.txt или метатегах.

Сайт также может быть недоступен из-за ошибки сервера. Вы можете проверить доступность сайта с помощью инструмента проверки ответа сервера.

Если URL-адрес сайта изменился, у робота может не хватить времени для его отслеживания.

Проверьте, правильно ли настроены зеркала.

Сайт доступен для робота, но не отображается в поиске

Отправить страницы для посещения роботом с помощью инструмента Переиндексация страниц. Страницы появятся в поиске в течение двух недель.

Рекомендации не помогли

Ознакомьтесь с рекомендациями, которые помогут вам добавить страницы в поиск.

Страницы доступны для робота и отправлены на переиндексацию, но не появляются в поиске более 2-х недель Почему страницы исключены из поиска? раздел.

Если проблема не решена, укажите причину:

Страница доступна для робота и отправлена ​​на переиндексацию, но не отображается в поискеРазные страницы сайта признаны дубликатамиСтраница признана маловостребованной и удалена из поискаДругие вопросы об исключении страниц

Страницы с разным содержанием могут считаться дубликатами, если они ответили роботу сообщением об ошибке (например, в случае страницы-заглушки на сайте). Проверьте, как страницы реагируют сейчас. Если страницы возвращают другой контент, отправьте их на переиндексацию — так они быстрее вернутся в результаты поиска.

Чтобы предотвратить исключение страниц из поиска, если сайт временно недоступен, настройте код ответа HTTP 503.

Исключение страниц из результатов поиска не является ошибкой сайта или робота-индексатора: оно исключает страницы, которые пользователи не смогут найти с помощью поисковых запросов. Поэтому их исключение не должно влиять на видимость проиндексированных страниц на сайте. Чтобы узнать больше, см. Страницы с низкой ценностью или низким спросом.

Обратитесь в службу поддержки, если:

• Страницы были высоко оценены в результатах поиска, прежде чем они были исключены.

• Позиции сайта после исключения страниц резко снизились.

• Количество переходов из поисковой системы значительно уменьшилось после исключения страниц.

Заполните форму

Чтобы ускорить отображение изменений на страницах сайта в результатах поиска, см. Как переиндексировать сайт?.

Если остались вопросы или возникли трудности, укажите тему:

Страницы доступны для робота, но сохраняется статус «Ошибка» Страницы доступны для робота и отправлены на переиндексацию, но не отображаются в поиск более трех недельИнформация на сайте изменена, но в результатах поиска отображается старая версияСайт или отдельные страницы запрещены в robots.txt, но все еще находятся в поискеСтарые страницы удалены и перенаправлены на новые , но все еще присутствуют в поиске

Убедитесь, что:

• Страницы доступны для робота (используйте инструмент проверки ответа сервера).

• Информация о страницах присутствует в файле Sitemap.

• Запрещающие директивы Disallow и noindex, а также HTML-элемент noindex в файле robots.txt предотвращают индексацию только технических и дублирующих страниц.

Рекомендации не помогли

Если вы следовали инструкции при удалении страниц сайта и после последнего обхода роботом Яндекса прошло более двух недель, заполните форму ниже:

Если вы используете редиректы, робот будет постепенно отслеживать редиректы и старые страницы будут исчезать из результатов поиска по мере обхода сайта.

Чтобы робот быстрее узнал об изменениях, отправьте страницы на переиндексацию.

Если URL-адреса страниц изменились из-за того, что вы изменили доменное имя сайта, обновление данных поиска может занять более месяца. Проверьте, правильно ли настроены зеркала.

Страницы отправлены на переиндексацию, но не удаляются из поиска более двух недель

См. рекомендации в разделе Как исключить страницы из поиска? раздел.

Расскажите, о чем ваш вопрос, чтобы мы могли направить вас к нужному специалисту:

Сайт или отдельные страницы запрещены в robots.txt, но все еще находятся в поиске Старые страницы удаляются и перенаправляются на новые, но все еще присутствуют в поиске

Если вы следовали инструкции при удалении страниц сайта и после последнего обхода роботом Яндекса прошло более двух недель, заполните форму ниже:

Если вы использовали перенаправление, отправьте страницы на переиндексацию.