Некорректный формат ответа яндекс вебмастер: Критичные проблемы — Вебмастер. Справка

Содержание

Критичные проблемы - Вебмастер. Справка

Раздел содержит решения часто встречающихся проблем категории «Критичные», выявленных при диагностике сайта в Вебмастере. Проблемы этой группы могут вести к исключению отдельных страниц или всего сайта из результатов поиска.
  1. Долгий ответ сервера
  2. Некорректная настройка SSL-сертификата
  3. Найдены страницы-дубли с GET-параметрами

Это значит, что среднее время ответа роботу всех страниц вашего сайта превышает три секунды. Проблема могла возникнуть из-за долгого ответа, возвращаемого сервером при обращении поискового робота к некоторым страницам сайта. Если в настоящий момент сервер отвечает быстро, сообщение об ошибке пропадет в течение нескольких дней.

Сообщение отображается в следующих случаях:

  • Истек срок действия сертификата.

  • Сертификат выдан на другой домен или выписан не на все поддомены, на которых используется. Например,сертификат выписан на домен example.com, но используется на домене www. example.com.

  • Cертификат Удостоверяющего центра отсутствует в браузерах пользователей или отозван.

  • Используется самоподписанный сертификат.

При проблемах с SSL-сертификатом браузер оповещает о них пользователя. Пользователь может не перейти на небезопасный сайт. Ниже представлен пример сообщения в Яндекс.Браузере.
Пример

Чтобы устранить ошибку, проверьте SSL-сертификат и настройки сервера. Для этого обратитесь к вашему хостинг-провайдеру.

Робот Яндекса узнает об изменениях при очередном посещении сайта. Если он не обнаружит ошибку, сообщение о ней перестанет отображаться в Вебмастере.

Дублирующими считаются страницы с одинаковым контентом, но доступные по разным адресам. Ссылки с GET-параметрами также могут считаться дублями, так как робот Яндекса считает их разными страницами. Такие страницы объединяются в группу дублей.

Если на сайте есть страницы-дубли:

  • Из результатов поиска может пропасть нужная вам страница, так как робот выбрал другую страницу из группы дублей.

  • В некоторых случаях при наличии GET-параметров страницы могут не объединяться в группу и участвовать в поиске как разные документы. Таким образом конкурировать между собой. Это может оказать влияние на сайт в поиске.

  • В зависимости от того, какая страница останется в поиске, адрес документа может измениться. Это может повлиять, например, на достоверность статистики в сервисах веб-аналитики.

  • Индексирующий робот дольше обходит страницы сайта, а значит данные о важных для вас страницах медленнее передаются в поисковую базу. Кроме этого, робот может создать дополнительную нагрузку на сайт.

Примечание. Если вы недавно добавили директивы в Clean-param, запретили дубли для обхода в robots.txt или разместили атрибут rel="canonical", может потребоваться несколько дней, чтобы эти изменения были учтены в Диагностике Вебмастера и уведомление перестало отображаться.

Чтобы указать Яндексу, какая страница должна участвовать в поиске и избавиться от дублей, добавьте в файл robots.txt директиву Clean-param, чтобы робот не учитывал параметры в URL.

Справочник по ошибкам обработки файла Sitemap

Не проиндексирован

Загрузка файла Sitemap закончилась неудачно. Возможно URL файла задан неверно.

Размер файла превышает заданный предел

Размер файла Sitemap больше 50 МБ.

Ошибка HTTP

При загрузке файла Sitemap получен HTTP-статус отличный от 200.

Невалидный URL

Указан невалидный URL файла Sitemap.

Соединение было прервано

В процессе загрузки файла Sitemap сервер прервал соединение.

Ошибка DNS

Не удалось загрузить файл из-за ошибки DNS. Возможно указан неправильный URL файла.

Ошибка при соединении

Файл Sitemap не удалось загрузить, так как не удалось соединиться с сервером.

URL запрещен в файле robots.txt

URL файла Sitemap запрещен в файле robots.txt и поэтому не был загружен. Проверьте правильность файла robots.txt и адрес файла Sitemap.

Неправильный HTTP-ответ

Файл Sitemap не удалось загрузить, т. к. ответ веб-сервера не соответствует протоколу HTTP.

Ответ не содержит данных

При загрузке файла Sitemap сервер вернул пустой документ.

Ошибка при разархивировании

Произошла ошибка при распаковке файла Sitemap, сжатого с помощью gzip.

Тег встречается более одного раза

Указанный тег должен встречаться в данном контексте только один раз.

Неизвестный тег

Указанный тег не должен встречаться в данном контексте.

Тег не найден

Пропущен обязательный тег.

Не правильный адрес страницы

URL не соответствует стандарту.

Некорректный URL (не соответствует местоположению файла Sitemap)

Местоположение файла Sitemap определяет набор URL, которые можно включить в этот файл. Файл, расположенный в некотором каталоге, должен содержать URL, который размещен в этом же каталоге, либо в его подкаталогах. Подробнее см. Местоположение файла Sitemap.

Слишком длинный URL

Длина URL превышает установленный предел (1024 символа).

Тег не должен быть пустым

Указанный тег не должен быть пустым.

Тег не должен содержать другие теги

Указанный тег не должен содержать дочерние теги.

Превышено допустимое число данных

Указанный тег содержит слишком много данных.

Нет данных в теге

Указанный тег не содержит необходимых данных.

Неверная кодировка

Файл Sitemap не начинается с корректного префикса UTF-8 (0xEF 0xBB 0xBF). Он должен начинаться со строки <?xml version="1.0" encoding="UTF-8"?>

Невалидный XML

Файл Sitemap не является правильно построенным (well-formed) XML-документом, то есть не соответствует правилам синтаксиса XML.

Слишком много ошибок (обработка прекращена)

В файле Sitemap обнаружено более 100 ошибок. Дальнейшая обработка файла прекращена.

Число URL превышает заданный предел

Файл Sitemap может содержать не более 50000 URL. Если необходимо перечислить более 50000 URL, следует создать несколько файлов Sitemap и включить их в файл индекса Sitemap (см. Использование файлов индекса Sitemap).

Число файлов Sitemap превышает заданный предел

Файл индекса Sitemap может содержать не более 50 000 URL файлов Sitemap.

Много некорректных URL в начале файла (обработка прекращена)

Файл Sitemap начинается с идущих подряд некорректных URL. Дальнейшая обработка файла прекращена, так как скорее всего файл имеет неверный формат.

Файл Sitemap index не может содержать ссылки на файлы Sitemap index

Файл индекса Sitemap может содержать ссылки только на файлы Sitemap, но не на другие файлы индекса Sitemap.

Ошибка в корневом теге

Произошла ошибка при обработке корневого тега.

Неподдерживаемый формат в Яндекс.Вебмастере

Привет! С конца ноября Яндекс видимо что-то переклинило и он начал слать вот такие сообщения о том, что у страниц якобы какой-то «неподдерживаемый формат» и она исключена из индекса.

Письма валятся от Яндекс.Вебмастера, где говорится, что «Изменился статус страниц в поиске у сайта site.ru», «Изменился атрибут rel=”canonical” важных страниц сайта»,  «Изменился метатег Description страниц сайта», «Изменился заголовок у важных страниц сайта», где видно что Title, Description и rel=canonical изменились на пустые строки, т.е. как будто их робот не смог прочитать.

Если зайти в Яндекс.Вебмастер, то можно увидеть, что такие страницы якобы удалены из поиска и они имеют статус:

Неподдерживаемый формат

Формат документа не поддерживается индексирующим роботом. Обратите внимание на корректность заголовка Content-Type и на содержимое документа.

При этом если проверить выдачу руками, то все страницы в Яндексе имеются.

Содержание статьи:

Ответы Яндекса

Написал в тех. поддержку, но ничего толкового мне Платон пока не ответил, если добьюсь чего-то вменяемого, то обновлю пост.

Здравствуйте, Артём!

Мы проверили, страницы были исключены, так как при обращениях нашего индексирующего робота они периодически отдавали контент в формате, который им не поддерживается, из-за чего проиндексировать их не удавалось. Это может быть связано с тем, что страницы отдают некорректные http-заголовки или не отдают документ в HTML-формате, либо, например, страницы на запросы отдают некорректный gzip-архив. Для выяснения причин появления проблемы вы можете обратиться к администратору сервера, на котором расположен сайт, либо вашему хостинг-провайдеру. Возможно также, что запросы с некоторых IP-адресов роботов Яндекса блокируются на стороне сервера, поэтому рекомендуем проверить настройки на возможность таких блокировок. Подробнее о том, как проверить, что робот принадлежит Яндексу, вы можете узнать в нашем разделе Помощи: https://yandex.ru/support/webmaster/robot-workings/check-yandex-robots.html

Например, страница site.ru/blabla.html была недоступна при обращении робота 2019.11.28 06:59:13. Чтобы страницы могли корректно индексироваться роботом, они должны быть постоянно доступны, отвечать кодом 200 ОК и отдавать контент в HTML-формате. Тогда они смогут вернуться в поиск по мере их переобхода роботом с обновлениями поисковых баз.

Мы также передали пример вашего сайта нашим специалистам для более подробного изучения, чтобы проверить ситуацию с обходом сайта. Если у меня появится дополнительная информация по вопросу или потребуются дополнительные действия, я свяжусь с вами немного позднее.

Артём Высоков

Автор блога о SEO и заработке на сайтах - Vysokoff.ru. Продвигаю информационные и коммерческие сайты с 2013 года.

Задать вопрос  Загрузка ...

Оцените, пожалуйста, наш ответ: https://yandex.ru/support/survey/ratesupport/?session=c99ffe40-0028-32b4-ba77-0eb1047d28aa

Платон Щукин

Служба поддержки Яндекса

https://yandex.ru/support/search/

В твиттере Яндекс послал меня к Платону.

@yandex что у вас за глюк очередной? По нескольким сайтам такая ситуация. “Неподдерживаемый формат” – какой-то и якобы вы исключили страницы из выдачи, но по факту они есть. #Яндекс pic.twitter.com/327EbfD0gj

— Артём Высоков (@Vysokoff) December 6, 2019

Вот такой вот замкнутый круг.

Ответ Бегета

По данному вопросу я обратился также в поддержку хостера Бегет. Информация от них подтверждает мои подозрения насчёт косяка со стороны Яндекса:

Когда появилась проблема?

Кроме того, подобная проблема судя по Вордстату появилась в начале этого года, раньше никто не знал ни о каком «Неподдерживаемом формате».

Я же столкнулся с ней в конце ноября.

10 основных причин, по которым страница сайта может не находиться в индексе поисковых систем Яндекс или Google

Причина номер 1. Новая страница или новый сайт

Первая причина, это то, что поисковые роботы еще просто не нашли новую страницу вашего сайта. В зависимости от того, какой ваш сайт, переобход страниц может занимать от нескольких минут до нескольких недель.

Чтобы узнать, находится ли в индексе страница Вам необходимо воспользоваться сервисами вебмастера Яндекс или Google Search Console.

В Яндекс.Вебмастере это раздел «Индексирование» - «Проверить статус URL». Если робот обошел и проиндексировал страницу, вы увидите уведомление «Страница обходится роботом и находится в поиске».

Если робот о странице еще не знает, вы увидите сообщение «Страница неизвестна роботу».

В новой версии Google Search Console вам нужен инструмент «Проверка URL». Если робот обошел и проиндексировал страницу, вы увидите уведомление «URL есть в индексе Google».

Если робот на странице еще не был, вы увидите сообщение «URL нет в индексе Google».

Причина номер 2. Страница или сайт закрыты от индексации в файле robots.txt

Существует специальный файл robots.txt, который позволяет указать роботам на то, какие страницы сайта должны быть в индексе поисковых систем, а какие страницы не должны быть включены.

Соответственно, если в файле прописаны запрещающие правила, в индексе поисковых систем данную страницу вы не найдете.

Как проверить, закрыта ли страница в robots.txt?

В Яндекс.Вебмастере: заходим в «Инструменты - Анализ файла robots.txt». В окно «Разрешены ли URL» вносим адреса страниц, которые мы хотим проверить. После того, как мы нажмем на кнопку «Проверить», внизу появится список введенных адресов и их статус: разрешены они для индексации или нет. Если нет, будет указано, какое из правил запрещает обход для робота.

В Google похожий инструмент находится на вкладке «Сканирование - Инструмент проверки файла robots.txt».

Важно! На данный момент эта вкладка находится в старой версии вебмастера!

Причина номер 3. Указан запрет в User-Agent

У поисковых систем есть свои требования к тому, как должен строиться файл robots.txt. И начинается он с приветствия. Приветствие может быть обращено к роботу яндекс, либо гугл, либо к обеим поисковым системам.

Часто для Яндекс и Google делают отдельные секции в файле robots.txt. А потом забывают вносить правки в эти секции. Из-за этого роботы потом некорректно начинают индексировать сайт.

Проверяем наличие проблемы также, как и в предыдущем случае. Главное - это делать в вебмастере Яндекс, и в вебмастере Google.

Причина номер 4. Запрет на индексацию страниц указан в мета-теге robots.

Суть этого мета-тега такая же, как и у файла robots.txt, только если страница закрыта в robots.txt она все равно может быть проиндексирована поисковыми системами. Но если на странице используется noindex или none, страница не будет добавлена в индекс.

1. Проверить использование данного мета-тега на странице можно в коде (сочетание клавиш Ctrl+U)

2. С помощью дополнения для браузера, например seo meta

3. С помощью вебмастеров.

Причина номер 5. Некорректно настроенный атрибут rel=canonical.

Каноникал - это еще один атрибут, помогающий управлять индексацией страниц.

Если rel каноникал настроен на другую страницу, то вы говорите поисковому роботу о том, что она схожа с другой станицей и первую страницу не нужно добавлять в индекс поисковых систем.

Проверить использование данного атрибута можно также в исходном коде, с помощью дополнения для браузера - rds бар или seo meta.

Также это можно увидеть в вебмастере Яндекс («Страницы в поиске»- «Исключенные страницы». Проверять необходимо статус «неканонические»).

Причина номер 6. Проблемы с ответом сервера

Для того, чтобы страница индексировалась, ее код ответа сервера должен быть 200 ОК. Если страница отдает ответ сервера 404 или 301, в индекс поисковых систем данная страница не попадет.

Проверять код ответа лучше всего с помощью вебмастеров, они показывают наиболее точные данные. А вот визуальной проверкой лучше не ограничиваться, так как бывают случаи, когда страницы выглядят корректно, но код ответа сервера не 200.

Причина номер 7. Проблемы с хостингом или сервером

Представьте, вы приходите в магазин, а он не работает. Потом снова приходите в магазин, но он все равно не работает. Какова вероятность того, что вы вернетесь туда? Вероятнее всего очень маленькая.

Тоже самое происходит и с поисковыми системами. Если он приходит на ваш сайт, а он не работает, то робот просто исключает страницы из индекса и не показывает их пользователям. 

Правильно, зачем пользователей приводить на неработающий сайт.

Для того, чтобы отследить есть ли проблема, необходимо в вебмастерах проверять статус страниц. Если встречаются ошибки сервера 5хх (500, 503), а также если вам приходят уведомления из Яндекс.Метрики о том, что сайт не работает, необходимо решать данную проблему.

Причина номер 8. Проблемы со скоростью загрузки страниц

Скорость загрузки - важный показатель качества современного сайта. Если ваши страницы долго долго загружаются, роботы поисковых систем исключать такие страницы из индекса.

Кроме того, скорость загрузки страниц - является фактором ранжирования в поисковых системах. Поэтому, если у вас с этим есть проблемы, срочно это исправляйте!

Как проверить? Начните с инструмента PageSpeed Insights от Google. Дополнительно можете использовать сервисы Google Аналитика и Яндекс.Метрика.

Совет! Важно проверять скорость загрузки для нескольких типов страниц и не останавливаться выполнив только одну проверку, т.е. выполнять данные работы периодически.

Причина номер 9. Проблема с уникальностью и полезностью контента

Поисковики уделяют большое внимание качеству контента, поэтому, если на странице расположен не полезный контент, либо же дублирующийся с другими страницами, такие страницы не добавляются в индекс поисковых систем.

Как проверить, есть ли на сайте такие страницы - нужно зайти в вебмастер.

В Яндексе - это отчет «Страницы в поиске» - «Исключенные страницы». Проверять нужно статусы «Дубль» и «Недостаточно качественная».

В Google Search Console - это отчет «Покрытие» - «Страница является копией. Канонический вариант не выбран пользователем».

Причина номер 10. Проблемы с AJAX

Если ваш сайт выполнен на технологии AJAX очень важно правильно выполнить требования поисковых систем, для того чтобы поисковые роботы смогли проиндексировать страницы вашего сайта.

Таким образом для каждой отдельной страницы должна быть своя HTML-версия.

И напоследок, дадим вам несколько советов, как ускорить индексацию:

  • отправляйте страницы на переобход с помощью вебмастеров
  • используйте файл sitemap.xml
  • используйте новейшие возможности, которые предоставляют вам поисковики. Например, Яндекс Метрике появилась возможность связать Яндекс Вебмастер и Яндекс Метрику, для того чтобы отправлять страницы на переиндексацию.

Также смотрите наш видеоролик https://youtu.be/HF-2dd4luQY с помощью которого вы сможете найти ошибки у себя на сайте и запланировать работы по их исправлению.

Если вы хотите продвинуть свой сайт в ТОП поисковой выдачи, тогда записывайтесь на курс по SEO-продвижению



Статью подготовила Полина Зарубицкая, 
ведущий спикер Webcom Academy.

Поделиться с друзьями:

Проверка файла robots.txt | REG.RU

Файл robots.txt — это инструкция для поисковых роботов. В ней указывается, какие разделы и страницы сайта могут посещать роботы, а какие должны пропускать. В фокусе этой статьи — проверка robots.txt. Мы рассмотрим советы по созданию файла для начинающих веб-разработчиков, а также разберем, как делать анализ robots.txt с помощью стандартных инструментов Яндекс и Google.

Зачем нужен robots.txt

Поисковые роботы — это программы, которые сканируют содержимое сайтов и заносят их в базы поисковиков Яндекс, Google и других систем. Этот процесс называется индексацией.

robots.txt содержит информацию о том, какие разделы нельзя посещать поисковым роботам. Это нужно для того, чтобы в выдачу не попадало лишнее: служебные и временные файлы, формы авторизации и т. п. В поисковой выдаче должен быть только уникальный контент и элементы, необходимые для корректного отображения страниц (изображения, CSS- и JS-код).

Если на сайте нет robots.txt, роботы заходят на каждую страницу. Это занимает много времени и уменьшает шанс того, что все нужные страницы будут проиндексированы корректно.

Если же файл есть в корневой папке сайта на хостинге, роботы сначала обращаются к прописанным в нём правилам. Они узнают, куда нельзя заходить, а какие страницы/разделы обязательно нужно посетить. И только после этого начинают обход сайта по инструкции.

Веб-разработчикам следует создать файл, если его нет, и наполнить его правильными директивами (командами) для поисковых роботов. Ниже кратко рассмотрим основные директивы для robots.txt.

Основные директивы robots.txt

Структура файла robots.txt выглядит так:

  1. Директива User-agent. Обозначает, для каких поисковых роботов предназначены правила в документе. Здесь можно указать все поисковые системы (для этого используется символ «*») или конкретных роботов (Yandex, Googlebot и другие).
  2. Директива Disallow (запрет индексации). Указывает, какие разделы не должны сканировать роботы. Даже если на сайте нет служебного контента, который необходимо закрыть от индексации, директиву нужно прописывать (не указывая значение). Если не сделать этого, robots.txt может некорректно читаться поисковыми роботами.
  3. Директива Allow (разрешение). Указывает, какие разделы или файлы должны просканировать поисковые роботы. Здесь не нужно указывать все разделы сайта: все, что не запрещено к обходу, индексируется автоматически. Поэтому следует задавать только исключения из правила Disallow.
  4. Sitemap (карта сайта). Полная ссылка на файл в формате .xml. Sitemap содержит список всех страниц, доступных для индексации, а также время и частоту их обновления.

Пример простого файла robots.txt (после # указаны пояснительные комментарии к директивам):

User-agent: * # правила ниже предназначены для всех поисковых роботов
Disallow: /wp-admin # запрет индексации служебной папки со всеми вложениями
Disallow: /*? # запрет индексации результатов поиска на сайте
Allow: /wp-admin/admin-ajax.php # разрешение индексации JS-скрипты темы WordPress
Allow: /*.jpg # разрешение индексации всех файлов формата .jpg
Sitemap: http://site.ru/sitemap.xml # адрес карты сайта, где вместо site.ru — домен сайта

Советы по созданию robots.txt

Для того чтобы файл читался поисковыми программами корректно, он должен быть составлен по определенным правилам. Даже детали (регистр, абзацы, написание) играют важную роль. Рассмотрим несколько основных советов по оформлению текстового документа.

Группируйте директивы

Если требуется задать различные правила для отдельных поисковых роботов, в файле нужно сделать несколько блоков (групп) с правилами и разделить их пустой строкой. Это необходимо, чтобы не возникало путаницы и каждому роботу не нужно было сканировать весь документ в поисках подходящих инструкций. Если правила сгруппированы и разделены пустой строкой, робот находит нужную строку User-agent и следует директивам. Пример:

User-agent: Yandex # правила только для ПС Яндекс 
Disallow: # раздел, файл или формат файлов
Allow: # раздел, файл или формат файлов
# пустая строка
User-agent: Googlebot # правила только для ПС Google
Disallow: # раздел, файл или формат файлов
Allow: # раздел, файл или формат файлов
Sitemap: # адрес файла

Учитывайте регистр в названии файла

Для некоторых поисковых систем не имеет значение, какими буквами (прописными или строчными) будет обозначено название файла robots.txt. Но для Google, например, это важно. Поэтому желательно писать название файла маленькими буквами, а не Robots.txt или ROBOTS.TXT.

Не указывайте несколько каталогов в одной директиве

Для каждого раздела/файла нужно указывать отдельную директиву Disallow. Это значит, что нельзя писать Disallow: /cgi-bin/ /authors/ /css/ (указаны три папки в одной строке). Для каждой нужно прописывать свою директиву Disallow:

Disallow: /cgi-bin/
Disallow: /authors/
Disallow: /css/

Убирайте лишние директивы

Часть директив robots.txt считается устаревшими и необязательными: Host (зеркало сайта), Crawl-Delay (пауза между обращением поисковых роботов), Clean-param (ограничение дублирующегося контента). Вы можете удалить эти директивы, чтобы не «засорять» файл.

Как проверить robots.txt онлайн

Чтобы убедиться в том, что файл составлен грамотно, можно использовать веб-инструменты Яндекс, Google или онлайн-сервисы (PR-CY, Website Planet и т. п.). В Яндекс и Google есть собственные правила для проверки robots.txt. Поэтому файл необходимо проверять дважды: и в Яндекс, и в Google.

Яндекс.Вебмастер

Если вы впервые пользуетесь сервисом Яндекс.Вебмастер, сначала добавьте свой сайт и подтвердите права на него. После этого вы получите доступ к инструментам для анализа SEO-показателей сайта и продвижения в ПС Яндекс.

Чтобы проверить robots.txt с помощью валидатора Яндекс:

  1. 1. Зайдите в личный кабинет Яндекс.Вебмастер.
  2. 2.

    Выберите в левом меню раздел ИнструментыАнализ robots.txt.

  3. 3.

    Содержимое нужного файла подставиться автоматически. Если по какой-то причине этого не произошло, скопируйте код, вставьте его в поле и нажмите Проверить:

  4. 4.

    Ниже будут указаны результаты проверки. Если в директивах есть ошибки, сервис покажет, какую строку нужно поправить, и опишет проблему:

Google Search Console

Чтобы сделать проверку с помощью Google:

  1. 1. Перейдите на страницу инструмента проверки.
  2. 2.

    Если на открывшейся странице отображается неактуальная версия robots.txt, нажмите кнопку Отправить и следуйте инструкциям Google:

  3. 3.

    Через несколько минут вы можете обновить страницу. В поле будут отображаться актуальные директивы. Предупреждения/ошибки (если система найдет их) будут перечислены под кодом.

    Проверка robots.txt Google не выявила ошибок

Обратите внимание: правки, которые вы вносите в сервисе проверки, не будут автоматически применяться в robots.txt. Вам нужно внести исправленный код вручную на хостинге или в административной панели CMS и сохранить изменения.

Помогла ли вам статья?

1 раз уже
помогла

Какие ошибки показывает Вебмастер | Digital-компания MIVOKS group

Автор: Ксения

Вторая вкладка левого меню Yandex Webmaster включает раздел диагностики, позволяющего получить детальную информацию о проблемах, извещение о которых выводится в левый верхний блок главной страницы сервиса Вебмастер.

Общая информация о классификации проблем в Яндекс:

  • рекомендации – советы и предложения по совершенствованию ресурса или отображения;
  • возможные – ошибки, устранение которых помогает повысить удобство пользования и видимость сайта в органической выдаче, улучшить корректность его индексации и отображение. Способ отображения возможных проблем в Яндекс Вебмастер – серый восклицательный знак;
  • критичные – серьезные ошибки, которые обычно не приводят к удалению сайта из поисковой выдачи, но негативно влияют на видимость. Это происходит из-за низкого удобства пользования ресурсом, некорректной работы либо индексации;
  • фатальные – несовместимые с отображением ресурса в результатах выдачи поисковой системы. Вероятнее всего, полностью исключен из поиска будет сайт с такими ошибками, как наличие санкций со стороны ПС, запрет индексации, критичное нарушение безопасности и др.
  1. Фатальные ошибки
  2. Критические ошибки
  3. Возможные проблемы
  4. Прочие рекомендации

Фатальные ошибки Яндекс Вебмастер

Ошибки этой категории должны быть исправлены незамедлительно, поскольку наличие даже одной из них станет причиной недопуска веб-сайта в поисковую выдачу.

  • Блокировка индексации: наиболее распространенная ошибка, которая возникает по завершению разработки ресурса. Директива в файле робота (robots.txt), запрещающая индексировать контент, необходима для предотвращения ранжирования находящегося в стадии разработки сайта на техническом домене.
    Исправление: после открытия файла робота необходимо после домена добавить robots.txt, найти строку «Disallow: /» и удалить ее.
  • Серверные ошибки DNS: обычно возникают после самостоятельного изменения в контрольной панели хостинга настроек DNS, либо же в случае, если произошло падение сервера хостера.
    Исправление: потребуется найти номер телефона техподдержки хостер-провайдера и попросить провести проверку настроек сайта, назвав ошибку, указанную в панели вебмастера.
  • Ошибка главной страницы: означает, что загрузка главной страницы роботом невозможна, поскольку сайт временно недоступен. Причины этого: удалена техническая папка, которая отвечает за загрузку на сервере, либо сбои в хостинге.
    Исправление: потребуется общение с технической поддержкой хостинга. При отсутствии проблем у провайдера следует обратиться к нему с просьбой о выгрузке рабочего бэкапа сайта.
  • Нарушение безопасности: обнаружение роботом вируса, потенциально опасного, по мнению Яндекса, самописного кода или иной угрозы безопасности.
    Исправление: скачать с сайта любого из разработчиков или поставщиков антивирусов программу проверки интернет-ресурсов на предмет наличия вирусов. В случае, если после запуска диагностики будет выявлено вредоносное ПО, необходимо удалить его.

Критические ошибки Вебмастера

Приоритет критических ошибок в Яндекс аналогичен фатальным. Ошибок такого вида всего две, но обе способны значительно ухудшить позиции веб-ресурса в результатах выдачи поисковых роботов.

  • Внутренние битые («мертвые») ссылки: так называют гиперссылки, при переходе по которым пользователь попадает на несуществующую страницу (ошибка 404). Она могла быть удалена, либо изменился ее ЧПУ адрес.
    Исправление: с помощью любого из сервисов («screaming frog app» и т.п.) по поиску мертвых ссылок необходимо убрать гиперссылку либо точечно исправить URL с кодом 404.
  • Долгий ответ сервера: если по прошествии определенного промежутка времени, который робот посвятил анализу сайта, не произошла загрузка ресурса, то поступает сигнал об ошибке. Причиной этого в большинстве случаев служат установленные на страницах «тяжелые» скрипты.
    Исправление: изучение отчета после проверки скорости с помощью сервиса Google Pagespeed позволит определить скрипты в коде сайта, загрузка которых занимает много времени. После их оптимизации или удаления проверку следует повторить.

Возможные проблемы

В перечне показываемых Яндекс Вебмастер оптимизационных ошибок – отсутствие правильной настройки сайта, отвечающей актуальным параметрам требований поисковых систем, либо некорректные показатели одного из проверочных параметров.

Ошибки, относящиеся к файлу robots.txt

  • отсутствие в корне сайта файла робота. Он должен находиться по адресу: ваш домен/robots.txt;
  • наличие неточностей в файле робота. К этому обычно приводит его самостоятельное добавление. Существует множество вариантов ошибок, что осложняет их поиск – орфографическая ошибка, опечатка, некорректное использование символов и т.д.

Исправление: при отсутствии файла создают в блокноте стандартный документ, заполняют и добавляют его на ресурс. При обнаружении ошибок в файле – очищают его и приводят к стандартному формату:

User-agent: *
Disallow: /admin/
Host: https://ваш домен
Sitemap: https://ваш домен/sitemap.xml

Ошибки, относящиеся к карте сайта sitemap.xml

  • ресурс не использует файлы sitemap. Вероятнее всего, динамическая карта представлена в формате, отличающемся от xml, либо не создана вовсе. От этой ошибки зависит не столько позиция сайта, сколько индексация страниц;
  • наличие ошибок в файле sitemap.xml. Как правило, источником проблем служат отдающие 404 ошибку несуществующие страницы. Следует выполнить проверку карты ручном режиме с помощью соответствующего раздела в кабинете вебмастера;
  • долгое время не проводилось обновление карты сайта. Это связано с нарушением функционала опции автообновления sitemap, либо же с действительным отсутствием на веб-сайте нового контента.

Исправление: многие CMS предоставляют возможность автоматического создания карты сайта. Поскольку Вебмастер может не сразу увидеть даже корректную и имеющуюся на сайте карту, следует без внесения корректировок нажать кнопку «исправлено».

Ошибки оптимизации

  • неправильные настройки страницы 404. Если введен несуществующий URL, должна отобразиться полностью оформленная страница сайта, с указанием 404 ошибки и гиперссылкой, ведущей на главную страницу;
  • переадресация на иной ресурс. Чаще всего перенаправление на иной домен вызвано вирусами или вредоносным ПО, но может быть связано и с ошибкой редиректа;
  • большое количество дублей сайта – страниц, имеющих разный ЧПУ при аналогичном контенте. Ошибка характерна для бесплатных CMS (MODx, WordPress, Joomla и т.д.), создающих повторяющиеся страницы по заложенной разработчиком структурной схеме. Такие дубли должны отсутствовать в принципе, поэтому их необходимо удалить, воспользовавшись списком задвоенных url;
  • отсутствие метатега Title или же его ошибка. Уникальный метатег Title должен быть виден роботу на каждой из проверяемых страниц. Не рекомендуется дублировать этот тег с тегом h2;
  • отсутствие либо ошибка метатега Description, который должен быть оригинальным для каждой страницы. Метатегами Description и Title также следует снабдить не закрытые от индексации технические страницы.

Подробнее об оптимизации можете узнать в статье "Бесплатный SEO чек-лист: а ваш сайт готов к продвижению?"

Прочие рекомендации

Помимо исправления названных ошибок для оптимизации сайта полезным станет анализ рекомендаций от Вебмастер.Яндекс и внесение ряда пунктов, улучшающих видимость ресурса в ПС:

  • отсутствие сайта в Яндекс.Справочнике. Заполнение всех полей в справочнике обеспечит вывод Яндексом карточки компании справа от выдачи в случае, если пользователем введен брендовый запрос;
  • отсутствие указанного региона ресурса. Это наиболее важно при активном SEO продвижении. Указать регион можно самостоятельно, либо подождать, пока Яндекс сам выполнить эту операцию;
  • отсутствие favicon сайта. Так называют небольшую иконку, расположенную у заголовка в выдаче поискового робота. Ее наличие способствует повышению привлекательности сниппета и улучшению поведенческих факторов;
  • не выполненная адаптация сайта к мобильным и компактным устройствам. Корректное отображение веб-сайта на мобильных гаджетах Yandex и Google начали учитывать после того, как ими были введены собственные форматы APM и Turbo. При наличии проблем с соответствующей оптимизацией сайта его позиции будут снижены в мобильной выдаче;
  • ошибка счетчика Яндекс.Метрики. Если робот не находит кода Яндекс.Метрики в процессе анализа сайта, то это не отразится на ранжировании, но не позволит получить данные конверсии и сведения для анализа поведения посетителей сайта.

454080, Россия, Челябинская, Челябинск, Энтузиастов, 26Б

Вебмастер яндекс недостаточно качественная страница. Причины удаления страниц

Новый Вебмастер Яндекса позволяет найти проблемы на сайте и исправить недочёты, мешающие ранжированию – это факт медицинский. Для этого Яша предложил на праздничный стол набор интересных инструментов, многих из которых не было на старом сервисе. Предлагаю обзор возможностей Вебмастера для стимулирования хорошего настроения.

Обзор инструментов

Инструменты нового Вебмастера разбиты по блокам, каждый из них открывается на вкладки. Вот основные пункты меню:

  1. - Диагностика,
  2. - Поисковые запросы,
  3. - Индексирование,
  4. - Настройка индексирования,
  5. - Инструменты.

Последний пункт «Права доступа» – это не гармошка, этот пункт не матрёшка, он не открывается. Как подсказывает интуиция, в каждом блоке находятся инструменты для решения узкоспециализированных задач, например, в блоке «Поисковые запросы» можно узнать всё о запросах пользователей, которые переходили на сайт, показах.

Диагностика

Первый пункт меню «Диагностика», в нём два пункта:

  1. - Диагностика сайта,
  2. - Безопасность и нарушения.

В первом пункте узнают о проблемах на сайте, например, недоступности страниц. Обновляется страничка со скрипом, как работает дизель в Заполярье, поэтому надеяться, что в ней оперативно отобразятся все проблемы не стоит, но иногда она приходит на помощь.

На странице «Безопасность и нарушения» отображаются проблемы с безопасностью сайта и некоторые нарушения. Тут можно увидеть информацию о вирусах, санкциях и прочих косяках. Также отображается не всё – например, неявный текстовой спам не показывают, а АГС отображают.

Поисковые запросы

Здесь два пункта:

  1. - Статистика,
  2. - Последние запросы.

В «Статистике» указываются запросы сайта за определённый период, а также запросы из топ-3-10-50. Для веб-мастера видны показы, клики и CTR запросов. Если CTR низкий, то стоит подумать об изменении сниппета или фавиконки, ибо что-то отпугивает пользователя в выдаче от активных действий в отношении сайта. Для справки – CTR топ-3 всегда выше, так как пользователи ещё не задолбались искать ответы в недрах выдачи. Если CTR меньше 2%, то беда, для топ-10 нормальный показатель от 3%.

Запросы можно отсортировать по группам, показателям и региону.

Страница «Последние запросы» то же самое, но в отношении последних действий пользователя в выдаче. Для веб-мастера последние запросы по показам, кликам и CTR + добавлена средняя позиция по запросу.

Тут также доступна сортировка, можно добавить фильтр или сгруппировать запросы.

Индексирование

Более массивный пункт «Индексирование», в нём находятся инструменты:

  1. - Статистика,
  2. - Структура сайта,
  3. - Проверка URL,
  4. - Внутренние и внешние ссылки.

На странице статистики указаны загруженные и исключённые web-документы, а также страницы в поиске. Отдельно настраивается показ по ошибкам кодов HTTP и запрещённым к индексированию роботом страницам.

В нижней части статистика последних обходов ботом, там виден url документа, статус HTTP и дата визита робота.

Полезный пункт «Страницы в поиске», ведь там можно увидеть не только банальщину, но и найти ценную информацию. Инструмент показывает количество добавленных и исключённых страниц, сортировка доступна по последним изменениям и всем страницам. Что тут полезного для ослабленной нервной системы веб-мастера? Инструмент показывает статус исключённых страниц, не HTTP статус, а причину исключения.

Две основные причины исключения из поиска – дубли и «недостаточно качественная страница». Если количество исключённых страниц (кроме специально удалённых через 404) велико, то ждите ухудшения ранжирования сайта. Пользуйтесь этим инструментом, смотрите причину удаления страниц и устраняйте её для собственного блага. Сделать это несложно – смотрите причину, переходите на страницу и придавайте её человекообразный вид, после чего отправляйте документ для переиндексации. Проверено – работает и помогает выходить из фильтров и не попадать под санкции.

Инструмент «Структура сайта» прост, но полезен. В нём видна структура сайта и указано количество загруженных и проиндексированных страниц в каждом разделе и категории. Стремитесь приблизить второй значение к первой цифре, для чего удаляйте и закрывайте в robots дубли и мусор.

Инструмент «Проверка URL» позволяет проверить любую страницу сайта на индексацию. Ничего оригинального. Добавили URL, проверили его, нажали «готово» и увидели в индексе или нет + статус HTTP

Более интересны инструменты «Внутренние и внешние ссылки», хотя и непонятно, зачем их засунули в раздел «Индексация».

C помощью инструмента «Внутренние ссылки» легко увидеть битые беки на внутренних страницах с указанием, где расположена ссылка и на какую страницу она ведёт. Вычищайте всё в ноль и будет счастье – никакие сторонние сервисы не нужны – найти все битые ссылки поможет Вебмастер.

  1. - Текущим и удалённым ссылкам,
  2. - Группировке по сайтам,
  3. - Неработающим бекам.

Вверху указано общее число внешних ссылок на сайт и доменов, с которых на вас ссылаются. Внизу детальная информация:

  1. - Адрес донора,
  2. - тИЦ ссылающегося сайта,
  3. - Страница акцептора,
  4. - Дата обновления информации.

Информация обновляется после ссылочных апдейтов.

Настройка индексирования

Здесь нашлось место инструментам:

  1. - Файлы Sitemap,
  2. - Переезд сайта,
  3. - Региональность,
  4. - Регистр имён сайта,
  5. - Быстрые ссылки,
  6. - Оригинальные тексты,
  7. - Товары и цены.

В инструменте Sitemap видны используемые карты сайта, тут же добавляют Sitemap в формате xml.

Во вкладке «Переезд сайта» добавляют для домена www и HTTPS, а в инструменте «Региональность» видны регионы сайта по ЯК, Яндекс Справочнику и Вебмастеру. В последнем пункте можно указать регион, но его надо подтвердить страницей, в которой есть информация о региональности.

Следующие три пункта понятны и школьнику, а инструмент «Товары и цены» пригодится интернет-магазину. Для этого соглашаются с условиями и подключают YML-файлы. Сюда лазать без программиста не рекомендую – чревато нервами и клизмами.

Инструменты

Здесь, как и следует из названия, представлены технические инструменты Вебмастера Яндекс. Для владельца веб-сайта или оптимизатора:

  1. - Анализ Sitemap и Robots,
  2. - Ответы сервера,
  3. - Удаление URL,
  4. - Проверка мобильной адаптивности страниц,
  5. - Переобход,
  6. - Микроразметка,
  7. - Валидатор XML.

Тут всё понятно интуитивно, особое внимание советую уделить инструменту «Проверка мобильных страниц», так как она работает несколько иначе, чем проверка адаптивности Google. Если продвигаетесь под Яндекс и имеете большой процент мобильной аудитории, то проблем с отображением страниц на планшетах и смартфонах быть не должно.

Последний пункт «Права доступа» позволяет делегировать кому-либо права доступа для просмотра статистики через свою панель Вебмастера. Укажите логин в Яндексе своего оптимизатора и делегируйте ему права.

По поводу выгрузки проиндексированных страниц, Яндекс наконец сделал то что и нужно было.

И вот теперь мы получили очень хороший инструмент с помощью которого можно получить очень интересную информацию.

Я сегодня расскажу об этой информации и вы сможете применить это для продвижения ваших сайтов.

Переходим в Яндекс.Вебмастер, в раздел «Индексирование»

И вот перед вам такая картинка(нажимайте, чтобы увеличить):

Эти данные исключённых страниц дают нам очень много информации.

Ну начнём с Редиректа:

Обычно редирект не таит в себе каких то проблем. Это техническая составляющая работы сайта.

Это обычный дубль страницы. Я бы не сказал, что это не настолько критично. Просто Яндекс из двух страниц посчитал более релевантной именно вторую страницу.

И Яндекс даже написал свой комментарий: Страница дублирует уже представленную в поиске страницу http://сайт/?p=390. Укажите роботу предпочтительный адрес с помощью 301 редиректа или атрибута rel=»canonical».

Это можно использовать следующим образом: Иногда вылетают страницы сайта которые вы продвигаете и наоборот встают в индекс их дубли. В данном случае нужно просто прописать канонический урл на обоих этих страницах на ту которую вы продвигаете.

После этого обе эти страницы добавляете в «Переобход робота».

Это та страница в мета-тегах которой прописан канонический урл на нужную страницу.

Тут как раз всё прекрасно и это обычный процесс работы сайта.

Тут также Яндекс пишет подсказку: Страница проиндексирована по каноническому адресу http://сайт/?p=1705, который был указан в атрибуте rel=»canonical» в исходном коде. Исправьте или удалите атрибут canonical, если он указан некорректно. Робот отследит изменения автоматически.

Обычно это происходит когда вы удалили какие то страницы, а редирект не поставили. Или 404 ошибку не поставили.

Какого то вреда для продвижения сайта это не даёт.

Ну и подходит к самому интересному. Недостаточно качественная страница.

Т.е. страницы нашего сайта вылетели из индекса Яндекса потом что они недостаточно качественные.

Безусловно это важнейший сигнал вашему сайту, что у вас глобальные проблемы с этими страницами.

Но не всё так однозначно как кажется.

Зачастую это страницы пагинации, поиска или другого мусора. И эти страницы правильно исключены из индекса.

Но иногда бывает, что из индекса исключают карточки товаров Интернет-магазина. Причём исключают тысячами. И это безусловного говорит о том, что с вашими страницами карточек товаров какие то серьёзные проблемы.

Я за неделю просмотрел многие Интернет-магазины и почти у всех есть подобное. Причём вылет страниц наблюдается по десятку тысяч.

Тут могут быть такие проблемы, что мы имеем несколько одинаковых страниц где товар просто разного цвета. И Яндекс считает, что это одна страница.

В данном случае тут или делать одну страницу с выбором цвета на одной странице или же дорабатывать другие страницы.

Но конечно стоит сказать, что это ГЛОБАЛЬНАЯ помощь для всех владельцев Интернет-магазинов. Вам дали ясно понять какие страницы у вас улетели и почему.

Тут нужно работать над качеством этих страниц. Может эти страницы дублируют другие, а может и нет.

Иногда на таких страницах элементарно отсутствует текст. А на некоторых отсутствует цена и Яндекс удаляет из индекса такие страницы.

А ещё я заметил, что если на странице карточки товара стоит статус «Товар отсутствует на складе», то такая страница тоже удаляется из индекса Яндекса.

В общем то работайте.

О других интересных фишках я расскажу в понедельник на своём семинаре —

Да и ещё. Многие знают такую траблу с Яндекс.Советником:

Т.е. вы заплатили за клик с Директа, а Яндекс.Советник уводит вашего оплаченного клиента на Яндекс.Маркет.

Это на самом деле вопиющий случай.

Как я понял Яндекс ничего менять не будет.

Ну хорошо, тогда поменяю я сам.

Этот Яндекс.Советник косается в первую очередь Интернет магазинов. А Интернет магазины стоят в первую очередь на движках: Битрикс, Джумла, Вебасист.

Так вот для этих движков я пишу блокиратор советника. Т.е. при установке на вашем движке этого плагина, на вашем сайте не будет работать Яндекс.Советник.

Всем кто придёт на мои семинар я позже скину эти плагины бесплатно.

Я выбрал наиболее популярные движки на которых стоят ИМ. Для сайтов услуг это не нужно. А вот для ИМ, самое то.

Если есть вопросы, то задавайте вопросы.

Сначала я испугался, потому что у меня удаляли по 50-100 таких страниц. Но, потом разобрался и успокоился. Оказывается, Яндекс внедрил в систему поиска новый алгоритм, который автоматически удаляет из поиска не релевантные страницы.

Но, опять же, здесь не стоит бояться. Яндекс удаляет такие страницы лишь временно. Пример, если вы написали статью, а в поиске нет на неё запросов, то есть никто не ищет информацию, которая представлена в статье, то данная статья будет временно удалена из поиска. Если в поиске появятся запросы соответствующие вашей статье, то она автоматически будет добавлена в поиск.

Вам ни в коем случае нельзя удалять такие страницы с вашего сайта!!! Если вы заметили в Яндекс Вебмастере страницы с пометкой «Недостаточно качественные», не пугайтесь и не бойтесь, всё нормально! Данные страницы так же важны как и все остальные, они могут появится в поиске в любой момент!!!

Как узнать есть ли у вас Недостаточно качественные страницы?

Зайдите на свою страницу в сервисе Яндекс Вебмастер. На главной странице, обратите внимание, в разделе «Обновления поиска» , у вас могут отображаться количество удалённых и добавленных страниц. Это как раз те страницы, которые автоматически удаляются и добавляются в поиск по специальному, новому алгоритму.

Далее, внизу данной страницы, у вас могут отображаться URL адреса помеченные синим цветом и под которыми отображается уведомление «Недостаточно качественная» . Нажмите на знак троеточие рядом с таким уведомлением.

Вам покажут пояснение «Страница исключена из поиска в результате работы специального алгоритма. Если в будущем алгоритм сочтёт страницу достаточно релевантной запросам пользователей, она появится в поиске автоматически» .

Вот и всё ! Как я уже сказал ранее, не стоит пугаться и бояться! Внимательно читайте пояснения! Продолжайте писать статьи и главное старайтесь помочь своему читателю, чтобы уходя с вашего сайта, он не раз ещё на него вернулся!

Как заблокировать автоматический трафик в поиске Яндекс!!!

Не так страшен чёрт, как его малюют
– русская пословица

Иногда довольно сложно понять, что от тебя хотят поисковые системы, что именно они понимают под значением «страницы низкого качества»? Порой смотришь на страницу и откровенно не понимаешь, почему же её невзлюбил Яндекс или Google. В этой статье мы рассмотрим страницы, которые ПС удаляют из поиска, считая недостаточно качественными.

Страницы низкого качества в понимании поисковых систем

В блоге Яндекса Елена Першина даёт следующее определение страницы низкого качества: «Под понятием некачественная страница мы понимаем страницы, вероятность показа которых в поиске практически нулевая. По понятным причинам мы не рассказываем способы определения таких страниц, но это чёткий сигнал, что если вы хотите видеть эту страницу в поиске, то со страницей нужно что-то делать».

Внесём немного корректив в слова представителя Яндекса: так как алгоритмы иногда дают сбой, причём в пользу сайтов, страница может занимать ТОП, а потом бесследно пропасть из выдачи.

То есть, страницы низкого качества – это документы, которые не имеют ценности, не несут новую и полезную информацию, не дают релевантный ответ на вопрос пользователя, с точки зрения поисковых систем.

Как обнаружить удалённые низкокачественные страницы

Яндекс.Вебмастер

Проще всего найти исключённые страницы, воспользовавшись инструментом Яндекс.Вебмастер .

Переходим в раздел «Индексирование» – «Страницы в поиске».

Переходим на вкладку «Исключённые страницы» – выбираем статус «Недостаточно качественная».

Можно, не переходя с «Последних изменений», выбрать статус «Удалено: Недостаточно качественная».

Google Search Console

В отличие от Яндекса, Google не предоставляет информацию о том, какие страницы были удалены из поиска из-за качества. Даже в новой бета-версии Google Search Console, к сожалению, эта функция отсутствует.

Единственным сигналом от Google сейчас можно считать «Отправленный URL возвращает ложную ошибку 404». В таких случаях нужно проанализировать страницы, убедиться, что они существуют, а не удалены (и просто ответ сервера некорректен). Подробнее о мягкой 404 можно прочесть .

  1. Переходим в новую версию Google Search Console.
  2. В боковом меню находим «Статус» – «Индексирование отправленных URL».

  1. Выбираем строку «Отправленный URL возвращает ложную ошибку 404».

  1. Анализируем исключённые страницы.

Причины удаления страниц

Проанализировав большое количество различных сайтов и выявив закономерность у страниц, удалённых по причине низкого качества, мы пришли к следующим выводам:
1) Алгоритм Яндекса недоскональный: вместо того, чтобы отнести страницу в удалённые, например, по причине дублирования, он исключает её как низкокачественную.
2) Страницы низкого качества чаще встречаются на коммерческих сайтах – интернет-магазинах и агрегаторах, чем на информационных (за счёт автоматической генерации).

Типология удалённых страниц низкого качества

1. «Жертвы» некорректной работы алгоритма

1.1. Дубли страниц

К страницам низкого качества довольно часто попадают дубликаты страниц.

Такие страницы довольно легко определить, если кроме URL ничего не уникализированно.

1.2. Страницы сортировки, пагинации и GET-параметры

Чаще Яндекс исключает такие страницы, как дубли, но, как показано на примере ниже, они могут быть удалены и по другой причине.

Страницы сортировки:

Страницы пагинации:

GET-параметры:
В этом примере GET-параметры определяют регион пользователя.

1.3. Неглавное зеркало

Сайт переехал на защищённый протокол. Долгое время робот Яндекса не знал, что делать со старой страницей на HTTP и, то удалял её как некачественную, то добавлял обратно в поиск. По итогу, спустя несколько месяцев, он удалил страницу как неглавное зеркало.

1.4. Страницы, закрытые в файле robots.txt

Директивы в файле не являются прямыми указаниями для поисковых роботов, а служат больше рекомендациями. Исходя из практики, бот Яндекса больше придерживается установок, прописанных в файле, чем Google. Но не в этот раз. Как и в прошлом примере, «помучив» несколько раз страницу, он всё-таки «снизошёл» и удалил её из поиска как запрещённую в файле robots.txt.

2. Действительные недостаточно качественные страницы

В эту группу «я плох, бесполезен и никому не нужен» попадают страницы низкого качества, которые действительно являются таковыми.

2.1. Шаблонная генерация страниц
Часто шаблонное заполнение и генерация страниц влечёт за собой ошибки внутренней оптимизации: неуникальные Title, отсутствует Description, с h2 что-то не так и т. д.

Тут важно сказать, что пользователь без проблем поймёт разницу в страницах и для него они могут быть даже полезными, но он о них не узнает, так как роботы стоят на страже порядка не допустят попадания данных страниц в поиск.

Увидев Title на странице, долго не пришлось гадать, что с ней не так.

2.2. Плохое заполнение карточек товара

Создать карточку товара просто, а вот наполнить её качественным контентом, описанием товара, изображениями – не каждому под силу.

2.3. Листинг без листинга

  • вряд ли такая страница попадёт в ТОП;
  • вероятнее всего, показатель отказов на такой странице будет максимальный.

Об этом скажет и сам Яндекс, исключив страницу из поиска как недостаточно качественную.

2.4. Страницы с малым количеством контента

Несмотря на слова поддержки Яндекса, что важно не количество контента, а качество, его отсутствие – не очень хорошая идея.
Например, на этой странице, кроме шаблонной части и двух изображений, ничего нет.

2.5. Страницы, не предназначенные для поиска

В эту группу относятся страницы robots.txt, Sitemap, RSS-ленты.
Чуть ли не в каждом проекте можно встретить файл robots.txt , удалённый из поиска как недостаточно качественная страница.

Не стоит паниковать, робот о нём знает и помнит. Страница просто не будет отображаться в поисковой выдаче – ну а зачем она там нужна?
XML- и HTML-карты сайта также исключаются. Особенно если у вас многостраничная карта сайта – какая польза от неё в поиске?

Яндекс считает, что RSS-лентам в поиске тоже нет места.

2.6. Страницы с некорректным ответом сервера

В эту группу мы отнесём страницы, которые должны выдавать 404 ответ сервера, а вместо этого отвечают 200 ОК.

Например, это могут быть несуществующие страницы пагинации. Яндекс исключил восьмую страницу пагинации, при имеющихся семи.

Также это могут быть пустые страницы. В таком случае нужно анализировать и принимать решение: настраивать 404 ответ сервера или 301 редирект.

Google может удалить такие страницы, как SOFT 404, но об этом чуть позже.

2.7. «Нужно больше страниц»

Этим часто грешат агрегаторы и интернет-магазины, считая, что чем больше страниц, тем больше видимость и трафик. Страницы создают, не беря во внимание их качество и надобность.

Например, низкокачественными являются страницы, созданные под каждый вопрос из FAQ.

Часто бесполезные страницы создаются с помощью применения всех фильтров. Я соглашусь, что нужно думать о посетителях и удобстве пользования сайтом. Если у интернет-магазина большой ассортимент, то структура сайта должна состоять из множества категорий и подкатегорий, а также иметь различные фильтры. Но, во-первых, нужно ли создавать страницу для «Фарфоровых кукол 20 см с голубыми глазами в розовом платье с корзинкой» и, во-вторых, нужны ли такие страницы в поиске?

2.8. Технические ошибки

Яндекс не жалует страницы с pop-upом, который перекрывает текст без возможности его закрыть, или случайно созданные страницы под изображения.

Как должно быть и как реализовано на сайте:

Случайно созданная страница:

2.9. SOFT 404

Как мы уже говорили, Google прикрепляет страницам именно такой ярлык. Это могут быть пустые страницы или же страницы с очень малым количеством контента.

Влияние низкокачественных страниц на ранжирование

Сколько бы страниц ни было исключено из поиска по этой причине, на ранжировании остальных страниц сайта это никак не отразится.

Этот алгоритм удаления страниц анализирует каждую страницу отдельно, пытаясь ответить на вопрос: «Если страница будет в поиске, даст ли она релевантный ответ на вопрос пользователя?».

Как говорит Яндекс, страница может быть исключена из поиска даже в том случае, если отсутствуют запросы. Робот может вернуть её, если количество запросов, которым будет релевантна страница, увеличится.

Что же делать со страницами низкого качества

Принимать меры можно только после того, как вы определили причину исключения страницы из поиска. Без выяснения обстоятельств не стоит паниковать, сразу удалять страницы, настраивать 301 редирект.

Алгоритм действий после определения причины удаления страницы:

Дубли страниц: 301 редирект или rel=“canonical”.

Страницы сортировки, пагинации и GET-параметры: настраиваем rel=“canonical”/уникализируем страницы пагинации.

Неглавное зеркало : проверяем 301 редирект, отправляем на переиндексацию.

Страницы, закрытые в файле robots.txt: если страница не нужна в поиске, настраиваем метатег noindex.

Шаблонная генерация страниц: если страница нужна в поиске – уникализируем её, работаем над качеством.

Плохое заполнение карточек товара: добавляем описание товара, изображения и т. д.

Листинг без листинга:

  • проверяем, приносили ли такие страницы трафик;
  • определяем, нужны ли они пользователям;
  • временно ли на них отсутствует товар или его не было и не будет.

Принимаем действия исходя из результата. Например, если страница приносила трафик и на ней временно отсутствует товар, можно вывести ленту с похожими товарами или со смежных категорий.

Страницы с малым количеством контента: определяем необходимость таких страниц в поиске, если они нужны – наполняем качественным контентом; не нужны – настраиваем метатег noindex.

Страницы, не предназначенные для поиска: тут всё просто – ничего не делаем, просто живём с этим.

Страницы с некорректным ответом сервера и SOFT 404: как бы ни логично это прозвучит, настраиваем корректный ответ сервера.

«Нужно больше страниц»: проверяем, приносили ли такие страницы трафик, определяем, нужны ли они пользователям в поиске, частотны ли запросы – принимаем действия исходя из результата.

Страницы с техническими ошибками: исправляем недочёты/если страницы не нужны – закрываем noindex/настраиваем 404 ответ сервера.

Заключение

К сожалению, выдача поисковых систем переполнена мусором, некачественным контентом и бессмысленными сгенерированными страницами. Яндекс и Google активно борются с такими страницами, исключая их из поиска. Мы за качественный контент. Поэтому, если у вас возникли трудности, вы наблюдаете, как поисковики удаляют страницы, ссылаясь на недостаточное качество, мы можем провести вашего сайта и написать инструкции по решению проблемы.

Думаю, не для кого не секрет что некоторые страницы сайта рано или поздно пропадают из поисковой системы, причин тому может быть множество - не оригинальный контент, во время обода страницы роботом она была недоступна, всевозможные нарушения со стороны веб-мастера и так далее.

Однако существует и другая достаточно распространённая причина, о которой нас уведомляет Вебмастер Яндекса - недостаточно качественная страница . Что значит недостаточно качественная страница, ? Давайте попробуем в этом разобраться.

Проблема исключения страниц сайта из индекса мне известна достаточно давно, но лично для меня это было не критично по одной простой причине - эти страницы были не слишком популярны. А на данном сайте подобных проблем вообще не замечалось, до недавнего времени:

На скриншоте видно, что робот Яндекса исключает страницу из поиска с пометкой что она недостаточно качественная, а при следующем обновлении поисковой базы страница снова попадает в индекс. Яндекс объясняет это тем что исключение происходит в результате работы специального алгоритма, который по неким причинам посчитал данную страницу не релевантной запросам.

Такой ответ меня если честно не устроил и мне захотелось узнать конкретную причину исключения страницы из индекса . Ведь вроде бы все хорошо - контент уникальный, в индексе страница достаточно давно и никаких проблем не было, кроме того изменений на данной странице никаких не производилось и вдруг страница стала некачественной.

И тут я решил написать в поддержку Яндекса чтобы получить конкретные ответы на все вышеперечисленные вопросы. Надо отдать должное техподдержке Яндекса, ответили действительно быстро. Скриншот ответа на мое обращение Вы можете увидеть ниже, почему именно скриншот поясню позднее :

Ответ в принципе понятен, специальный алгоритм оценивает страницу и строит прогноз ее показа в поисковой выдаче. Если прогноз неутешительный и алгоритм решил, что данную страницу пользователи попросту не смогут найти, то она исключается до лучших времен. Кроме того, техподдержка Яндекса уверяет что это никак не скажется на посещаемости сайта. Вроде бы все понятно и в то же время все стало еще запутанней.

Но каково было мое удивление, когда я проверил данный текст на уникальность. Как вы уже наверно догадались уникальность была прямо скажем на нуле, нашлось невероятное количество сайтов где данный ответ уже был опубликован и как минимуму все эти сайты помогают улучшить секретно ингредиентный алгоритм Яндекса. Собственно, именно поэтому я и сделал скриншот письма, дабы не плодить его копии.

Открыв парочку сайтов на которых публиковали письмо с ответом почему Яндекс удаляет страницы из поиска , я был удивлен еще больше увидев дату публикации от 2014 года. Получается Яндекс дает стандартные отписки уже как минимум 4 года. И никаких обещанных улучшений замечено не было.

Почему Яндекс удаляет страницы из поиска

Проанализировав все те страницы, которые время от времени Яндекс считает недостаточно качественными и исключает из поиска я пришел к вполне логичному выводу - все дело в поведенческих факторах. И лично мое видение примерно такое:

  • Если пользователи находят страницу вашего сайта в поиске, но она не отвечает их запросу, они соответственно ее тут же закрывают, вот вам первый жирный минус для текущей страницы. Собственно, эта ситуация как раз таки говорит о нерелевантности страницы.
  • Второй минус, который может получить та или иная страница возникает из-за того, что пришедшие на сайт пользователи упорно не хотят переходить на определенные страницы, они видят на них ссылки, но не переходят.

Конечно все это лично мои догадки, точной работы алгоритма думаю не знает никто кроме его разработчиков и сотрудников самого Яндекса (и то не всех). Но все эти догадки лично мне кажутся вполне логичными.

Ведь просто так исключить из поиска нерелевантную страницу я считаю излишним, максимум что с ней может произойти это потеря позиций, а вот если при всем при этом её перестанут посещать пользователи то тут уже есть повод задуматься о ее временном исключении. Но как только страница на страницу будут заходить посетители она вновь появляется в поиске, о чем свидетельствует первый скриншот.

Как решить проблему некачественных страниц? Если честно мое видение примерно такое - анализ запросов, удаление лишних ключей, оптимизация текста, обратные ссылки на текущие страницы.

Справка по кодам статуса HTTP - Webmaster. Справка

400 Неверный запрос

Сервер не может понять запрос из-за неправильного синтаксиса.

401 Несанкционированный запрос

Для доступа к документу требуется пароль или пользователь должен быть зарегистрирован.

402 Требуется оплата за запрос

Внутренняя ошибка или ошибка конфигурации на сервере.

403 Доступ к ресурсу запрещен

Доступ к документу запрещен. Чтобы страница была проиндексирована, разрешите к ней доступ.

404 Ресурс не найден

Документ не существует. Если вы удалили раздел сайта, вы можете использовать robots.txt, чтобы предотвратить доступ робота к нему. Если такой страницы на сайте никогда не было, игнорируйте эту ошибку, возможно, кто-то разместил неверную ссылку на ваш сайт.

405 Недействительный метод

Метод, определенный в запросе (Request-Line), не может быть применен для указанного ресурса, поэтому робот не может его проиндексировать.

406 Неприемлемый запрос

Требуемый документ существует, но формат неверен (язык или кодировка не поддерживаются роботом).

407 Требуется идентификация прокси или брандмауэра

Требуется регистрация на прокси-сервере.

408 Истекло время ожидания запроса

Сайту не удалось выполнить запрос в течение указанного времени, и робот отключился.

409 Конфликт

Запрос конфликтует с другим запросом или с конфигурацией сервера.

410 Ресурс недоступен

Запрошенный ресурс был окончательно удален с сайта.

411 Требуется длина

Сервер отказывается принять запрос без определенного заголовка Content-Length. Исправьте заголовки на своем сервере. Робот сможет проиндексировать страницу в следующий раз.

412 Ошибка обработки предварительного условия

Сервер обнаружил несоответствие в одном или нескольких полях заголовка запроса (сбой или ошибка в обработке предварительного условия).

413 Тело запроса превышает допустимый размер

Сервер отказывается обрабатывать запрос, потому что он больше, чем сервер может обработать.

414 URI запроса слишком длинный.

Сервер отказывается обрабатывать запрос, потому что URI (Request-URI), запрошенный роботом, длиннее, чем сервер может отобразить.

415 Неподдерживаемый тип MIME

Сервер отказывается обрабатывать запрос, потому что тело запроса имеет неподдерживаемый формат.

416 Диапазон не может быть обработан

Сервер отказывается обрабатывать запрос, потому что поле Range в заголовке запроса содержит недопустимый диапазон байтов.

417 Ошибка при ожидании

Сервер отказывается обрабатывать запрос, поскольку значение поля Expect в заголовке запроса является неожиданным.

422 Необработанный элемент

Сервер не может обработать один (или несколько) элементов запроса.

423 Заблокировано

Сервер отказывается обрабатывать запрос, потому что один из требуемых ресурсов заблокирован.

424 Неверная зависимость

Сервер отказывается обрабатывать запрос, так как один из зависимых ресурсов заблокирован.

426 Требуется обновление

Сервер запросил обновление соединения до SSL, но клиент не поддерживает SSL.

429 Слишком много запросов отправлено

Слишком много запросов отправлено за короткое время.Это может указывать, например, на попытку DDoS-атаки. Ответ может сопровождаться заголовком Retry-After, который указывает, через какое время запрос может быть повторен. Яндекс не учитывает этот заголовок.

Неустранимые ошибки - веб-мастер. Справка

В этом разделе собраны решения типичных проблем категории «Неустранимые», которые обнаруживаются Яндекс.Вебмастером при диагностике сайта. Проблемы в этой категории приводят к исключению отдельных страниц или всего сайта из результатов поиска.
  1. Главная страница возвращает ошибку
  2. Не удалось подключиться к серверу из-за ошибки DNS
  3. Индексирование сайта запрещено в файле robots.txt
  4. Обнаружены проблемы или нарушения безопасности
Если вы получили это сообщение, выполните следующие действия: :
  1. Проверить наличие элемента noindex в HTML-коде страницы. Если найдете, удалите.
  2. Зайдите в Яндекс.Вебмастер и посмотрите, какой код ответа страница вернула на запросы робота Яндекса в столбце Сейчас.Если код ответа отличается от 200 OK, проверьте, актуальна ли проблема, с помощью проверки ответа сервера.

  3. При проверке ответа сервера обратите внимание на раздел «Содержимое страницы». Если отображается сообщение «Отсутствует содержимое страницы», проверьте настройки сервера:

    • HTTP-заголовок. Например, если он содержит «Content-length: 0», робот не сможет проиндексировать страницу.

    • Размер содержимого страницы. Он должен быть больше 0 и соответствовать заголовку HTTP.

После внесения изменений подождите, пока робот снова просканирует сайт. Вы также можете отправить страницу на переиндексацию, и робот повторно ее просканирует в течение двух недель.

Если в результате проверки страница отвечает кодом 200 OK и проблем с доступностью контента нет, то предупреждение в Яндекс.Вебмастере исчезнет через несколько дней.

Один раз в день робот-индексатор обращается к DNS-серверам, чтобы определить IP-адрес сервера, на котором расположен сайт.Если на сайте неправильно настроены записи DNS, робот не получает IP-адрес сайта. В результате сайт не может быть проиндексирован и добавлен в результаты поиска.

Проверьте правильность ответа сервера роботу индексирования. Если сайт по-прежнему недоступен, обратитесь к своему хостинг-провайдеру, чтобы исправить записи DNS вашего домена. При появлении доступа к сайту информация в Яндекс.Вебмастере обновится в течение нескольких дней.

Проблема с доступом к сайту может быть кратковременной.Если при повторной проверке ответа сервера вы не обнаружите ошибок, дождитесь обновления информации в Яндекс.Вебмастере. Это должно произойти в течение нескольких дней.

Если доменное имя не было продлено вовремя, сайт становится недоступным для индексации. Продлить регистрацию домена. После этого сообщение в Яндекс.Вебмастере исчезнет через несколько дней.

Робот-индексатор запрашивает файл robots.txt несколько раз в день и обновляет информацию о нем в своей базе данных.Если робот получает в ответ на запрос запрещающую директиву, в Яндекс.Вебмастере появляется предупреждение.

Проверьте содержимое файла robots.txt. Если запрещающая директива все еще присутствует, удалите ее из файла. Если вы не можете сделать это самостоятельно, обратитесь к своему хостинг-провайдеру или регистратору доменного имени. После удаления директивы данные в Яндекс.Вебмастере обновляются в течение нескольких дней.

Если доменное имя не было обновлено вовремя, файл robots.txt будет содержать запрещающие директивы для робота.Продлить регистрацию домена. После этого сообщение в Яндекс.Вебмастере исчезнет через несколько дней.

Если обнаружено нарушение правил поиска

См. Описание нарушения и рекомендации по его устранению.

Список возможных нарушений
При обнаружении угрозы безопасности

Перейдите и выполните следующие действия:

Когда вы решите проблему:

  1. Убедитесь, что проблема устранена.Если служба повторно обнаружит угрозу во время проверки, вы не сможете сообщить об исправлениях в течение месяца. После этого этот срок увеличится максимум до трех месяцев.

  2. В интерфейсе Яндекс.Вебмастера зайдите и нажмите Все исправлено. Это даст дополнительный сигнал алгоритмам Яндекса о необходимости перепроверки сайта. Если проверка прошла успешно, ограничения будут сняты со временем и информация о нарушениях больше не будет отображаться.

Коды ошибок и статусы. Руководство разработчика

FATAL
DISALLOWED_IN_ROBOTS Сайт запрещен для индексации в файле robots.txt.
DNS_ERROR Не удалось подключиться к серверу из-за ошибки DNS.
MAIN_PAGE_ERROR Домашняя страница сайта возвращает ошибку.
УГРОЗЫ Обнаружены угрозы или проблемы безопасности.
CRITICAL
SLOW_AVG_RESPONSE_TIME Медленный ответ сервера. Для получения дополнительной информации см. Этот раздел справки.
SSL_CERTIFICATE_ERROR Неверные настройки сертификата SSL. Для получения дополнительной информации см. Этот раздел справки.
ВОЗМОЖНАЯ ПРОБЛЕМА
BAD_ADVERTISEMENT Форматы объявлений не соответствуют рекомендациям IAB Russia.
DOCUMENTS_MISSING_DESCRIPTION Многие страницы не имеют метатега Description.
DOCUMENTS_MISSING_TITLE Элемент заголовка отсутствует на многих страницах.
ERROR_IN_ROBOTS_TXT Ошибки в файле robots.txt.
ERRORS_IN_SITEMAPS В файле Sitemap обнаружены ошибки.
MAIN_MIRROR_IS_NOT_HTTPS Главное зеркало сайта не использует протокол HTTPS. Мы рекомендуем использовать протокол HTTPS.Дополнительные сведения и инструкции по переключению протоколов см. В справке.
MAIN_PAGE_REDIRECTS Главная страница перенаправляет на другой сайт.
NO_METRIKA_COUNTER_CRAWL_ENABLED Сканирование сайта по тегам Яндекс.Метрики не включено. Подробнее об индексировании сайта с помощью тега Яндекс.Метрики см. В Справке.
NO_ROBOTS_TXT Файл robots.txt не найден.
NO_SITEMAPS Файлы Sitemap, используемые роботом, отсутствуют.
NO_SITEMAP_MODIFICATIONS Файлы Sitemap давно не обновлялись.
NON_WORKING_VIDEO Роботу не удалось проиндексировать видео на сайте.
SOFT_404 Отображение несуществующих файлов и страниц настроено неправильно.
TOO_MANY_DOMAINS_ON_SEARCH Поддомены сайта найдены в результатах поиска.
TOO_MANY_PAGE_DUPLICATES Слишком много повторяющихся страниц.
РЕКОМЕНДАЦИЯ
ПРОБЛЕМА FAVICON_PROBLEM Файл значка не найден. Роботу не удалось загрузить файл изображения для отображения на вкладке браузера и рядом с названием сайта в результатах поиска. Дополнительные сведения об этой ошибке и способах ее устранения см. В разделе справки.
INCOMPLETE_SPRAV_COMPANY_PROFILE Яндекс.Директория содержит неполную информацию об организации.
NO_CHATS Чаты в поиске отсутствуют.
NO_METRIKA_COUNTER Ошибка тега Яндекс.Метрики
NO_REGIONS Не указан регион сайта.
NOT_IN_SPRAV Сайт не зарегистрирован в Яндекс.Директории.
NOT_MOBILE_FRIENDLY Сайт не оптимизирован для мобильных устройств.

Что такое проверка ответа сервера в Яндексе для веб-мастеров?

Проверка ответа сервера Яндекса

Яндекс предлагает функцию под названием «Проверка ответа сервера», аналогичную функции выборки от Google, чтобы помочь веб-мастерам выявлять ошибки на страницах, которые не индексируются поисковыми роботами YandexBot.Чтобы использовать эту функцию, вы должны добавить и подтвердить свой сайт в Яндексе для веб-мастеров.

Как получить доступ к этой опции?

Ссылка на инструмент доступна в нескольких местах:

  • После входа в свою учетную запись Яндекс. Инструменты для веб-мастеров вы увидите список параметров, доступных в правой части раздела «Мои сайты», включая ссылку «Проверка ответа сервера».
  • Параметр «Коды HTTP» доступен в разделе «Индексирование».
  • Параметр «Исключенная страница» доступен в разделе «Индексирование».

Проверка ответа сервера в разделе "Мои сайты"

Проверка ответа сервера по кодам HTTP

Как использовать этот инструмент проверки ответа сервера

Назначение этого инструмента - увидеть ответ, полученный ЯндексБотом, чтобы веб-мастера могли использовать результаты для исправления ошибки. Щелкните ссылку «Проверка ответа сервера», и вы увидите страницу, как показано ниже:

Проверка ответа сервера в Яндексе для веб-мастеров

  • Введите URL-адрес вашей веб-страницы, для которой вы хотите устранить неполадки.URL-адреса с ошибками можно увидеть в разделе «Исключенные страницы». Не забудьте ввести правильный URL-адрес с WWW или без него, иначе вы получите совершенно другой ответ.
  • Выберите тип робота-индексатора Яндекса, для доступа в Интернет выберите из списка вариант «Главный робот-индексатор Яндекса».
  • Щелкните по кнопке «Проверить».
  • Вы увидите результаты вместе с кодом ответа. Код ответа поможет вам проанализировать ошибку и соответствующим образом устранить неполадки.
  • Щелкните ссылку «содержимое страницы», чтобы увидеть содержимое вашей страницы в том виде, в каком его видит ЯндексБот. В случае сайтов, зараженных вредоносным ПО, контент, который видят поисковые системы, будет отличаться от контента, который вы видите в браузере. Эта опция содержимого страницы поможет вам проверить, какой именно контент просматривает ЯндексБот, и принять меры по исправлению.

Как добавить свой сайт на WordPress в Инструменты Яндекса для веб-мастеров

Хотите подключить свой сайт к инструментам Яндекса для веб-мастеров?

Инструменты

для веб-мастеров, такие как поисковая консоль Google, Bing, Яндекс и т. Д., Помогают оптимизировать ваш сайт, отслеживать трафик, управлять роботами.txt, проверьте ошибки сайта и многое другое.

В этой статье мы расскажем, как добавить свой сайт на WordPress в инструменты Яндекс для веб-мастеров, чтобы отслеживать трафик из поисковых систем.

Что такое Яндекс?

Яндекс - популярная поисковая система, такая как Google и Bing, базирующаяся в России. Вы можете оптимизировать свой сайт для SEO в Яндексе, чтобы привлечь больше посетителей из России.

Яндекс имеет ряд инструментов, таких как универсальная поисковая система, поиск изображений, электронная почта, видео, карты и многое другое.В нем также есть инструменты для веб-мастеров, которые помогут вам ранжировать свой сайт, отслеживать статистику трафика, поисковые запросы, ключевые слова и многое другое.

Вы можете связать свой сайт WordPress с Яндексом с помощью плагина All in One SEO. Он работает аналогично консоли поиска Google и инструментам Bing для веб-мастеров.

Добавление сайта WordPress в Яндекс Инструменты для веб-мастеров

Перед тем, как мы начнем, вам понадобится учетная запись Яндекс. Инструменты для веб-мастеров, чтобы подключить ваш сайт. Создав учетную запись, вы можете войти на свой сайт WordPress, чтобы настроить инструменты Яндекс для веб-мастеров с помощью плагина All in One SEO.

Подробнее см. В нашем руководстве по настройке All in One SEO для WordPress.

Давайте посмотрим, как добавить свой сайт в инструменты Яндекс для веб-мастеров и сразу приступить к его оптимизации.

Шаг 1. Создайте аккаунт на Яндексе

Первое, что вам нужно сделать, это войти в свой аккаунт Яндекс. Если у вас нет аккаунта на Яндексе, вы можете создать его по этой ссылке.

После создания аккаунта вы попадете на страницу Яндекса для веб-мастеров.

На этой странице вам нужно нажать кнопку « + » в верхней панели, чтобы добавить свой сайт в Яндекс.

В поле адреса сайта вам нужно добавить полное доменное имя вашего сайта и нажать кнопку Добавить .

Примечание: Если ваш основной домен использует «www» в URL-адресе, вам необходимо добавить его перед доменом (например, www.wpbeginner.com).

На следующей странице вам будет предложено подтвердить право собственности на сайт, добавив мета-контент на свой сайт WordPress.

Скопируйте код содержимого с этой страницы, потому что он понадобится вам на шаге 2.

Шаг 2: Войдите в админку WordPress и добавьте код

Теперь вам нужно войти в админку WordPress и добавить проверочный код в настройки All in One SEO для веб-мастеров.

Бесплатная версия плагина All in One SEO также имеет функцию проверки веб-мастером. Их профессиональная версия поставляется с более мощными функциями SEO.

Просто перейдите на страницу All in One SEO »Общие настройки и щелкните пункт меню« Инструменты для веб-мастеров ».

Далее выберите блок «Яндекс. Инструменты для веб-мастеров».

Затем вам нужно вставить код в поле кода подтверждения Яндекса и нажать кнопку «Сохранить изменения».

После добавления кода на свой сайт WordPress вам нужно вернуться на страницу инструментов Яндекс для веб-мастеров, с которой вы скопировали код, и нажать кнопку Проверить , чтобы подтвердить право собственности.

После успешной проверки будет отображаться ваше имя пользователя, имеющего права на управление вашим сайтом в инструментах Яндекс для веб-мастеров.

Вы также можете делегировать права другим пользователям, добавив их имя пользователя и нажав кнопку Делегировать права .

Теперь, когда ваш сайт проверен и добавлен в инструменты Яндекса для веб-мастеров, вы можете просматривать статистику трафика, ошибки поиска, поисковые запросы, внутренние и внешние ссылки, информацию о сайте, анализ robots.txt, страницы аудита для мобильных устройств и многое другое на панели инструментов Яндекса. .

Вы можете использовать меню в левой части экрана, чтобы найти любую информацию, которая может вам понадобиться.

В инструментах

Яндекс для веб-мастеров есть параметры оптимизации сайта, которые отфильтрованы от устранения неполадок до важных настроек, таких как robots.txt и .htaccess. Вы можете дополнительно оптимизировать свой robots.txt для SEO отдельно и регулярно выполнять задачи по обслуживанию WordPress, чтобы поддерживать свой сайт в актуальном состоянии.

Мы надеемся, что эта статья помогла вам узнать, как добавить свой сайт WordPress в инструменты Яндекс для веб-мастеров. Вы также можете увидеть наш список лучших плагинов и инструментов WordPress для SEO, которые вам следует использовать, и наши советы по оптимизации ваших сообщений в блоге для SEO, чтобы ранжировать ваш сайт в поисковых системах.

Если вам понравилась эта статья, то, пожалуйста, подпишитесь на наш канал YouTube для видеоуроков по WordPress. Вы также можете найти нас в Twitter и Facebook.

Отправить веб-сайт на Яндекс - Как использовать Яндекс Инструменты для веб-мастеров

Из этого туториала Вы узнаете, как отправить свой веб-сайт в Инструменты для веб-мастеров Яндекса вместе с файлом карты сайта. Сначала вам нужно будет создать файл карты сайта. Если вы еще этого не сделали, прочтите мою статью «Как создать файл Sitemap для вашего сайта WordPress или Как создать файл Sitemap для вашего HTML-сайта».Яндекс - российская поисковая система. Они запустили свою английскую версию еще в 2011 году. Если вы полагаетесь на глобальный трафик, а не просто на локальный, я рекомендую отправить им свой сайт.

Как добавить сайт в Яндекс Инструменты для веб-мастеров

Шаг 1

Сначала мы перейдем на сайт Яндекс. (http://webmaster.yandex.com/) Если у вас нет учетной записи на Яндексе, вы всегда можете зарегистрироваться и получить ее бесплатно.

Шаг 2

После регистрации перейдите на страницу сайта http: // webmaster.yandex.com/sites/ и нажмите кнопку «Добавить сайт».

Шаг 3

Затем введите свой домен и нажмите кнопку «Добавить».

Шаг 4

Теперь он попросит вас подтвердить свой веб-сайт. Есть несколько вариантов на выбор. Я рекомендую вариант с метатегом. Идите и скопируйте метатег.

Шаг 5

Если вы используете WordPress, я настоятельно рекомендую установить бесплатный плагин Yoast SEO.После установки перейдите в раздел «SEO → Общие» и перейдите на вкладку «Инструменты для веб-мастеров». Вставьте метатег Яндекса в раздел «Яндекс» и нажмите «Сохранить настройки».

Добавление метатега Яндекса в WordPress

Вы также можете отредактировать файл header.php в WordPress, перейдя в раздел «Внешний вид> Редактор» и щелкнув файл header.php. Затем вставьте метатег Яндекса после тега заголовка. Затем нажмите «Сохранить настройки». (Я настоятельно рекомендую сделать резервную копию файла header.php перед его редактированием)

Если вы не используете WordPress, просто поместите метатег в раздел заголовка вашего веб-сайта.

Шаг 6

Вернувшись в Яндекс, нажмите кнопку «Проверить».

Шаг 7

Теперь мы добавим ваш файл карты сайта. Щелкните «Параметры индексирования», а затем «Файлы Sitemap». Введите местоположение файла карты сайта и нажмите кнопку «Добавить». Ваша карта сайта, скорее всего, находится в корне вашего URL-адреса, например http://brianleejackson.com/sitemap_index.xml.

Шаг 8

Так же, как Google Webmaster Tools и Bing, он покажет вам статус файла карты сайта.Я всегда рекомендую подождать день или около того, прежде чем проверить, правильно ли была обработана ваша карта сайта на Яндексе. Он покажет вам, сколько страниц / сообщений было отправлено, а затем сколько фактически проиндексировано. Яндекс теперь будет автоматически сканировать ваш файл карты сайта на регулярной основе.

Также не забудьте проверить мои сообщения об отправке файла карты сайта в Google и Bing.

Как всегда, не стесняйтесь оставлять свои комментарии ниже!

Инструменты Яндекса для веб-мастеров - Преимущества и поддержка - SEOrigin.нетто

Yandex Webmaster Tools - это официальный бесплатный веб-сервис поисковой системы Яндекса, который позволяет владельцам сайтов отслеживать их эффективность в поиске Яндекса. Кроме того, в Яндексе для веб-мастеров есть множество утилит, которые могут улучшить видимость сайта в поиске. Первая версия Yandex Webmaster Tools была выпущена в 2007 году. Несмотря на схожесть многих функций Yandex Webmaster Tools и Google Search Console, это два инструмента, которые были разработаны независимо друг от друга.

Как получить доступ к инструментам Яндекс для веб-мастеров?

Для доступа к Яндекс. Инструментам для веб-мастеров необходимо зарегистрировать аккаунт. Все сервисы Яндекса, такие как Яндекс Инструменты для веб-мастеров, Почта, Карты, Яндекс Метрика, привязаны к одной учетной записи, как и Google. После регистрации учетной записи перейдите на https://webmaster.yandex.com/ и добавьте свой первый веб-сайт.

Как добавить сайт в Яндекс для веб-мастеров?

Процесс добавления сайта в Яндекс Инструменты для веб-мастеров состоит из двух простых шагов и не отличается от процесса добавления сайта в Google Search Console.

Добавить сайт в Яндекс Инструменты для веб-мастеров:

На верхней панели нажмите кнопку со значком плюса, а в форме ниже укажите URL вашего сайта:

После добавления сайта вам нужно будет его подтвердить.

Проверить сайт в Яндексе для веб-мастеров:

Есть четыре способа подтвердить свой веб-сайт:

  1. Подтверждение путем добавления метатега
  2. Проверка путем загрузки HTML-файла в корневую папку сайта
  3. Проверка путем добавления записи DNS
  4. Подтверждение с помощью WHOIS - это худший вариант из-за популярности Whois Privacy Protection.
Верификация в Яндексе для веб-мастеров с помощью метатега:

Скопируйте метатег и добавьте его в раздел вашего сайта.

Если ваш сайт работает на WordPress, то в плагине Yoast SEO есть встроенное поле для проверки сайта в Яндексе для веб-мастеров. Откройте вкладку Yoast → Общие → Инструменты для веб-мастеров и вставьте содержимое проверочного метатега в поле Яндекс для веб-мастеров.

После добавления метатега на ваш сайт нажмите кнопку «Проверить».

Верификация в Яндексе для веб-мастеров с помощью HTML-файла:

Загрузите HTML-файл и загрузите его в корневую папку вашего сайта и нажмите кнопку «Проверить».

Верификация в Яндексе для веб-мастеров с помощью записи DNS:

Чтобы использовать этот метод проверки, вам необходимо зайти в настройки DNS вашего домена и добавить запись TXT, указав данные, полученные в Яндексе для веб-мастеров, в поле значения.

После добавления записи DNS нажмите кнопку «Проверить».

Если проверка прошла успешно, вы можете приступить к работе с Яндексом для веб-мастеров. Имейте в виду, что не все данные появятся сразу, Яндексу требуется некоторое время (обычно пара дней), чтобы собрать и отобразить всю информацию.

Обзор инструментов Яндекса для веб-мастеров:

Сводка - это дашборд, где вы можете увидеть сводную информацию о вашем сайте.

  • Проблемы с сайтом
  • Статистика сканирования.
  • Переходов по результатам поиска
  • Показатель индекса качества сайта (SQI).
  • Входящие ссылки.

Яндекс. Инструменты для веб-мастеров: Качество сайта.

В этом разделе представлена ​​информация о метриках качества сайта, присвоенных Яндексом.

Индекс качества сайта Яндекса (SQI)

Индекс качества сайта Яндекса - это показатель популярности сайта. В алгоритм расчета входят следующие параметры: размер аудитории сайта, поведенческие факторы, авторитетность домена и т. Д.Этот показатель регулярно обновляется.

Значки Яндекс для веб-мастеров

Значки присваиваются веб-сайтам по мере достижения ими определенных целей. Значки появляются в результатах поиска, тем самым положительно влияя на CTR в поисковой выдаче.

На данный момент имеется 4 значка:

  1. Популярный сайт - выдается сайтам с высокой посещаемостью и постоянной аудиторией
  2. Выбор пользователей - выдается сайтам с высоким уровнем вовлеченности пользователей и лояльности аудитории
  3. Безопасное соединение - выдается, если сайт работает по протоколу HTTPS
  4. Turbo Pages - выдан для использования технологии Turbo Pages (некий аналог технологии AMP)

Яндекс для веб-мастеров: устранение неисправностей

В этом разделе отображается информация о проблемах сайта:

  • Диагностика сайта - отображает информацию о проблемах с индексацией, проблемах оптимизации на странице.В этом разделе также даются рекомендации по улучшению сайта.
  • Безопасность и нарушения - информация о проблемах безопасности и штрафах Яндекса

Инструменты Яндекса для веб-мастеров: поисковые запросы

В этом разделе представлена ​​информация о поисковых запросах. Здесь вы можете увидеть общую статистику по кликам и показам, а также данные о кликах и показах для определенных страниц и разделов сайта.

Тенденции:

Раздел Тенденции позволяет сравнить ваш сайт с другими аналогичными сайтами.

Рекомендуемые запросы

В этом разделе вы можете запросить дополнительные ключевые слова, под которые можно оптимизировать ваш сайт.

Яндекс. Инструменты для веб-мастеров: раздел индексирования

В этом разделе собрана статистика индексации, а также инструменты для ее улучшения.

Статистика сканирования

В этом разделе вы можете увидеть статистику сканирования Яндекс-ботов. Функциональные возможности в целом идентичны разделу "Статистика сканирования" в устаревших инструментах Google Search Console.

Страницы с возможностью поиска

Здесь вы можете увидеть все страницы, проиндексированные Яндексом. Этот раздел почти идентичен разделу Покрытие в Google Search Console.

Структура сайта

В этом разделе вы можете увидеть структуру сайта, как ее видит робот Яндекс. Страницы организованы в кластеры URL.

Проверить статус URL

Здесь вы можете проверить статус страницы, доступна ли она для бота Яндекса, запрещена ли индексация и т. Д.Отправленные URL-адреса можно пометить как важные и добавить в Мониторинг важных страниц.

Мониторинг важных страниц.

Это очень полезная функция, которая позволяет вам добавлять самые важные страницы вашего веб-сайта для постоянного мониторинга и получать уведомления, если что-то пойдет не так.

Переиндексировать страницы

Здесь вы можете запросить переиндексирование страниц. Эта функция идентична функции индексирования запросов в инструменте проверки URL-адресов в консоли поиска Google, с той лишь разницей, что вы можете добавить список из нескольких URL-адресов (дневной лимит составляет 110 URL-адресов.)

Файлы Sitemap

Раздел для добавления файлов Sitemap.xml для ускорения индексации сайта. Аналогично разделу Sitemap в консоли поиска Google.

Переместить объект

Этот раздел нужен, когда вы решили перенести сайт в другой домен (или другую версию домена - WWW / не WWW и HTTP / HTTPS). Аналогично изменению адреса в консоли поиска Google.

Настройки скорости сканирования

Здесь вы можете настроить скорость сканирования вашего сайта.Функциональность идентична настройкам в Google Search Console.

Инструменты Яндекса для веб-мастеров: отображение в поиске

В этом разделе показано, как сайт выглядит в результатах поиска. Вы можете увидеть, отображается ли сайт в специальных результатах (аналогично избранным сниппетам в Google), а также какие данные отображаются во фрагменте (значки, дополнительные ссылки, рейтинг, адреса и т. Д.).

Яндекс. Инструменты для веб-мастеров: ссылки

В этом разделе содержится информация о ссылках: входящих и исходящих.В разделе Внутренние ссылки вы можете увидеть все ваши обратные ссылки, обнаруженные Яндекс Ботом, а также битые обратные ссылки.

Яндекс. Инструменты для веб-мастеров: информация о сайте

В этом разделе вы можете установить регистр букв для отображения названия вашего сайта в результатах поиска, установить региональный таргетинг, настроить дополнительные ссылки.

Инструменты Яндекса для веб-мастеров: дополнительные инструменты

  • Анализатор Robots.txt - позволяет проверить и подтвердить ваш файл robots.txt. Подобно роботам Google.txt Tester Tool
  • Валидатор
  • Sitemap.xml позволяет проверить ваш sitemap.xml. Вы можете загрузить XML-файл, указать URL-адрес или просто вставить содержимое файла sitemap.xml.
  • Server Response Checker - позволяет проверять HTTP-коды ответов URL-адресов для различных ботов Яндекса.
  • Удалить страницы из поиска - позволяет исключить страницы или кластеры URL из результатов поиска. Идентично инструменту удаления URL-адресов в Google Search Console
  • Аудит страниц на совместимость с мобильными устройствами - проверьте, правильно ли отображается страница на мобильных устройствах.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *