Критичные проблемы — Вебмастер. Справка
Раздел содержит решения часто встречающихся проблем категории «Критичные», выявленных при диагностике сайта в Вебмастере. Проблемы этой группы могут вести к исключению отдельных страниц или всего сайта из результатов поиска.- Долгий ответ сервера
- Некорректная настройка SSL-сертификата
- Найдены страницы-дубли с GET-параметрами
Это значит, что среднее время ответа роботу всех страниц вашего сайта превышает три секунды. Проблема могла возникнуть из-за долгого ответа, возвращаемого сервером при обращении поискового робота к некоторым страницам сайта. Если в настоящий момент сервер отвечает быстро, сообщение об ошибке пропадет в течение нескольких дней.
Сообщение отображается в следующих случаях:
Истек срок действия сертификата.
Сертификат выдан на другой домен или выписан не на все поддомены, на которых используется. Например,сертификат выписан на домен example.com, но используется на домене www.
Cертификат Удостоверяющего центра отсутствует в браузерах пользователей или отозван.
Используется самоподписанный сертификат.
- Пример
Чтобы устранить ошибку, проверьте SSL-сертификат и настройки сервера. Для этого обратитесь к вашему хостинг-провайдеру.
Робот Яндекса узнает об изменениях при очередном посещении сайта. Если он не обнаружит ошибку, сообщение о ней перестанет отображаться в Вебмастере.
Дублирующими считаются страницы с одинаковым контентом, но доступные по разным адресам. Ссылки с GET-параметрами также могут считаться дублями, так как робот Яндекса считает их разными страницами. Такие страницы объединяются в группу дублей.
Если на сайте есть страницы-дубли:
Из результатов поиска может пропасть нужная вам страница, так как робот выбрал другую страницу из группы дублей.
В некоторых случаях при наличии GET-параметров страницы могут не объединяться в группу и участвовать в поиске как разные документы. Таким образом конкурировать между собой. Это может оказать влияние на сайт в поиске.
В зависимости от того, какая страница останется в поиске, адрес документа может измениться. Это может повлиять, например, на достоверность статистики в сервисах веб-аналитики.
Индексирующий робот дольше обходит страницы сайта, а значит данные о важных для вас страницах медленнее передаются в поисковую базу. Кроме этого, робот может создать дополнительную нагрузку на сайт.
| Не проиндексирован | Загрузка файла Sitemap закончилась неудачно. Возможно URL файла задан неверно. |
| Размер файла превышает заданный предел | Размер файла Sitemap больше 50 МБ. |
| Ошибка HTTP | При загрузке файла Sitemap получен HTTP-статус отличный от 200. |
| Невалидный URL | Указан невалидный URL файла Sitemap. |
| Соединение было прервано | В процессе загрузки файла Sitemap сервер прервал соединение. |
| Ошибка DNS | Не удалось загрузить файл из-за ошибки DNS. Возможно указан неправильный URL файла. |
| Ошибка при соединении | Файл Sitemap не удалось загрузить, так как не удалось соединиться с сервером. |
| URL запрещен в файле robots.txt | URL файла Sitemap запрещен в файле robots.txt и поэтому не был загружен. Проверьте правильность файла robots.txt и адрес файла Sitemap. |
| Неправильный HTTP-ответ | Файл Sitemap не удалось загрузить, т. к. ответ веб-сервера не соответствует протоколу HTTP. |
| Ответ не содержит данных | При загрузке файла Sitemap сервер вернул пустой документ. |
| Ошибка при разархивировании | Произошла ошибка при распаковке файла Sitemap, сжатого с помощью gzip. |
| Тег встречается более одного раза | Указанный тег должен встречаться в данном контексте только один раз. |
| Неизвестный тег | Указанный тег не должен встречаться в данном контексте. |
| Тег не найден | Пропущен обязательный тег. |
| Не правильный адрес страницы | URL не соответствует стандарту. |
| Некорректный URL (не соответствует местоположению файла Sitemap) | Местоположение файла Sitemap определяет набор URL, которые можно включить в этот файл. Файл, расположенный в некотором каталоге, должен содержать URL, который размещен в этом же каталоге, либо в его подкаталогах. Подробнее см. Местоположение файла Sitemap. |
| Слишком длинный URL | Длина URL превышает установленный предел (1024 символа). |
| Тег не должен быть пустым | Указанный тег не должен быть пустым. |
| Тег не должен содержать другие теги | Указанный тег не должен содержать дочерние теги. |
| Превышено допустимое число данных | Указанный тег содержит слишком много данных. |
| Нет данных в теге | Указанный тег не содержит необходимых данных. |
| Неверная кодировка | Файл Sitemap не начинается с корректного префикса UTF-8 (0xEF 0xBB 0xBF). Он должен начинаться со строки |
| Невалидный XML | Файл Sitemap не является правильно построенным (well-formed) XML-документом, то есть не соответствует правилам синтаксиса XML. |
| Слишком много ошибок (обработка прекращена) | В файле Sitemap обнаружено более 100 ошибок. Дальнейшая обработка файла прекращена. |
| Число URL превышает заданный предел | Файл Sitemap может содержать не более 50000 URL. Если необходимо перечислить более 50000 URL, следует создать несколько файлов Sitemap и включить их в файл индекса Sitemap (см. Использование файлов индекса Sitemap). |
| Число файлов Sitemap превышает заданный предел | Файл индекса Sitemap может содержать не более 50 000 URL файлов Sitemap. |
| Много некорректных URL в начале файла (обработка прекращена) | Файл Sitemap начинается с идущих подряд некорректных URL. Дальнейшая обработка файла прекращена, так как скорее всего файл имеет неверный формат. |
| Файл Sitemap index не может содержать ссылки на файлы Sitemap index | Файл индекса Sitemap может содержать ссылки только на файлы Sitemap, но не на другие файлы индекса Sitemap. |
| Ошибка в корневом теге | Произошла ошибка при обработке корневого тега. |
Неподдерживаемый формат в Яндекс.Вебмастере
Привет! С конца ноября Яндекс видимо что-то переклинило и он начал слать вот такие сообщения о том, что у страниц якобы какой-то «неподдерживаемый формат» и она исключена из индекса.
Письма валятся от Яндекс.Вебмастера, где говорится, что «Изменился статус страниц в поиске у сайта site.ru», «Изменился атрибут rel=”canonical” важных страниц сайта», «Изменился метатег Description страниц сайта», «Изменился заголовок у важных страниц сайта», где видно что Title, Description и rel=canonical изменились на пустые строки, т.е. как будто их робот не смог прочитать.
Если зайти в Яндекс.Вебмастер, то можно увидеть, что такие страницы якобы удалены из поиска и они имеют статус:
Неподдерживаемый формат
Формат документа не поддерживается индексирующим роботом. Обратите внимание на корректность заголовка Content-Type и на содержимое документа.
При этом если проверить выдачу руками, то все страницы в Яндексе имеются.
Содержание статьи:
Ответы Яндекса
Написал в тех. поддержку, но ничего толкового мне Платон пока не ответил, если добьюсь чего-то вменяемого, то обновлю пост.
Здравствуйте, Артём!
Мы проверили, страницы были исключены, так как при обращениях нашего индексирующего робота они периодически отдавали контент в формате, который им не поддерживается, из-за чего проиндексировать их не удавалось. Это может быть связано с тем, что страницы отдают некорректные http-заголовки или не отдают документ в HTML-формате, либо, например, страницы на запросы отдают некорректный gzip-архив. Для выяснения причин появления проблемы вы можете обратиться к администратору сервера, на котором расположен сайт, либо вашему хостинг-провайдеру. Возможно также, что запросы с некоторых IP-адресов роботов Яндекса блокируются на стороне сервера, поэтому рекомендуем проверить настройки на возможность таких блокировок. Подробнее о том, как проверить, что робот принадлежит Яндексу, вы можете узнать в нашем разделе Помощи: https://yandex.ru/support/webmaster/robot-workings/check-yandex-robots.html
Например, страница site.ru/blabla.html была недоступна при обращении робота 2019.11.28 06:59:13. Чтобы страницы могли корректно индексироваться роботом, они должны быть постоянно доступны, отвечать кодом 200 ОК и отдавать контент в HTML-формате. Тогда они смогут вернуться в поиск по мере их переобхода роботом с обновлениями поисковых баз.
Мы также передали пример вашего сайта нашим специалистам для более подробного изучения, чтобы проверить ситуацию с обходом сайта. Если у меня появится дополнительная информация по вопросу или потребуются дополнительные действия, я свяжусь с вами немного позднее.
—
Артём Высоков
Автор блога о SEO и заработке на сайтах — Vysokoff.ru. Продвигаю информационные и коммерческие сайты с 2013 года.
Задать вопрос Загрузка …Оцените, пожалуйста, наш ответ: https://yandex.ru/support/survey/ratesupport/?session=c99ffe40-0028-32b4-ba77-0eb1047d28aa
Платон Щукин
Служба поддержки Яндекса
https://yandex.ru/support/search/
В твиттере Яндекс послал меня к Платону.
@yandex что у вас за глюк очередной? По нескольким сайтам такая ситуация. “Неподдерживаемый формат” – какой-то и якобы вы исключили страницы из выдачи, но по факту они есть. #Яндекс pic.twitter.com/327EbfD0gj
— Артём Высоков (@Vysokoff) December 6, 2019
Вот такой вот замкнутый круг.
Ответ Бегета
По данному вопросу я обратился также в поддержку хостера Бегет. Информация от них подтверждает мои подозрения насчёт косяка со стороны Яндекса:
Когда появилась проблема?
Я же столкнулся с ней в конце ноября.
10 основных причин, по которым страница сайта может не находиться в индексе поисковых систем Яндекс или Google
Причина номер 1. Новая страница или новый сайт
Первая причина, это то, что поисковые роботы еще просто не нашли новую страницу вашего сайта. В зависимости от того, какой ваш сайт, переобход страниц может занимать от нескольких минут до нескольких недель.
Чтобы узнать, находится ли в индексе страница Вам необходимо воспользоваться сервисами вебмастера Яндекс или Google Search Console.
В Яндекс.Вебмастере это раздел «Индексирование» — «Проверить статус URL». Если робот обошел и проиндексировал страницу, вы увидите уведомление «Страница обходится роботом и находится в поиске».
Если робот о странице еще не знает, вы увидите сообщение «Страница неизвестна роботу».
В новой версии Google Search Console вам нужен инструмент «Проверка URL». Если робот обошел и проиндексировал страницу, вы увидите уведомление «URL есть в индексе Google».
Если робот на странице еще не был, вы увидите сообщение «URL нет в индексе Google».
Причина номер 2. Страница или сайт закрыты от индексации в файле robots.txt
Существует специальный файл robots.txt, который позволяет указать роботам на то, какие страницы сайта должны быть в индексе поисковых систем, а какие страницы не должны быть включены.
Соответственно, если в файле прописаны запрещающие правила, в индексе поисковых систем данную страницу вы не найдете.
Как проверить, закрыта ли страница в robots.txt?
В Яндекс.Вебмастере: заходим в «Инструменты — Анализ файла robots.txt». В окно «Разрешены ли URL» вносим адреса страниц, которые мы хотим проверить. После того, как мы нажмем на кнопку «Проверить», внизу появится список введенных адресов и их статус: разрешены они для индексации или нет. Если нет, будет указано, какое из правил запрещает обход для робота.
В Google похожий инструмент находится на вкладке «Сканирование — Инструмент проверки файла robots.txt».
Важно! На данный момент эта вкладка находится в старой версии вебмастера!
Причина номер 3. Указан запрет в User-Agent
У поисковых систем есть свои требования к тому, как должен строиться файл robots.txt. И начинается он с приветствия. Приветствие может быть обращено к роботу яндекс, либо гугл, либо к обеим поисковым системам.
Часто для Яндекс и Google делают отдельные секции в файле robots.txt. А потом забывают вносить правки в эти секции. Из-за этого роботы потом некорректно начинают индексировать сайт.
Проверяем наличие проблемы также, как и в предыдущем случае. Главное — это делать в вебмастере Яндекс, и в вебмастере Google.
Причина номер 4. Запрет на индексацию страниц указан в мета-теге robots.
Суть этого мета-тега такая же, как и у файла robots.txt, только если страница закрыта в robots.txt она все равно может быть проиндексирована поисковыми системами. Но если на странице используется noindex или none, страница не будет добавлена в индекс.
1. Проверить использование данного мета-тега на странице можно в коде (сочетание клавиш Ctrl+U)
2. С помощью дополнения для браузера, например seo meta
3. С помощью вебмастеров.
Причина номер 5. Некорректно настроенный атрибут rel=canonical.
Каноникал — это еще один атрибут, помогающий управлять индексацией страниц.
Если rel каноникал настроен на другую страницу, то вы говорите поисковому роботу о том, что она схожа с другой станицей и первую страницу не нужно добавлять в индекс поисковых систем.
Проверить использование данного атрибута можно также в исходном коде, с помощью дополнения для браузера — rds бар или seo meta.
Также это можно увидеть в вебмастере Яндекс («Страницы в поиске»- «Исключенные страницы». Проверять необходимо статус «неканонические»).
Причина номер 6. Проблемы с ответом сервера
Для того, чтобы страница индексировалась, ее код ответа сервера должен быть 200 ОК. Если страница отдает ответ сервера 404 или 301, в индекс поисковых систем данная страница не попадет.
Проверять код ответа лучше всего с помощью вебмастеров, они показывают наиболее точные данные. А вот визуальной проверкой лучше не ограничиваться, так как бывают случаи, когда страницы выглядят корректно, но код ответа сервера не 200.
Причина номер 7. Проблемы с хостингом или сервером
Представьте, вы приходите в магазин, а он не работает. Потом снова приходите в магазин, но он все равно не работает. Какова вероятность того, что вы вернетесь туда? Вероятнее всего очень маленькая.
Тоже самое происходит и с поисковыми системами. Если он приходит на ваш сайт, а он не работает, то робот просто исключает страницы из индекса и не показывает их пользователям.
Правильно, зачем пользователей приводить на неработающий сайт.
Для того, чтобы отследить есть ли проблема, необходимо в вебмастерах проверять статус страниц. Если встречаются ошибки сервера 5хх (500, 503), а также если вам приходят уведомления из Яндекс.Метрики о том, что сайт не работает, необходимо решать данную проблему.
Причина номер 8. Проблемы со скоростью загрузки страниц
Скорость загрузки — важный показатель качества современного сайта. Если ваши страницы долго долго загружаются, роботы поисковых систем исключать такие страницы из индекса.
Кроме того, скорость загрузки страниц — является фактором ранжирования в поисковых системах. Поэтому, если у вас с этим есть проблемы, срочно это исправляйте!
Как проверить? Начните с инструмента PageSpeed Insights от Google. Дополнительно можете использовать сервисы Google Аналитика и Яндекс.Метрика.
Совет! Важно проверять скорость загрузки для нескольких типов страниц и не останавливаться выполнив только одну проверку, т.е. выполнять данные работы периодически.
Причина номер 9. Проблема с уникальностью и полезностью контента
Поисковики уделяют большое внимание качеству контента, поэтому, если на странице расположен не полезный контент, либо же дублирующийся с другими страницами, такие страницы не добавляются в индекс поисковых систем.
Как проверить, есть ли на сайте такие страницы — нужно зайти в вебмастер.
В Яндексе — это отчет «Страницы в поиске» — «Исключенные страницы». Проверять нужно статусы «Дубль» и «Недостаточно качественная».
В Google Search Console — это отчет «Покрытие» — «Страница является копией. Канонический вариант не выбран пользователем».
Причина номер 10. Проблемы с AJAX
Если ваш сайт выполнен на технологии AJAX очень важно правильно выполнить требования поисковых систем, для того чтобы поисковые роботы смогли проиндексировать страницы вашего сайта.
Таким образом для каждой отдельной страницы должна быть своя HTML-версия.
И напоследок, дадим вам несколько советов, как ускорить индексацию:
- отправляйте страницы на переобход с помощью вебмастеров
- используйте файл sitemap.xml
- используйте новейшие возможности, которые предоставляют вам поисковики. Например, Яндекс Метрике появилась возможность связать Яндекс Вебмастер и Яндекс Метрику, для того чтобы отправлять страницы на переиндексацию.
Также смотрите наш видеоролик https://youtu.be/HF-2dd4luQY с помощью которого вы сможете найти ошибки у себя на сайте и запланировать работы по их исправлению.
Если вы хотите продвинуть свой сайт в ТОП поисковой выдачи, тогда записывайтесь на курс по SEO-продвижению
|
|
Статью подготовила Полина Зарубицкая, ведущий спикер Webcom Academy. |
Поделиться с друзьями:
Проверка файла robots.txt | REG.RU
Файл robots.txt — это инструкция для поисковых роботов. В ней указывается, какие разделы и страницы сайта могут посещать роботы, а какие должны пропускать. В фокусе этой статьи — проверка robots.txt. Мы рассмотрим советы по созданию файла для начинающих веб-разработчиков, а также разберем, как делать анализ robots.txt с помощью стандартных инструментов Яндекс и Google.
Зачем нужен robots.txt
Поисковые роботы — это программы, которые сканируют содержимое сайтов и заносят их в базы поисковиков Яндекс, Google и других систем. Этот процесс называется индексацией.
robots.txt содержит информацию о том, какие разделы нельзя посещать поисковым роботам. Это нужно для того, чтобы в выдачу не попадало лишнее: служебные и временные файлы, формы авторизации и т. п. В поисковой выдаче должен быть только уникальный контент и элементы, необходимые для корректного отображения страниц (изображения, CSS- и JS-код).
Если на сайте нет robots.txt, роботы заходят на каждую страницу. Это занимает много времени и уменьшает шанс того, что все нужные страницы будут проиндексированы корректно.
Если же файл есть в корневой папке сайта на хостинге, роботы сначала обращаются к прописанным в нём правилам. Они узнают, куда нельзя заходить, а какие страницы/разделы обязательно нужно посетить. И только после этого начинают обход сайта по инструкции.
Веб-разработчикам следует создать файл, если его нет, и наполнить его правильными директивами (командами) для поисковых роботов. Ниже кратко рассмотрим основные директивы для robots.txt.
Основные директивы robots.txt
Структура файла robots.txt выглядит так:
- Директива User-agent. Обозначает, для каких поисковых роботов предназначены правила в документе. Здесь можно указать все поисковые системы (для этого используется символ «*») или конкретных роботов (Yandex, Googlebot и другие).
- Директива Disallow (запрет индексации). Указывает, какие разделы не должны сканировать роботы. Даже если на сайте нет служебного контента, который необходимо закрыть от индексации, директиву нужно прописывать (не указывая значение). Если не сделать этого, robots.txt может некорректно читаться поисковыми роботами.
- Директива Allow (разрешение). Указывает, какие разделы или файлы должны просканировать поисковые роботы. Здесь не нужно указывать все разделы сайта: все, что не запрещено к обходу, индексируется автоматически. Поэтому следует задавать только исключения из правила Disallow.
- Sitemap (карта сайта). Полная ссылка на файл в формате .xml. Sitemap содержит список всех страниц, доступных для индексации, а также время и частоту их обновления.
Пример простого файла robots.txt (после # указаны пояснительные комментарии к директивам):
User-agent: * # правила ниже предназначены для всех поисковых роботов
Disallow: /wp-admin # запрет индексации служебной папки со всеми вложениями
Disallow: /*? # запрет индексации результатов поиска на сайте
Allow: /wp-admin/admin-ajax.php # разрешение индексации JS-скрипты темы WordPress
Allow: /*.jpg # разрешение индексации всех файлов формата .jpg
Sitemap: http://site.ru/sitemap.xml # адрес карты сайта, где вместо site.ru — домен сайтаСоветы по созданию robots.txt
Для того чтобы файл читался поисковыми программами корректно, он должен быть составлен по определенным правилам. Даже детали (регистр, абзацы, написание) играют важную роль. Рассмотрим несколько основных советов по оформлению текстового документа.
Группируйте директивы
Если требуется задать различные правила для отдельных поисковых роботов, в файле нужно сделать несколько блоков (групп) с правилами и разделить их пустой строкой. Это необходимо, чтобы не возникало путаницы и каждому роботу не нужно было сканировать весь документ в поисках подходящих инструкций. Если правила сгруппированы и разделены пустой строкой, робот находит нужную строку User-agent и следует директивам. Пример:
User-agent: Yandex # правила только для ПС Яндекс
Disallow: # раздел, файл или формат файлов
Allow: # раздел, файл или формат файлов
# пустая строка
User-agent: Googlebot # правила только для ПС Google
Disallow: # раздел, файл или формат файлов
Allow: # раздел, файл или формат файлов
Sitemap: # адрес файлаУчитывайте регистр в названии файла
Для некоторых поисковых систем не имеет значение, какими буквами (прописными или строчными) будет обозначено название файла robots.txt. Но для Google, например, это важно. Поэтому желательно писать название файла маленькими буквами, а не Robots.txt или ROBOTS.TXT.
Не указывайте несколько каталогов в одной директиве
Для каждого раздела/файла нужно указывать отдельную директиву Disallow. Это значит, что нельзя писать Disallow: /cgi-bin/ /authors/ /css/ (указаны три папки в одной строке). Для каждой нужно прописывать свою директиву Disallow:
Disallow: /cgi-bin/
Disallow: /authors/
Disallow: /css/Убирайте лишние директивы
Часть директив robots.txt считается устаревшими и необязательными: Host (зеркало сайта), Crawl-Delay (пауза между обращением поисковых роботов), Clean-param (ограничение дублирующегося контента). Вы можете удалить эти директивы, чтобы не «засорять» файл.
Как проверить robots.txt онлайн
Чтобы убедиться в том, что файл составлен грамотно, можно использовать веб-инструменты Яндекс, Google или онлайн-сервисы (PR-CY, Website Planet и т. п.). В Яндекс и Google есть собственные правила для проверки robots.txt. Поэтому файл необходимо проверять дважды: и в Яндекс, и в Google.
Яндекс.Вебмастер
Если вы впервые пользуетесь сервисом Яндекс.Вебмастер, сначала добавьте свой сайт и подтвердите права на него. После этого вы получите доступ к инструментам для анализа SEO-показателей сайта и продвижения в ПС Яндекс.
Чтобы проверить robots.txt с помощью валидатора Яндекс:
- 1. Зайдите в личный кабинет Яндекс.Вебмастер.
-
2.
Выберите в левом меню раздел Инструменты → Анализ robots.txt.
-
3.
Содержимое нужного файла подставиться автоматически. Если по какой-то причине этого не произошло, скопируйте код, вставьте его в поле и нажмите Проверить:
-
4.
Ниже будут указаны результаты проверки. Если в директивах есть ошибки, сервис покажет, какую строку нужно поправить, и опишет проблему:
Google Search Console
Чтобы сделать проверку с помощью Google:
- 1. Перейдите на страницу инструмента проверки.
-
2.
Если на открывшейся странице отображается неактуальная версия robots.txt, нажмите кнопку Отправить и следуйте инструкциям Google:
-
3.
Через несколько минут вы можете обновить страницу. В поле будут отображаться актуальные директивы. Предупреждения/ошибки (если система найдет их) будут перечислены под кодом.
Проверка robots.txt Google не выявила ошибок
Обратите внимание: правки, которые вы вносите в сервисе проверки, не будут автоматически применяться в robots.txt. Вам нужно внести исправленный код вручную на хостинге или в административной панели CMS и сохранить изменения.
Помогла ли вам статья? 1
раз уже
помогла
Какие ошибки показывает Вебмастер | Digital-компания MIVOKS group
Автор: Ксения
Вторая вкладка левого меню Yandex Webmaster включает раздел диагностики, позволяющего получить детальную информацию о проблемах, извещение о которых выводится в левый верхний блок главной страницы сервиса Вебмастер.
Общая информация о классификации проблем в Яндекс:
- рекомендации – советы и предложения по совершенствованию ресурса или отображения;
- возможные – ошибки, устранение которых помогает повысить удобство пользования и видимость сайта в органической выдаче, улучшить корректность его индексации и отображение. Способ отображения возможных проблем в Яндекс Вебмастер – серый восклицательный знак;
- критичные – серьезные ошибки, которые обычно не приводят к удалению сайта из поисковой выдачи, но негативно влияют на видимость. Это происходит из-за низкого удобства пользования ресурсом, некорректной работы либо индексации;
- фатальные – несовместимые с отображением ресурса в результатах выдачи поисковой системы. Вероятнее всего, полностью исключен из поиска будет сайт с такими ошибками, как наличие санкций со стороны ПС, запрет индексации, критичное нарушение безопасности и др.
- Фатальные ошибки
- Критические ошибки
- Возможные проблемы
- Прочие рекомендации
Фатальные ошибки Яндекс Вебмастер
Ошибки этой категории должны быть исправлены незамедлительно, поскольку наличие даже одной из них станет причиной недопуска веб-сайта в поисковую выдачу.
- Блокировка индексации: наиболее распространенная ошибка, которая возникает по завершению разработки ресурса. Директива в файле робота (robots.txt), запрещающая индексировать контент, необходима для предотвращения ранжирования находящегося в стадии разработки сайта на техническом домене.
Исправление: после открытия файла робота необходимо после домена добавить robots.txt, найти строку «Disallow: /» и удалить ее. - Серверные ошибки DNS: обычно возникают после самостоятельного изменения в контрольной панели хостинга настроек DNS, либо же в случае, если произошло падение сервера хостера.
Исправление: потребуется найти номер телефона техподдержки хостер-провайдера и попросить провести проверку настроек сайта, назвав ошибку, указанную в панели вебмастера. - Ошибка главной страницы: означает, что загрузка главной страницы роботом невозможна, поскольку сайт временно недоступен. Причины этого: удалена техническая папка, которая отвечает за загрузку на сервере, либо сбои в хостинге.
Исправление: потребуется общение с технической поддержкой хостинга. При отсутствии проблем у провайдера следует обратиться к нему с просьбой о выгрузке рабочего бэкапа сайта. - Нарушение безопасности: обнаружение роботом вируса, потенциально опасного, по мнению Яндекса, самописного кода или иной угрозы безопасности.
Исправление: скачать с сайта любого из разработчиков или поставщиков антивирусов программу проверки интернет-ресурсов на предмет наличия вирусов. В случае, если после запуска диагностики будет выявлено вредоносное ПО, необходимо удалить его.
Критические ошибки Вебмастера
Приоритет критических ошибок в Яндекс аналогичен фатальным. Ошибок такого вида всего две, но обе способны значительно ухудшить позиции веб-ресурса в результатах выдачи поисковых роботов.
- Внутренние битые («мертвые») ссылки: так называют гиперссылки, при переходе по которым пользователь попадает на несуществующую страницу (ошибка 404). Она могла быть удалена, либо изменился ее ЧПУ адрес.
Исправление: с помощью любого из сервисов («screaming frog app» и т.п.) по поиску мертвых ссылок необходимо убрать гиперссылку либо точечно исправить URL с кодом 404. - Долгий ответ сервера: если по прошествии определенного промежутка времени, который робот посвятил анализу сайта, не произошла загрузка ресурса, то поступает сигнал об ошибке. Причиной этого в большинстве случаев служат установленные на страницах «тяжелые» скрипты.
Исправление: изучение отчета после проверки скорости с помощью сервиса Google Pagespeed позволит определить скрипты в коде сайта, загрузка которых занимает много времени. После их оптимизации или удаления проверку следует повторить.
Возможные проблемы
В перечне показываемых Яндекс Вебмастер оптимизационных ошибок – отсутствие правильной настройки сайта, отвечающей актуальным параметрам требований поисковых систем, либо некорректные показатели одного из проверочных параметров.
Ошибки, относящиеся к файлу robots.txt
- отсутствие в корне сайта файла робота. Он должен находиться по адресу: ваш домен/robots.txt;
- наличие неточностей в файле робота. К этому обычно приводит его самостоятельное добавление. Существует множество вариантов ошибок, что осложняет их поиск – орфографическая ошибка, опечатка, некорректное использование символов и т.д.
Исправление: при отсутствии файла создают в блокноте стандартный документ, заполняют и добавляют его на ресурс. При обнаружении ошибок в файле – очищают его и приводят к стандартному формату:
User-agent: *
Disallow: /admin/
Host: https://ваш домен
Sitemap: https://ваш домен/sitemap.xml
Ошибки, относящиеся к карте сайта sitemap.xml
- ресурс не использует файлы sitemap. Вероятнее всего, динамическая карта представлена в формате, отличающемся от xml, либо не создана вовсе. От этой ошибки зависит не столько позиция сайта, сколько индексация страниц;
- наличие ошибок в файле sitemap.xml. Как правило, источником проблем служат отдающие 404 ошибку несуществующие страницы. Следует выполнить проверку карты ручном режиме с помощью соответствующего раздела в кабинете вебмастера;
- долгое время не проводилось обновление карты сайта. Это связано с нарушением функционала опции автообновления sitemap, либо же с действительным отсутствием на веб-сайте нового контента.
Исправление: многие CMS предоставляют возможность автоматического создания карты сайта. Поскольку Вебмастер может не сразу увидеть даже корректную и имеющуюся на сайте карту, следует без внесения корректировок нажать кнопку «исправлено».
Ошибки оптимизации
- неправильные настройки страницы 404. Если введен несуществующий URL, должна отобразиться полностью оформленная страница сайта, с указанием 404 ошибки и гиперссылкой, ведущей на главную страницу;
- переадресация на иной ресурс. Чаще всего перенаправление на иной домен вызвано вирусами или вредоносным ПО, но может быть связано и с ошибкой редиректа;
- большое количество дублей сайта – страниц, имеющих разный ЧПУ при аналогичном контенте. Ошибка характерна для бесплатных CMS (MODx, WordPress, Joomla и т.д.), создающих повторяющиеся страницы по заложенной разработчиком структурной схеме. Такие дубли должны отсутствовать в принципе, поэтому их необходимо удалить, воспользовавшись списком задвоенных url;
- отсутствие метатега Title или же его ошибка. Уникальный метатег Title должен быть виден роботу на каждой из проверяемых страниц. Не рекомендуется дублировать этот тег с тегом h2;
- отсутствие либо ошибка метатега Description, который должен быть оригинальным для каждой страницы. Метатегами Description и Title также следует снабдить не закрытые от индексации технические страницы.
Подробнее об оптимизации можете узнать в статье «Бесплатный SEO чек-лист: а ваш сайт готов к продвижению?»
Прочие рекомендации
Помимо исправления названных ошибок для оптимизации сайта полезным станет анализ рекомендаций от Вебмастер.Яндекс и внесение ряда пунктов, улучшающих видимость ресурса в ПС:
- отсутствие сайта в Яндекс.Справочнике. Заполнение всех полей в справочнике обеспечит вывод Яндексом карточки компании справа от выдачи в случае, если пользователем введен брендовый запрос;
- отсутствие указанного региона ресурса. Это наиболее важно при активном SEO продвижении. Указать регион можно самостоятельно, либо подождать, пока Яндекс сам выполнить эту операцию;
- отсутствие favicon сайта. Так называют небольшую иконку, расположенную у заголовка в выдаче поискового робота. Ее наличие способствует повышению привлекательности сниппета и улучшению поведенческих факторов;
- не выполненная адаптация сайта к мобильным и компактным устройствам. Корректное отображение веб-сайта на мобильных гаджетах Yandex и Google начали учитывать после того, как ими были введены собственные форматы APM и Turbo. При наличии проблем с соответствующей оптимизацией сайта его позиции будут снижены в мобильной выдаче;
- ошибка счетчика Яндекс.Метрики. Если робот не находит кода Яндекс.Метрики в процессе анализа сайта, то это не отразится на ранжировании, но не позволит получить данные конверсии и сведения для анализа поведения посетителей сайта.
454080, Россия, Челябинская, Челябинск, Энтузиастов, 26Б
Вебмастер яндекс недостаточно качественная страница. Причины удаления страниц
Новый Вебмастер Яндекса позволяет найти проблемы на сайте и исправить недочёты, мешающие ранжированию – это факт медицинский. Для этого Яша предложил на праздничный стол набор интересных инструментов, многих из которых не было на старом сервисе. Предлагаю обзор возможностей Вебмастера для стимулирования хорошего настроения.
Обзор инструментов
Инструменты нового Вебмастера разбиты по блокам, каждый из них открывается на вкладки. Вот основные пункты меню:
- — Диагностика,
- — Поисковые запросы,
- — Индексирование,
- — Настройка индексирования,
- — Инструменты.
Последний пункт «Права доступа» – это не гармошка, этот пункт не матрёшка, он не открывается. Как подсказывает интуиция, в каждом блоке находятся инструменты для решения узкоспециализированных задач, например, в блоке «Поисковые запросы» можно узнать всё о запросах пользователей, которые переходили на сайт, показах.
Диагностика
Первый пункт меню «Диагностика», в нём два пункта:
- — Диагностика сайта,
- — Безопасность и нарушения.
В первом пункте узнают о проблемах на сайте, например, недоступности страниц. Обновляется страничка со скрипом, как работает дизель в Заполярье, поэтому надеяться, что в ней оперативно отобразятся все проблемы не стоит, но иногда она приходит на помощь.
На странице «Безопасность и нарушения» отображаются проблемы с безопасностью сайта и некоторые нарушения. Тут можно увидеть информацию о вирусах, санкциях и прочих косяках. Также отображается не всё – например, неявный текстовой спам не показывают, а АГС отображают.
Поисковые запросы
Здесь два пункта:
- — Статистика,
- — Последние запросы.
В «Статистике» указываются запросы сайта за определённый период, а также запросы из топ-3-10-50. Для веб-мастера видны показы, клики и CTR запросов. Если CTR низкий, то стоит подумать об изменении сниппета или фавиконки, ибо что-то отпугивает пользователя в выдаче от активных действий в отношении сайта. Для справки – CTR топ-3 всегда выше, так как пользователи ещё не задолбались искать ответы в недрах выдачи. Если CTR меньше 2%, то беда, для топ-10 нормальный показатель от 3%.
Запросы можно отсортировать по группам, показателям и региону.
Страница «Последние запросы» то же самое, но в отношении последних действий пользователя в выдаче. Для веб-мастера последние запросы по показам, кликам и CTR + добавлена средняя позиция по запросу.
Тут также доступна сортировка, можно добавить фильтр или сгруппировать запросы.
Индексирование
Более массивный пункт «Индексирование», в нём находятся инструменты:
- — Статистика,
- — Структура сайта,
- — Проверка URL,
- — Внутренние и внешние ссылки.
На странице статистики указаны загруженные и исключённые web-документы, а также страницы в поиске. Отдельно настраивается показ по ошибкам кодов HTTP и запрещённым к индексированию роботом страницам.
В нижней части статистика последних обходов ботом, там виден url документа, статус HTTP и дата визита робота.
Полезный пункт «Страницы в поиске», ведь там можно увидеть не только банальщину, но и найти ценную информацию. Инструмент показывает количество добавленных и исключённых страниц, сортировка доступна по последним изменениям и всем страницам. Что тут полезного для ослабленной нервной системы веб-мастера? Инструмент показывает статус исключённых страниц, не HTTP статус, а причину исключения.
Две основные причины исключения из поиска – дубли и «недостаточно качественная страница». Если количество исключённых страниц (кроме специально удалённых через 404) велико, то ждите ухудшения ранжирования сайта. Пользуйтесь этим инструментом, смотрите причину удаления страниц и устраняйте её для собственного блага. Сделать это несложно – смотрите причину, переходите на страницу и придавайте её человекообразный вид, после чего отправляйте документ для переиндексации. Проверено – работает и помогает выходить из фильтров и не попадать под санкции.
Инструмент «Структура сайта» прост, но полезен. В нём видна структура сайта и указано количество загруженных и проиндексированных страниц в каждом разделе и категории. Стремитесь приблизить второй значение к первой цифре, для чего удаляйте и закрывайте в robots дубли и мусор.
Инструмент «Проверка URL» позволяет проверить любую страницу сайта на индексацию. Ничего оригинального. Добавили URL, проверили его, нажали «готово» и увидели в индексе или нет + статус HTTP
Более интересны инструменты «Внутренние и внешние ссылки», хотя и непонятно, зачем их засунули в раздел «Индексация».
C помощью инструмента «Внутренние ссылки» легко увидеть битые беки на внутренних страницах с указанием, где расположена ссылка и на какую страницу она ведёт. Вычищайте всё в ноль и будет счастье – никакие сторонние сервисы не нужны – найти все битые ссылки поможет Вебмастер.
- — Текущим и удалённым ссылкам,
- — Группировке по сайтам,
- — Неработающим бекам.
Вверху указано общее число внешних ссылок на сайт и доменов, с которых на вас ссылаются. Внизу детальная информация:
- — Адрес донора,
- — тИЦ ссылающегося сайта,
- — Страница акцептора,
- — Дата обновления информации.
Информация обновляется после ссылочных апдейтов.
Настройка индексирования
Здесь нашлось место инструментам:
- — Файлы Sitemap,
- — Переезд сайта,
- — Региональность,
- — Регистр имён сайта,
- — Быстрые ссылки,
- — Оригинальные тексты,
- — Товары и цены.
В инструменте Sitemap видны используемые карты сайта, тут же добавляют Sitemap в формате xml.
Во вкладке «Переезд сайта» добавляют для домена www и HTTPS, а в инструменте «Региональность» видны регионы сайта по ЯК, Яндекс Справочнику и Вебмастеру. В последнем пункте можно указать регион, но его надо подтвердить страницей, в которой есть информация о региональности.
Следующие три пункта понятны и школьнику, а инструмент «Товары и цены» пригодится интернет-магазину. Для этого соглашаются с условиями и подключают YML-файлы. Сюда лазать без программиста не рекомендую – чревато нервами и клизмами.
Инструменты
Здесь, как и следует из названия, представлены технические инструменты Вебмастера Яндекс. Для владельца веб-сайта или оптимизатора:
- — Анализ Sitemap и Robots,
- — Ответы сервера,
- — Удаление URL,
- — Проверка мобильной адаптивности страниц,
- — Переобход,
- — Микроразметка,
- — Валидатор XML.
Тут всё понятно интуитивно, особое внимание советую уделить инструменту «Проверка мобильных страниц», так как она работает несколько иначе, чем проверка адаптивности Google. Если продвигаетесь под Яндекс и имеете большой процент мобильной аудитории, то проблем с отображением страниц на планшетах и смартфонах быть не должно.
Последний пункт «Права доступа» позволяет делегировать кому-либо права доступа для просмотра статистики через свою панель Вебмастера. Укажите логин в Яндексе своего оптимизатора и делегируйте ему права.
По поводу выгрузки проиндексированных страниц, Яндекс наконец сделал то что и нужно было.
И вот теперь мы получили очень хороший инструмент с помощью которого можно получить очень интересную информацию.
Я сегодня расскажу об этой информации и вы сможете применить это для продвижения ваших сайтов.
Переходим в Яндекс.Вебмастер, в раздел «Индексирование»
И вот перед вам такая картинка(нажимайте, чтобы увеличить):
Эти данные исключённых страниц дают нам очень много информации.
Ну начнём с Редиректа:
Обычно редирект не таит в себе каких то проблем. Это техническая составляющая работы сайта.
Это обычный дубль страницы. Я бы не сказал, что это не настолько критично. Просто Яндекс из двух страниц посчитал более релевантной именно вторую страницу.
И Яндекс даже написал свой комментарий: Страница дублирует уже представленную в поиске страницу http://сайт/?p=390. Укажите роботу предпочтительный адрес с помощью 301 редиректа или атрибута rel=»canonical».
Это можно использовать следующим образом: Иногда вылетают страницы сайта которые вы продвигаете и наоборот встают в индекс их дубли. В данном случае нужно просто прописать канонический урл на обоих этих страницах на ту которую вы продвигаете.
После этого обе эти страницы добавляете в «Переобход робота».
Это та страница в мета-тегах которой прописан канонический урл на нужную страницу.
Тут как раз всё прекрасно и это обычный процесс работы сайта.
Тут также Яндекс пишет подсказку: Страница проиндексирована по каноническому адресу http://сайт/?p=1705, который был указан в атрибуте rel=»canonical» в исходном коде. Исправьте или удалите атрибут canonical, если он указан некорректно. Робот отследит изменения автоматически.
Обычно это происходит когда вы удалили какие то страницы, а редирект не поставили. Или 404 ошибку не поставили.
Какого то вреда для продвижения сайта это не даёт.
Ну и подходит к самому интересному. Недостаточно качественная страница.
Т.е. страницы нашего сайта вылетели из индекса Яндекса потом что они недостаточно качественные.
Безусловно это важнейший сигнал вашему сайту, что у вас глобальные проблемы с этими страницами.
Но не всё так однозначно как кажется.
Зачастую это страницы пагинации, поиска или другого мусора. И эти страницы правильно исключены из индекса.
Но иногда бывает, что из индекса исключают карточки товаров Интернет-магазина. Причём исключают тысячами. И это безусловного говорит о том, что с вашими страницами карточек товаров какие то серьёзные проблемы.
Я за неделю просмотрел многие Интернет-магазины и почти у всех есть подобное. Причём вылет страниц наблюдается по десятку тысяч.
Тут могут быть такие проблемы, что мы имеем несколько одинаковых страниц где товар просто разного цвета. И Яндекс считает, что это одна страница.
В данном случае тут или делать одну страницу с выбором цвета на одной странице или же дорабатывать другие страницы.
Но конечно стоит сказать, что это ГЛОБАЛЬНАЯ помощь для всех владельцев Интернет-магазинов. Вам дали ясно понять какие страницы у вас улетели и почему.
Тут нужно работать над качеством этих страниц. Может эти страницы дублируют другие, а может и нет.
Иногда на таких страницах элементарно отсутствует текст. А на некоторых отсутствует цена и Яндекс удаляет из индекса такие страницы.
А ещё я заметил, что если на странице карточки товара стоит статус «Товар отсутствует на складе», то такая страница тоже удаляется из индекса Яндекса.
В общем то работайте.
О других интересных фишках я расскажу в понедельник на своём семинаре —
Да и ещё. Многие знают такую траблу с Яндекс.Советником:
Т.е. вы заплатили за клик с Директа, а Яндекс.Советник уводит вашего оплаченного клиента на Яндекс.Маркет.
Это на самом деле вопиющий случай.
Как я понял Яндекс ничего менять не будет.
Ну хорошо, тогда поменяю я сам.
Этот Яндекс.Советник косается в первую очередь Интернет магазинов. А Интернет магазины стоят в первую очередь на движках: Битрикс, Джумла, Вебасист.
Так вот для этих движков я пишу блокиратор советника. Т.е. при установке на вашем движке этого плагина, на вашем сайте не будет работать Яндекс.Советник.
Всем кто придёт на мои семинар я позже скину эти плагины бесплатно.
Я выбрал наиболее популярные движки на которых стоят ИМ. Для сайтов услуг это не нужно. А вот для ИМ, самое то.
Если есть вопросы, то задавайте вопросы.
Сначала я испугался, потому что у меня удаляли по 50-100 таких страниц. Но, потом разобрался и успокоился. Оказывается, Яндекс внедрил в систему поиска новый алгоритм, который автоматически удаляет из поиска не релевантные страницы.
Но, опять же, здесь не стоит бояться. Яндекс удаляет такие страницы лишь временно. Пример, если вы написали статью, а в поиске нет на неё запросов, то есть никто не ищет информацию, которая представлена в статье, то данная статья будет временно удалена из поиска. Если в поиске появятся запросы соответствующие вашей статье, то она автоматически будет добавлена в поиск.
Вам ни в коем случае нельзя удалять такие страницы с вашего сайта!!! Если вы заметили в Яндекс Вебмастере страницы с пометкой «Недостаточно качественные», не пугайтесь и не бойтесь, всё нормально! Данные страницы так же важны как и все остальные, они могут появится в поиске в любой момент!!!
Как узнать есть ли у вас Недостаточно качественные страницы?Зайдите на свою страницу в сервисе Яндекс Вебмастер. На главной странице, обратите внимание, в разделе «Обновления поиска» , у вас могут отображаться количество удалённых и добавленных страниц. Это как раз те страницы, которые автоматически удаляются и добавляются в поиск по специальному, новому алгоритму.
Далее, внизу данной страницы, у вас могут отображаться URL адреса помеченные синим цветом и под которыми отображается уведомление «Недостаточно качественная» . Нажмите на знак троеточие рядом с таким уведомлением.
Вам покажут пояснение — «Страница исключена из поиска в результате работы специального алгоритма. Если в будущем алгоритм сочтёт страницу достаточно релевантной запросам пользователей, она появится в поиске автоматически» .
Вот и всё ! Как я уже сказал ранее, не стоит пугаться и бояться! Внимательно читайте пояснения! Продолжайте писать статьи и главное старайтесь помочь своему читателю, чтобы уходя с вашего сайта, он не раз ещё на него вернулся!
Как заблокировать автоматический трафик в поиске Яндекс!!!
Не так страшен чёрт, как его малюют
– русская пословица
Иногда довольно сложно понять, что от тебя хотят поисковые системы, что именно они понимают под значением «страницы низкого качества»? Порой смотришь на страницу и откровенно не понимаешь, почему же её невзлюбил Яндекс или Google. В этой статье мы рассмотрим страницы, которые ПС удаляют из поиска, считая недостаточно качественными.
Страницы низкого качества в понимании поисковых систем
В блоге Яндекса Елена Першина даёт следующее определение страницы низкого качества: «Под понятием некачественная страница мы понимаем страницы, вероятность показа которых в поиске практически нулевая. По понятным причинам мы не рассказываем способы определения таких страниц, но это чёткий сигнал, что если вы хотите видеть эту страницу в поиске, то со страницей нужно что-то делать».
Внесём немного корректив в слова представителя Яндекса: так как алгоритмы иногда дают сбой, причём в пользу сайтов, страница может занимать ТОП, а потом бесследно пропасть из выдачи.
То есть, страницы низкого качества – это документы, которые не имеют ценности, не несут новую и полезную информацию, не дают релевантный ответ на вопрос пользователя, с точки зрения поисковых систем.
Как обнаружить удалённые низкокачественные страницы
Яндекс.Вебмастер
Проще всего найти исключённые страницы, воспользовавшись инструментом Яндекс.Вебмастер .
Переходим в раздел «Индексирование» – «Страницы в поиске».
Переходим на вкладку «Исключённые страницы» – выбираем статус «Недостаточно качественная».
Можно, не переходя с «Последних изменений», выбрать статус «Удалено: Недостаточно качественная».
Google Search Console
В отличие от Яндекса, Google не предоставляет информацию о том, какие страницы были удалены из поиска из-за качества. Даже в новой бета-версии Google Search Console, к сожалению, эта функция отсутствует.
Единственным сигналом от Google сейчас можно считать «Отправленный URL возвращает ложную ошибку 404». В таких случаях нужно проанализировать страницы, убедиться, что они существуют, а не удалены (и просто ответ сервера некорректен). Подробнее о мягкой 404 можно прочесть .
- Переходим в новую версию Google Search Console.
- В боковом меню находим «Статус» – «Индексирование отправленных URL».
- Выбираем строку «Отправленный URL возвращает ложную ошибку 404».
- Анализируем исключённые страницы.
Причины удаления страниц
Проанализировав большое количество различных сайтов и выявив закономерность у страниц, удалённых по причине низкого качества, мы пришли к следующим выводам:
1) Алгоритм Яндекса недоскональный: вместо того, чтобы отнести страницу в удалённые, например, по причине дублирования, он исключает её как низкокачественную.
2) Страницы низкого качества чаще встречаются на коммерческих сайтах – интернет-магазинах и агрегаторах, чем на информационных (за счёт автоматической генерации).
Типология удалённых страниц низкого качества
1. «Жертвы» некорректной работы алгоритма
1.1. Дубли страниц
К страницам низкого качества довольно часто попадают дубликаты страниц.
Такие страницы довольно легко определить, если кроме URL ничего не уникализированно.
1.2. Страницы сортировки, пагинации и GET-параметры
Чаще Яндекс исключает такие страницы, как дубли, но, как показано на примере ниже, они могут быть удалены и по другой причине.
Страницы сортировки:
Страницы пагинации:
GET-параметры:
В этом примере GET-параметры определяют регион пользователя.
1.3. Неглавное зеркало
Сайт переехал на защищённый протокол. Долгое время робот Яндекса не знал, что делать со старой страницей на HTTP и, то удалял её как некачественную, то добавлял обратно в поиск. По итогу, спустя несколько месяцев, он удалил страницу как неглавное зеркало.
1.4. Страницы, закрытые в файле robots.txt
Директивы в файле не являются прямыми указаниями для поисковых роботов, а служат больше рекомендациями. Исходя из практики, бот Яндекса больше придерживается установок, прописанных в файле, чем Google. Но не в этот раз. Как и в прошлом примере, «помучив» несколько раз страницу, он всё-таки «снизошёл» и удалил её из поиска как запрещённую в файле robots.txt.
2. Действительные недостаточно качественные страницы
В эту группу «я плох, бесполезен и никому не нужен» попадают страницы низкого качества, которые действительно являются таковыми.
2.1. Шаблонная генерация страниц
Часто шаблонное заполнение и генерация страниц влечёт за собой ошибки внутренней оптимизации: неуникальные Title, отсутствует Description, с h2 что-то не так и т. д.
Тут важно сказать, что пользователь без проблем поймёт разницу в страницах и для него они могут быть даже полезными, но он о них не узнает, так как роботы стоят на страже порядка не допустят попадания данных страниц в поиск.
Увидев Title на странице, долго не пришлось гадать, что с ней не так.
2.2. Плохое заполнение карточек товара
Создать карточку товара просто, а вот наполнить её качественным контентом, описанием товара, изображениями – не каждому под силу.
2.3. Листинг без листинга
- вряд ли такая страница попадёт в ТОП;
- вероятнее всего, показатель отказов на такой странице будет максимальный.
Об этом скажет и сам Яндекс, исключив страницу из поиска как недостаточно качественную.
2.4. Страницы с малым количеством контента
Несмотря на слова поддержки Яндекса, что важно не количество контента, а качество, его отсутствие – не очень хорошая идея.
Например, на этой странице, кроме шаблонной части и двух изображений, ничего нет.
2.5. Страницы, не предназначенные для поиска
В эту группу относятся страницы robots.txt, Sitemap, RSS-ленты.
Чуть ли не в каждом проекте можно встретить файл robots.txt
, удалённый из поиска как недостаточно качественная страница.
Не стоит паниковать, робот о нём знает и помнит. Страница просто не будет отображаться в поисковой выдаче – ну а зачем она там нужна?
XML- и HTML-карты сайта
также исключаются. Особенно если у вас многостраничная карта сайта – какая польза от неё в поиске?
Яндекс считает, что RSS-лентам в поиске тоже нет места.
2.6. Страницы с некорректным ответом сервера
В эту группу мы отнесём страницы, которые должны выдавать 404 ответ сервера, а вместо этого отвечают 200 ОК.
Например, это могут быть несуществующие страницы пагинации. Яндекс исключил восьмую страницу пагинации, при имеющихся семи.
Также это могут быть пустые страницы. В таком случае нужно анализировать и принимать решение: настраивать 404 ответ сервера или 301 редирект.
Google может удалить такие страницы, как SOFT 404, но об этом чуть позже.
2.7. «Нужно больше страниц»
Этим часто грешат агрегаторы и интернет-магазины, считая, что чем больше страниц, тем больше видимость и трафик. Страницы создают, не беря во внимание их качество и надобность.
Например, низкокачественными являются страницы, созданные под каждый вопрос из FAQ.
Часто бесполезные страницы создаются с помощью применения всех фильтров. Я соглашусь, что нужно думать о посетителях и удобстве пользования сайтом. Если у интернет-магазина большой ассортимент, то структура сайта должна состоять из множества категорий и подкатегорий, а также иметь различные фильтры. Но, во-первых, нужно ли создавать страницу для «Фарфоровых кукол 20 см с голубыми глазами в розовом платье с корзинкой» и, во-вторых, нужны ли такие страницы в поиске?
2.8. Технические ошибки
Яндекс не жалует страницы с pop-upом, который перекрывает текст без возможности его закрыть, или случайно созданные страницы под изображения.
Как должно быть и как реализовано на сайте:
Случайно созданная страница:
2.9. SOFT 404
Как мы уже говорили, Google прикрепляет страницам именно такой ярлык. Это могут быть пустые страницы или же страницы с очень малым количеством контента.
Влияние низкокачественных страниц на ранжирование
Сколько бы страниц ни было исключено из поиска по этой причине, на ранжировании остальных страниц сайта это никак не отразится.
Этот алгоритм удаления страниц анализирует каждую страницу отдельно, пытаясь ответить на вопрос: «Если страница будет в поиске, даст ли она релевантный ответ на вопрос пользователя?».
Как говорит Яндекс, страница может быть исключена из поиска даже в том случае, если отсутствуют запросы. Робот может вернуть её, если количество запросов, которым будет релевантна страница, увеличится.
Что же делать со страницами низкого качества
Принимать меры можно только после того, как вы определили причину исключения страницы из поиска. Без выяснения обстоятельств не стоит паниковать, сразу удалять страницы, настраивать 301 редирект.
Алгоритм действий после определения причины удаления страницы:
Дубли страниц: 301 редирект или rel=“canonical”.
Страницы сортировки, пагинации и GET-параметры: настраиваем rel=“canonical”/уникализируем страницы пагинации.
Неглавное зеркало : проверяем 301 редирект, отправляем на переиндексацию.
Страницы, закрытые в файле robots.txt: если страница не нужна в поиске, настраиваем метатег noindex.
Шаблонная генерация страниц: если страница нужна в поиске – уникализируем её, работаем над качеством.
Плохое заполнение карточек товара: добавляем описание товара, изображения и т. д.
Листинг без листинга:
- проверяем, приносили ли такие страницы трафик;
- определяем, нужны ли они пользователям;
- временно ли на них отсутствует товар или его не было и не будет.
Принимаем действия исходя из результата. Например, если страница приносила трафик и на ней временно отсутствует товар, можно вывести ленту с похожими товарами или со смежных категорий.
Страницы с малым количеством контента: определяем необходимость таких страниц в поиске, если они нужны – наполняем качественным контентом; не нужны – настраиваем метатег noindex.
Страницы, не предназначенные для поиска: тут всё просто – ничего не делаем, просто живём с этим.
Страницы с некорректным ответом сервера и SOFT 404: как бы ни логично это прозвучит, настраиваем корректный ответ сервера.
«Нужно больше страниц»: проверяем, приносили ли такие страницы трафик, определяем, нужны ли они пользователям в поиске, частотны ли запросы – принимаем действия исходя из результата.
Страницы с техническими ошибками: исправляем недочёты/если страницы не нужны – закрываем noindex/настраиваем 404 ответ сервера.
Заключение
К сожалению, выдача поисковых систем переполнена мусором, некачественным контентом и бессмысленными сгенерированными страницами. Яндекс и Google активно борются с такими страницами, исключая их из поиска. Мы за качественный контент. Поэтому, если у вас возникли трудности, вы наблюдаете, как поисковики удаляют страницы, ссылаясь на недостаточное качество, мы можем провести вашего сайта и написать инструкции по решению проблемы.
Думаю, не для кого не секрет что некоторые страницы сайта рано или поздно пропадают из поисковой системы, причин тому может быть множество — не оригинальный контент, во время обода страницы роботом она была недоступна, всевозможные нарушения со стороны веб-мастера и так далее.
Однако существует и другая достаточно распространённая причина, о которой нас уведомляет Вебмастер Яндекса — недостаточно качественная страница . Что значит недостаточно качественная страница, ? Давайте попробуем в этом разобраться.
Проблема исключения страниц сайта из индекса мне известна достаточно давно, но лично для меня это было не критично по одной простой причине — эти страницы были не слишком популярны. А на данном сайте подобных проблем вообще не замечалось, до недавнего времени:
На скриншоте видно, что робот Яндекса исключает страницу из поиска с пометкой что она недостаточно качественная, а при следующем обновлении поисковой базы страница снова попадает в индекс. Яндекс объясняет это тем что исключение происходит в результате работы специального алгоритма, который по неким причинам посчитал данную страницу не релевантной запросам.
Такой ответ меня если честно не устроил и мне захотелось узнать конкретную причину исключения страницы из индекса . Ведь вроде бы все хорошо — контент уникальный, в индексе страница достаточно давно и никаких проблем не было, кроме того изменений на данной странице никаких не производилось и вдруг страница стала некачественной.
И тут я решил написать в поддержку Яндекса чтобы получить конкретные ответы на все вышеперечисленные вопросы. Надо отдать должное техподдержке Яндекса, ответили действительно быстро. Скриншот ответа на мое обращение Вы можете увидеть ниже, почему именно скриншот поясню позднее :
Ответ в принципе понятен, специальный алгоритм оценивает страницу и строит прогноз ее показа в поисковой выдаче. Если прогноз неутешительный и алгоритм решил, что данную страницу пользователи попросту не смогут найти, то она исключается до лучших времен. Кроме того, техподдержка Яндекса уверяет что это никак не скажется на посещаемости сайта. Вроде бы все понятно и в то же время все стало еще запутанней.
Но каково было мое удивление, когда я проверил данный текст на уникальность. Как вы уже наверно догадались уникальность была прямо скажем на нуле, нашлось невероятное количество сайтов где данный ответ уже был опубликован и как минимуму все эти сайты помогают улучшить секретно ингредиентный алгоритм Яндекса. Собственно, именно поэтому я и сделал скриншот письма, дабы не плодить его копии.
Открыв парочку сайтов на которых публиковали письмо с ответом почему Яндекс удаляет страницы из поиска , я был удивлен еще больше увидев дату публикации от 2014 года. Получается Яндекс дает стандартные отписки уже как минимум 4 года. И никаких обещанных улучшений замечено не было.
Почему Яндекс удаляет страницы из поиска
Проанализировав все те страницы, которые время от времени Яндекс считает недостаточно качественными и исключает из поиска я пришел к вполне логичному выводу — все дело в поведенческих факторах. И лично мое видение примерно такое:
- Если пользователи находят страницу вашего сайта в поиске, но она не отвечает их запросу, они соответственно ее тут же закрывают, вот вам первый жирный минус для текущей страницы. Собственно, эта ситуация как раз таки говорит о нерелевантности страницы.
- Второй минус, который может получить та или иная страница возникает из-за того, что пришедшие на сайт пользователи упорно не хотят переходить на определенные страницы, они видят на них ссылки, но не переходят.
Конечно все это лично мои догадки, точной работы алгоритма думаю не знает никто кроме его разработчиков и сотрудников самого Яндекса (и то не всех). Но все эти догадки лично мне кажутся вполне логичными.
Ведь просто так исключить из поиска нерелевантную страницу я считаю излишним, максимум что с ней может произойти это потеря позиций, а вот если при всем при этом её перестанут посещать пользователи то тут уже есть повод задуматься о ее временном исключении. Но как только страница на страницу будут заходить посетители она вновь появляется в поиске, о чем свидетельствует первый скриншот.
Как решить проблему некачественных страниц? Если честно мое видение примерно такое — анализ запросов, удаление лишних ключей, оптимизация текста, обратные ссылки на текущие страницы.
| 400 | Неверный запрос | Сервер не может понять запрос из-за неправильного синтаксиса. |
| 401 | Несанкционированный запрос | Для доступа к документу требуется пароль или пользователь должен быть зарегистрирован. |
| 402 | Требуется оплата за запрос | Внутренняя ошибка или ошибка конфигурации на сервере. |
| 403 | Доступ к ресурсу запрещен | Доступ к документу запрещен. Чтобы страница была проиндексирована, разрешите к ней доступ. |
| 404 | Ресурс не найден | Документ не существует. Если вы удалили раздел сайта, вы можете использовать robots.txt, чтобы предотвратить доступ робота к нему. Если такой страницы на сайте никогда не было, игнорируйте эту ошибку, возможно, кто-то разместил неверную ссылку на ваш сайт. |
| 405 | Недействительный метод | Метод, определенный в запросе (Request-Line), не может быть применен для указанного ресурса, поэтому робот не может его проиндексировать. |
| 406 | Неприемлемый запрос | Требуемый документ существует, но формат неверен (язык или кодировка не поддерживаются роботом). |
| 407 | Требуется идентификация прокси или брандмауэра | Требуется регистрация на прокси-сервере. |
| 408 | Истекло время ожидания запроса | Сайту не удалось выполнить запрос в течение указанного времени, и робот отключился. |
| 409 | Конфликт | Запрос конфликтует с другим запросом или с конфигурацией сервера. |
| 410 | Ресурс недоступен | Запрошенный ресурс был окончательно удален с сайта. |
| 411 | Требуется длина | Сервер отказывается принять запрос без определенного заголовка Content-Length. Исправьте заголовки на своем сервере. Робот сможет проиндексировать страницу в следующий раз. |
| 412 | Ошибка обработки предварительного условия | Сервер обнаружил несоответствие в одном или нескольких полях заголовка запроса (сбой или ошибка в обработке предварительного условия). |
| 413 | Тело запроса превышает допустимый размер | Сервер отказывается обрабатывать запрос, потому что он больше, чем сервер может обработать. |
| 414 | URI запроса слишком длинный. | Сервер отказывается обрабатывать запрос, потому что URI (Request-URI), запрошенный роботом, длиннее, чем сервер может отобразить. |
| 415 | Неподдерживаемый тип MIME | Сервер отказывается обрабатывать запрос, потому что тело запроса имеет неподдерживаемый формат. |
| 416 | Диапазон не может быть обработан | Сервер отказывается обрабатывать запрос, потому что поле Range в заголовке запроса содержит недопустимый диапазон байтов. |
| 417 | Ошибка при ожидании | Сервер отказывается обрабатывать запрос, поскольку значение поля |
| 422 | Необработанный элемент | Сервер не может обработать один (или несколько) элементов запроса. |
| 423 | Заблокировано | Сервер отказывается обрабатывать запрос, потому что один из требуемых ресурсов заблокирован. |
| 424 | Неверная зависимость | Сервер отказывается обрабатывать запрос, так как один из зависимых ресурсов заблокирован. |
| 426 | Требуется обновление | Сервер запросил обновление соединения до SSL, но клиент не поддерживает SSL. |
| 429 | Слишком много запросов отправлено | Слишком много запросов отправлено за короткое время.Это может указывать, например, на попытку DDoS-атаки. Ответ может сопровождаться заголовком Retry-After, который указывает, через какое время запрос может быть повторен. Яндекс не учитывает этот заголовок. |
Неустранимые ошибки — веб-мастер. Справка
В этом разделе собраны решения типичных проблем категории «Неустранимые», которые обнаруживаются Яндекс.Вебмастером при диагностике сайта. Проблемы в этой категории приводят к исключению отдельных страниц или всего сайта из результатов поиска.- Главная страница возвращает ошибку
- Не удалось подключиться к серверу из-за ошибки DNS
- Индексирование сайта запрещено в файле robots.txt
- Обнаружены проблемы или нарушения безопасности
- Проверить наличие элемента noindex в HTML-коде страницы. Если найдете, удалите.
Зайдите в Яндекс.Вебмастер и посмотрите, какой код ответа страница вернула на запросы робота Яндекса в столбце Сейчас.Если код ответа отличается от 200 OK, проверьте, актуальна ли проблема, с помощью проверки ответа сервера.
При проверке ответа сервера обратите внимание на раздел «Содержимое страницы». Если отображается сообщение «Отсутствует содержимое страницы», проверьте настройки сервера:
HTTP-заголовок. Например, если он содержит «Content-length: 0», робот не сможет проиндексировать страницу.
Размер содержимого страницы. Он должен быть больше 0 и соответствовать заголовку HTTP.
После внесения изменений подождите, пока робот снова просканирует сайт. Вы также можете отправить страницу на переиндексацию, и робот повторно ее просканирует в течение двух недель.
Если в результате проверки страница отвечает кодом 200 OK и проблем с доступностью контента нет, то предупреждение в Яндекс.Вебмастере исчезнет через несколько дней.
Один раз в день робот-индексатор обращается к DNS-серверам, чтобы определить IP-адрес сервера, на котором расположен сайт.Если на сайте неправильно настроены записи DNS, робот не получает IP-адрес сайта. В результате сайт не может быть проиндексирован и добавлен в результаты поиска.
Проверьте правильность ответа сервера роботу индексирования. Если сайт по-прежнему недоступен, обратитесь к своему хостинг-провайдеру, чтобы исправить записи DNS вашего домена. При появлении доступа к сайту информация в Яндекс.Вебмастере обновится в течение нескольких дней.
Проблема с доступом к сайту может быть кратковременной.Если при повторной проверке ответа сервера вы не обнаружите ошибок, дождитесь обновления информации в Яндекс.Вебмастере. Это должно произойти в течение нескольких дней.
Если доменное имя не было продлено вовремя, сайт становится недоступным для индексации. Продлить регистрацию домена. После этого сообщение в Яндекс.Вебмастере исчезнет через несколько дней.
Робот-индексатор запрашивает файл robots.txt несколько раз в день и обновляет информацию о нем в своей базе данных.Если робот получает в ответ на запрос запрещающую директиву, в Яндекс.Вебмастере появляется предупреждение.
Проверьте содержимое файла robots.txt. Если запрещающая директива все еще присутствует, удалите ее из файла. Если вы не можете сделать это самостоятельно, обратитесь к своему хостинг-провайдеру или регистратору доменного имени. После удаления директивы данные в Яндекс.Вебмастере обновляются в течение нескольких дней.
Если доменное имя не было обновлено вовремя, файл robots.txt будет содержать запрещающие директивы для робота.Продлить регистрацию домена. После этого сообщение в Яндекс.Вебмастере исчезнет через несколько дней.
- Если обнаружено нарушение правил поиска
См. Описание нарушения и рекомендации по его устранению.
- Список возможных нарушений
- При обнаружении угрозы безопасности
Перейдите и выполните следующие действия:
Когда вы решите проблему:
Убедитесь, что проблема устранена.Если служба повторно обнаружит угрозу во время проверки, вы не сможете сообщить об исправлениях в течение месяца. После этого этот срок увеличится максимум до трех месяцев.
В интерфейсе Яндекс.Вебмастера зайдите и нажмите Все исправлено. Это даст дополнительный сигнал алгоритмам Яндекса о необходимости перепроверки сайта. Если проверка прошла успешно, ограничения будут сняты со временем и информация о нарушениях больше не будет отображаться.
| FATAL | |
| DISALLOWED_IN_ROBOTS | Сайт запрещен для индексации в файле robots.txt. |
| DNS_ERROR | Не удалось подключиться к серверу из-за ошибки DNS. |
| MAIN_PAGE_ERROR | Домашняя страница сайта возвращает ошибку. |
| УГРОЗЫ | Обнаружены угрозы или проблемы безопасности. |
| CRITICAL | |
| SLOW_AVG_RESPONSE_TIME | Медленный ответ сервера. Для получения дополнительной информации см. Этот раздел справки. |
| SSL_CERTIFICATE_ERROR | Неверные настройки сертификата SSL. Для получения дополнительной информации см. Этот раздел справки. |
| ВОЗМОЖНАЯ ПРОБЛЕМА | |
| BAD_ADVERTISEMENT | Форматы объявлений не соответствуют рекомендациям IAB Russia. |
| DOCUMENTS_MISSING_DESCRIPTION | Многие страницы не имеют метатега Description. |
| DOCUMENTS_MISSING_TITLE | Элемент заголовка отсутствует на многих страницах. |
| ERROR_IN_ROBOTS_TXT | Ошибки в файле robots.txt. |
| ERRORS_IN_SITEMAPS | В файле Sitemap обнаружены ошибки. |
| MAIN_MIRROR_IS_NOT_HTTPS | Главное зеркало сайта не использует протокол HTTPS. Мы рекомендуем использовать протокол HTTPS.Дополнительные сведения и инструкции по переключению протоколов см. В справке. |
| MAIN_PAGE_REDIRECTS | Главная страница перенаправляет на другой сайт. |
| NO_METRIKA_COUNTER_CRAWL_ENABLED | Сканирование сайта по тегам Яндекс.Метрики не включено. Подробнее об индексировании сайта с помощью тега Яндекс.Метрики см. В Справке. |
| NO_ROBOTS_TXT | Файл robots.txt не найден. |
| NO_SITEMAPS | Файлы Sitemap, используемые роботом, отсутствуют. |
| NO_SITEMAP_MODIFICATIONS | Файлы Sitemap давно не обновлялись. |
| NON_WORKING_VIDEO | Роботу не удалось проиндексировать видео на сайте. |
| SOFT_404 | Отображение несуществующих файлов и страниц настроено неправильно. |
| TOO_MANY_DOMAINS_ON_SEARCH | Поддомены сайта найдены в результатах поиска. |
| TOO_MANY_PAGE_DUPLICATES | Слишком много повторяющихся страниц. |
| РЕКОМЕНДАЦИЯ | |
| ПРОБЛЕМА FAVICON_PROBLEM | Файл значка не найден. Роботу не удалось загрузить файл изображения для отображения на вкладке браузера и рядом с названием сайта в результатах поиска. Дополнительные сведения об этой ошибке и способах ее устранения см. В разделе справки. |
| INCOMPLETE_SPRAV_COMPANY_PROFILE | Яндекс.Директория содержит неполную информацию об организации. |
| NO_CHATS | Чаты в поиске отсутствуют. |
| NO_METRIKA_COUNTER | Ошибка тега Яндекс.Метрики |
| NO_REGIONS | Не указан регион сайта. |
| NOT_IN_SPRAV | Сайт не зарегистрирован в Яндекс.Директории. |
| NOT_MOBILE_FRIENDLY | Сайт не оптимизирован для мобильных устройств. |
Что такое проверка ответа сервера в Яндексе для веб-мастеров?
Проверка ответа сервера Яндекса
Яндекс предлагает функцию под названием «Проверка ответа сервера», аналогичную функции выборки от Google, чтобы помочь веб-мастерам выявлять ошибки на страницах, которые не индексируются поисковыми роботами YandexBot.Чтобы использовать эту функцию, вы должны добавить и подтвердить свой сайт в Яндексе для веб-мастеров.
Как получить доступ к этой опции?
Ссылка на инструмент доступна в нескольких местах:
- После входа в свою учетную запись Яндекс. Инструменты для веб-мастеров вы увидите список параметров, доступных в правой части раздела «Мои сайты», включая ссылку «Проверка ответа сервера».
- Параметр «Коды HTTP» доступен в разделе «Индексирование».
- Параметр «Исключенная страница» доступен в разделе «Индексирование».
Проверка ответа сервера в разделе «Мои сайты»
Проверка ответа сервера по кодам HTTP
Как использовать этот инструмент проверки ответа сервера
Назначение этого инструмента — увидеть ответ, полученный ЯндексБотом, чтобы веб-мастера могли использовать результаты для исправления ошибки. Щелкните ссылку «Проверка ответа сервера», и вы увидите страницу, как показано ниже:
Проверка ответа сервера в Яндексе для веб-мастеров
- Введите URL-адрес вашей веб-страницы, для которой вы хотите устранить неполадки.URL-адреса с ошибками можно увидеть в разделе «Исключенные страницы». Не забудьте ввести правильный URL-адрес с WWW или без него, иначе вы получите совершенно другой ответ.
- Выберите тип робота-индексатора Яндекса, для доступа в Интернет выберите из списка вариант «Главный робот-индексатор Яндекса».
- Щелкните по кнопке «Проверить».
- Вы увидите результаты вместе с кодом ответа. Код ответа поможет вам проанализировать ошибку и соответствующим образом устранить неполадки.
- Щелкните ссылку «содержимое страницы», чтобы увидеть содержимое вашей страницы в том виде, в каком его видит ЯндексБот. В случае сайтов, зараженных вредоносным ПО, контент, который видят поисковые системы, будет отличаться от контента, который вы видите в браузере. Эта опция содержимого страницы поможет вам проверить, какой именно контент просматривает ЯндексБот, и принять меры по исправлению.
Как добавить свой сайт на WordPress в Инструменты Яндекса для веб-мастеров
Хотите подключить свой сайт к инструментам Яндекса для веб-мастеров?
Инструментыдля веб-мастеров, такие как поисковая консоль Google, Bing, Яндекс и т. Д., Помогают оптимизировать ваш сайт, отслеживать трафик, управлять роботами.txt, проверьте ошибки сайта и многое другое.
В этой статье мы расскажем, как добавить свой сайт на WordPress в инструменты Яндекс для веб-мастеров, чтобы отслеживать трафик из поисковых систем.
Что такое Яндекс?
Яндекс — популярная поисковая система, такая как Google и Bing, базирующаяся в России. Вы можете оптимизировать свой сайт для SEO в Яндексе, чтобы привлечь больше посетителей из России.
Яндекс имеет ряд инструментов, таких как универсальная поисковая система, поиск изображений, электронная почта, видео, карты и многое другое.В нем также есть инструменты для веб-мастеров, которые помогут вам ранжировать свой сайт, отслеживать статистику трафика, поисковые запросы, ключевые слова и многое другое.
Вы можете связать свой сайт WordPress с Яндексом с помощью плагина All in One SEO. Он работает аналогично консоли поиска Google и инструментам Bing для веб-мастеров.
Добавление сайта WordPress в Яндекс Инструменты для веб-мастеров
Перед тем, как мы начнем, вам понадобится учетная запись Яндекс. Инструменты для веб-мастеров, чтобы подключить ваш сайт. Создав учетную запись, вы можете войти на свой сайт WordPress, чтобы настроить инструменты Яндекс для веб-мастеров с помощью плагина All in One SEO.
Подробнее см. В нашем руководстве по настройке All in One SEO для WordPress.
Давайте посмотрим, как добавить свой сайт в инструменты Яндекс для веб-мастеров и сразу приступить к его оптимизации.
Шаг 1. Создайте аккаунт на Яндексе
Первое, что вам нужно сделать, это войти в свой аккаунт Яндекс. Если у вас нет аккаунта на Яндексе, вы можете создать его по этой ссылке.
После создания аккаунта вы попадете на страницу Яндекса для веб-мастеров.
На этой странице вам нужно нажать кнопку « + » в верхней панели, чтобы добавить свой сайт в Яндекс.
В поле адреса сайта вам нужно добавить полное доменное имя вашего сайта и нажать кнопку Добавить .
Примечание: Если ваш основной домен использует «www» в URL-адресе, вам необходимо добавить его перед доменом (например, www.wpbeginner.com).
На следующей странице вам будет предложено подтвердить право собственности на сайт, добавив мета-контент на свой сайт WordPress.
Скопируйте код содержимого с этой страницы, потому что он понадобится вам на шаге 2.
Шаг 2: Войдите в админку WordPress и добавьте код
Теперь вам нужно войти в админку WordPress и добавить проверочный код в настройки All in One SEO для веб-мастеров.
Бесплатная версия плагина All in One SEO также имеет функцию проверки веб-мастером. Их профессиональная версия поставляется с более мощными функциями SEO.
Просто перейдите на страницу All in One SEO »Общие настройки и щелкните пункт меню« Инструменты для веб-мастеров ».
Далее выберите блок «Яндекс. Инструменты для веб-мастеров».
Затем вам нужно вставить код в поле кода подтверждения Яндекса и нажать кнопку «Сохранить изменения».
После добавления кода на свой сайт WordPress вам нужно вернуться на страницу инструментов Яндекс для веб-мастеров, с которой вы скопировали код, и нажать кнопку Проверить , чтобы подтвердить право собственности.
После успешной проверки будет отображаться ваше имя пользователя, имеющего права на управление вашим сайтом в инструментах Яндекс для веб-мастеров.
Вы также можете делегировать права другим пользователям, добавив их имя пользователя и нажав кнопку Делегировать права .
Теперь, когда ваш сайт проверен и добавлен в инструменты Яндекса для веб-мастеров, вы можете просматривать статистику трафика, ошибки поиска, поисковые запросы, внутренние и внешние ссылки, информацию о сайте, анализ robots.txt, страницы аудита для мобильных устройств и многое другое на панели инструментов Яндекса. .
Вы можете использовать меню в левой части экрана, чтобы найти любую информацию, которая может вам понадобиться.
В инструментахЯндекс для веб-мастеров есть параметры оптимизации сайта, которые отфильтрованы от устранения неполадок до важных настроек, таких как robots.txt и .htaccess. Вы можете дополнительно оптимизировать свой robots.txt для SEO отдельно и регулярно выполнять задачи по обслуживанию WordPress, чтобы поддерживать свой сайт в актуальном состоянии.
Мы надеемся, что эта статья помогла вам узнать, как добавить свой сайт WordPress в инструменты Яндекс для веб-мастеров. Вы также можете увидеть наш список лучших плагинов и инструментов WordPress для SEO, которые вам следует использовать, и наши советы по оптимизации ваших сообщений в блоге для SEO, чтобы ранжировать ваш сайт в поисковых системах.
Если вам понравилась эта статья, то, пожалуйста, подпишитесь на наш канал YouTube для видеоуроков по WordPress. Вы также можете найти нас в Twitter и Facebook.
Отправить веб-сайт на Яндекс — Как использовать Яндекс Инструменты для веб-мастеров
Из этого туториала Вы узнаете, как отправить свой веб-сайт в Инструменты для веб-мастеров Яндекса вместе с файлом карты сайта. Сначала вам нужно будет создать файл карты сайта. Если вы еще этого не сделали, прочтите мою статью «Как создать файл Sitemap для вашего сайта WordPress или Как создать файл Sitemap для вашего HTML-сайта».Яндекс — российская поисковая система. Они запустили свою английскую версию еще в 2011 году. Если вы полагаетесь на глобальный трафик, а не просто на локальный, я рекомендую отправить им свой сайт.
Как добавить сайт в Яндекс Инструменты для веб-мастеров
Шаг 1
Сначала мы перейдем на сайт Яндекс. (http://webmaster.yandex.com/) Если у вас нет учетной записи на Яндексе, вы всегда можете зарегистрироваться и получить ее бесплатно.
Шаг 2
После регистрации перейдите на страницу сайта http: // webmaster.yandex.com/sites/ и нажмите кнопку «Добавить сайт».
Шаг 3
Затем введите свой домен и нажмите кнопку «Добавить».
Шаг 4
Теперь он попросит вас подтвердить свой веб-сайт. Есть несколько вариантов на выбор. Я рекомендую вариант с метатегом. Идите и скопируйте метатег.
Шаг 5
Если вы используете WordPress, я настоятельно рекомендую установить бесплатный плагин Yoast SEO.После установки перейдите в раздел «SEO → Общие» и перейдите на вкладку «Инструменты для веб-мастеров». Вставьте метатег Яндекса в раздел «Яндекс» и нажмите «Сохранить настройки».
Добавление метатега Яндекса в WordPressВы также можете отредактировать файл header.php в WordPress, перейдя в раздел «Внешний вид> Редактор» и щелкнув файл header.php. Затем вставьте метатег Яндекса после тега заголовка. Затем нажмите «Сохранить настройки». (Я настоятельно рекомендую сделать резервную копию файла header.php перед его редактированием)
Если вы не используете WordPress, просто поместите метатег в раздел заголовка вашего веб-сайта.
Шаг 6
Вернувшись в Яндекс, нажмите кнопку «Проверить».
Шаг 7
Теперь мы добавим ваш файл карты сайта. Щелкните «Параметры индексирования», а затем «Файлы Sitemap». Введите местоположение файла карты сайта и нажмите кнопку «Добавить». Ваша карта сайта, скорее всего, находится в корне вашего URL-адреса, например http://brianleejackson.com/sitemap_index.xml.
Шаг 8
Так же, как Google Webmaster Tools и Bing, он покажет вам статус файла карты сайта.Я всегда рекомендую подождать день или около того, прежде чем проверить, правильно ли была обработана ваша карта сайта на Яндексе. Он покажет вам, сколько страниц / сообщений было отправлено, а затем сколько фактически проиндексировано. Яндекс теперь будет автоматически сканировать ваш файл карты сайта на регулярной основе.
Также не забудьте проверить мои сообщения об отправке файла карты сайта в Google и Bing.
Как всегда, не стесняйтесь оставлять свои комментарии ниже!
Инструменты Яндекса для веб-мастеров — Преимущества и поддержка — SEOrigin.нетто
Yandex Webmaster Tools — это официальный бесплатный веб-сервис поисковой системы Яндекса, который позволяет владельцам сайтов отслеживать их эффективность в поиске Яндекса. Кроме того, в Яндексе для веб-мастеров есть множество утилит, которые могут улучшить видимость сайта в поиске. Первая версия Yandex Webmaster Tools была выпущена в 2007 году. Несмотря на схожесть многих функций Yandex Webmaster Tools и Google Search Console, это два инструмента, которые были разработаны независимо друг от друга.
Как получить доступ к инструментам Яндекс для веб-мастеров?
Для доступа к Яндекс. Инструментам для веб-мастеров необходимо зарегистрировать аккаунт. Все сервисы Яндекса, такие как Яндекс Инструменты для веб-мастеров, Почта, Карты, Яндекс Метрика, привязаны к одной учетной записи, как и Google. После регистрации учетной записи перейдите на https://webmaster.yandex.com/ и добавьте свой первый веб-сайт.
Как добавить сайт в Яндекс для веб-мастеров?
Процесс добавления сайта в Яндекс Инструменты для веб-мастеров состоит из двух простых шагов и не отличается от процесса добавления сайта в Google Search Console.
Добавить сайт в Яндекс Инструменты для веб-мастеров:
На верхней панели нажмите кнопку со значком плюса, а в форме ниже укажите URL вашего сайта:
После добавления сайта вам нужно будет его подтвердить.
Проверить сайт в Яндексе для веб-мастеров:
Есть четыре способа подтвердить свой веб-сайт:
- Подтверждение путем добавления метатега
- Проверка путем загрузки HTML-файла в корневую папку сайта
- Проверка путем добавления записи DNS
- Подтверждение с помощью WHOIS — это худший вариант из-за популярности Whois Privacy Protection.
Верификация в Яндексе для веб-мастеров с помощью метатега:
Скопируйте метатег и добавьте его в раздел
вашего сайта.Если ваш сайт работает на WordPress, то в плагине Yoast SEO есть встроенное поле для проверки сайта в Яндексе для веб-мастеров. Откройте вкладку Yoast → Общие → Инструменты для веб-мастеров и вставьте содержимое проверочного метатега в поле Яндекс для веб-мастеров.
После добавления метатега на ваш сайт нажмите кнопку «Проверить».
Верификация в Яндексе для веб-мастеров с помощью HTML-файла:
Загрузите HTML-файл и загрузите его в корневую папку вашего сайта и нажмите кнопку «Проверить».
Верификация в Яндексе для веб-мастеров с помощью записи DNS:
Чтобы использовать этот метод проверки, вам необходимо зайти в настройки DNS вашего домена и добавить запись TXT, указав данные, полученные в Яндексе для веб-мастеров, в поле значения.
После добавления записи DNS нажмите кнопку «Проверить».
Если проверка прошла успешно, вы можете приступить к работе с Яндексом для веб-мастеров. Имейте в виду, что не все данные появятся сразу, Яндексу требуется некоторое время (обычно пара дней), чтобы собрать и отобразить всю информацию.
Обзор инструментов Яндекса для веб-мастеров:
Сводка — это дашборд, где вы можете увидеть сводную информацию о вашем сайте.
- Проблемы с сайтом
- Статистика сканирования.
- Переходов по результатам поиска
- Показатель индекса качества сайта (SQI).
- Входящие ссылки.
Яндекс. Инструменты для веб-мастеров: Качество сайта.
В этом разделе представлена информация о метриках качества сайта, присвоенных Яндексом.
Индекс качества сайта Яндекса (SQI)
Индекс качества сайта Яндекса — это показатель популярности сайта. В алгоритм расчета входят следующие параметры: размер аудитории сайта, поведенческие факторы, авторитетность домена и т. Д.Этот показатель регулярно обновляется.
Значки Яндекс для веб-мастеров
Значки присваиваются веб-сайтам по мере достижения ими определенных целей. Значки появляются в результатах поиска, тем самым положительно влияя на CTR в поисковой выдаче.
На данный момент имеется 4 значка:
- Популярный сайт — выдается сайтам с высокой посещаемостью и постоянной аудиторией
- Выбор пользователей — выдается сайтам с высоким уровнем вовлеченности пользователей и лояльности аудитории
- Безопасное соединение — выдается, если сайт работает по протоколу HTTPS
- Turbo Pages — выдан для использования технологии Turbo Pages (некий аналог технологии AMP)
Яндекс для веб-мастеров: устранение неисправностей
В этом разделе отображается информация о проблемах сайта:
- Диагностика сайта — отображает информацию о проблемах с индексацией, проблемах оптимизации на странице.В этом разделе также даются рекомендации по улучшению сайта.
- Безопасность и нарушения — информация о проблемах безопасности и штрафах Яндекса
Инструменты Яндекса для веб-мастеров: поисковые запросы
В этом разделе представлена информация о поисковых запросах. Здесь вы можете увидеть общую статистику по кликам и показам, а также данные о кликах и показах для определенных страниц и разделов сайта.
Тенденции:
Раздел Тенденции позволяет сравнить ваш сайт с другими аналогичными сайтами.
Рекомендуемые запросы
В этом разделе вы можете запросить дополнительные ключевые слова, под которые можно оптимизировать ваш сайт.
Яндекс. Инструменты для веб-мастеров: раздел индексирования
В этом разделе собрана статистика индексации, а также инструменты для ее улучшения.
Статистика сканирования
В этом разделе вы можете увидеть статистику сканирования Яндекс-ботов. Функциональные возможности в целом идентичны разделу «Статистика сканирования» в устаревших инструментах Google Search Console.
Страницы с возможностью поиска
Здесь вы можете увидеть все страницы, проиндексированные Яндексом. Этот раздел почти идентичен разделу Покрытие в Google Search Console.
Структура сайта
В этом разделе вы можете увидеть структуру сайта, как ее видит робот Яндекс. Страницы организованы в кластеры URL.
Проверить статус URL
Здесь вы можете проверить статус страницы, доступна ли она для бота Яндекса, запрещена ли индексация и т. Д.Отправленные URL-адреса можно пометить как важные и добавить в Мониторинг важных страниц.
Мониторинг важных страниц.
Это очень полезная функция, которая позволяет вам добавлять самые важные страницы вашего веб-сайта для постоянного мониторинга и получать уведомления, если что-то пойдет не так.
Переиндексировать страницы
Здесь вы можете запросить переиндексирование страниц. Эта функция идентична функции индексирования запросов в инструменте проверки URL-адресов в консоли поиска Google, с той лишь разницей, что вы можете добавить список из нескольких URL-адресов (дневной лимит составляет 110 URL-адресов.)
Файлы Sitemap
Раздел для добавления файлов Sitemap.xml для ускорения индексации сайта. Аналогично разделу Sitemap в консоли поиска Google.
Переместить объект
Этот раздел нужен, когда вы решили перенести сайт в другой домен (или другую версию домена — WWW / не WWW и HTTP / HTTPS). Аналогично изменению адреса в консоли поиска Google.
Настройки скорости сканирования
Здесь вы можете настроить скорость сканирования вашего сайта.Функциональность идентична настройкам в Google Search Console.
Инструменты Яндекса для веб-мастеров: отображение в поиске
В этом разделе показано, как сайт выглядит в результатах поиска. Вы можете увидеть, отображается ли сайт в специальных результатах (аналогично избранным сниппетам в Google), а также какие данные отображаются во фрагменте (значки, дополнительные ссылки, рейтинг, адреса и т. Д.).
Яндекс. Инструменты для веб-мастеров: ссылки
В этом разделе содержится информация о ссылках: входящих и исходящих.В разделе Внутренние ссылки вы можете увидеть все ваши обратные ссылки, обнаруженные Яндекс Ботом, а также битые обратные ссылки.
Яндекс. Инструменты для веб-мастеров: информация о сайте
В этом разделе вы можете установить регистр букв для отображения названия вашего сайта в результатах поиска, установить региональный таргетинг, настроить дополнительные ссылки.
Инструменты Яндекса для веб-мастеров: дополнительные инструменты
- Анализатор Robots.txt — позволяет проверить и подтвердить ваш файл robots.txt. Подобно роботам Google.txt Tester Tool Валидатор
- Sitemap.xml позволяет проверить ваш sitemap.xml. Вы можете загрузить XML-файл, указать URL-адрес или просто вставить содержимое файла sitemap.xml.
- Server Response Checker — позволяет проверять HTTP-коды ответов URL-адресов для различных ботов Яндекса.
- Удалить страницы из поиска — позволяет исключить страницы или кластеры URL из результатов поиска. Идентично инструменту удаления URL-адресов в Google Search Console
- Аудит страниц на совместимость с мобильными устройствами — проверьте, правильно ли отображается страница на мобильных устройствах.