Ускорение при переобходе страниц в Яндекс вебмастере: возможность настройки

Для того чтобы новость, пост в блоге или заполненная карточка с товаром начала работать и приносить трафик, необходимо, чтобы она была проиндексирована поисковыми системами (ПС) и попала в выдачу.

Для ускорения этого процесса и существует функция переобхода. Это как отправить напоминание роботу о том, что с ресурсом все в порядке и пора бы пустить его в работу.

Чем может быть вызвана необходимость переобхода

Этот инструмент применяется, когда в проекте появились какие-то изменения:

• на сайте появилась новая статья, пост, новость;
• обновились или добавились карточки в интернет-магазине;
• возникли технические ошибки (робот не смог обойти).

Причины медленной индексации

Это могут быть проблемы с дублями, ошибками (например, 404), неправильными ссылками. Также ресурс может быть закрыт от индексации для ПС. А еще проект может пострадать, если вы давно не выкладывали новый материал. Уделите внимание структуре сайта: когда от главной до последней страницы требуется более пяти кликов, это стопорит обход краулерами.

Как запустить в Yandex.webmaster

Решить эту проблему можно, запустив ручной переобход в Яндекс.Вебмастер.

Последовательная переиндексация

1. Переходим в раздел «Индексирование» -> «Переобход страниц»  
2. В появившемся поле добавляем адреса, которые нужно проиндексировать и нажимаем «Отправить» В день можно отправлять не более двадцати страниц.
3. Смотрим статус (в случае успеха напротив адреса должно быть «Робот обошел». 

Переобход по Sitemap

Чтобы не возиться с каждой страницей отдельно, в случае если у вас большой сайт и имеется Sitemap, можно запустить переобход сразу всех адресов.

Важно! Страницы, которые отсутствуют в карте сайта, проиндексированы не будут.

1. Открываем вкладку «Индексирование» -> «Файлы Sitemap». 
2. Нажимаем кнопку, выделенную на скрине, и ждем, пока краулер перепроверит ресурс.  

Процедуру можно проводить не чаще раза в месяц, переобход занимает до семи дней.

Что делать, если появился статус «Ошибка»

После отправки ресурса на переиндексацию в графе «Статус» можно увидеть, что адрес находится в очереди или что переобход совершен — «Робот обошел». Однако бывает и такое, что выходит ошибка: краулер не смог посетить страницу. В этом случае необходимо проверить, доступна ли она.

Открываем в Яндекс.Вебмастер вкладку «Проверка ответа сервера», добавляем в поле «Опрашиваемый URL» пропущенный адрес и нажимаем «Проверить». 

Если все в порядке и страница доступна для робота, отправьте ее на переобход повторно. В противном случае устраняем ошибку (инструмент проверки подскажет, какую) и переходим к переиндексации.

Функция отслеживания статуса

Чтобы вовремя узнать о наличии ошибки и устранить ее, полезно воспользоваться отслеживанием. Для этого нажимаем на кнопку «Отслеживать» и настраиваем уведомления. 

Зависимость ранжирования от переобхода в Яндексе и Гугле

Напрямую переобход на позицию сайта в поисковой выдаче не влияет. Однако чем быстрее ресурс с качественным уникальным контентом, обросший хорошей ссылочной массой, будет проиндексирован, тем быстрее он попадет в ТОП.

Считается, что, если есть хороший Sitemap, то нет особых причин прибегать к инструменту переиндексации. В то же время, если вы столкнулись с ошибками страниц или попали под санкции или фильтры ПС и после устранения проблем хочется, чтобы качественный контент побыстрее был просмотрен краулерами и пользователи смогли увидеть его.

В таких случаях имеет смысл воспользоваться переобходом. А также это помогает избежать сложностей с авторским правом (если страница вора вашего уникального контента будет проиндексирована быстрее, то вы можете попасть под фильтры как человек, выложивший неуникальную статью или описание товара).

А вы пользуетесь инструментом переобхода? Делитесь опытом в комментариях!

Новый Яндекс.Вебмастер больше не в бете

Яндекс.Вебмастер выходит из беты и становится основной версией.

Помимо всех возможностей старого Вебмастера, новая версия сервиса умеет:

• проводить техническую диагностику ресурса,
• отслеживать показатели, связанные с его представлением в поиске,
• проверять страницы на mobile-friendliness,
• искать нарушения на ресурсе,
• указывать страницы для приоритетного переобхода.

Разделами «Оригинальные тексты», «Входящие ссылки», «Валидатор XML» и «Удалить URL» пока можно пользоваться только в старой версии сервиса.  

Старая версия сервиса будет поддерживаться еще несколько месяцев на домене old.webmaster.yandex.ru, пока команда Яндекса не убедится, что основные сценарии работы с сервисом сохранены и улучшены. 

Александр Гайдуков, руководитель отдела комплексной оптимизации сайтов iSEO

Новый Вебмастер стал удобнее по многим показателям. Наиболее функциональной выглядит часть с ошибками и санкциями: появилась сгруппированная информация об ошибках, возможность отслеживания изменений, исправлений и ошибок по времени и самое главное — «переобход» страниц для более быстрой переиндексации внесенных на сайт исправлений.  

Еще одна новая удобная фитча — выгрузка списка проиндексированных страниц. В разделе Региональность теперь показывают не только регион заданный в Вебмастере, но и какой регион задан в Каталоге и Справочнике. 

Наши специалисты также отмечают увеличенную скорость работы сервиса, что особенно актуально для агентств с большим количеством проектов. К минусам можно отнести неактуальность некоторых данных, как количество входящих ссылок или страниц в поиске, о чем Вебмастер сам же и сообщает. Также из-за другого алгоритма подсчета количества ошибок и страниц в индексе в некоторых случаях невозможно сопоставить старые и новые данные, что затрудняет аналитику сайта. В новой версии реализован еще не весь функционал, например, добавление в оригинальные тексты идет из старого интерфейса, добавление страниц на удаление еще в разработке. Поэтому новую версию можно считать все-таки не совсем релизом.

Ольга Степанова, менеджер поискового продвижения агентства i-Media

Сначала хотелось бы обозначить плюсы новой версии Яндекс. Вебмастера.

Интерфейс системы стал значительно лучше: приятное оформление и понятная навигация – это упрощает работу SEO-специалиста. Появились и полезные инструменты, которых не хватало в старой версии сайта:

• Диагностика сайта – незаменимый инструмент от Яндекса. Если сайт понизился в ранжировании в поиске Яндекса, то данные из этого раздела проверяются в первую очередь. Мне этот сервис уже не раз помогал в работе: то сайт понизили в ранжировании из-за низкой скорости загрузки страниц, то появились проблемы с метаданными на странице, то на сайте обнаружен вредоносный код или нарушения. Все это можно легко отследить в разделе «Диагностика» и, не тратя время на выявление проблемы, моментально приступить к ее решению.
• Проверка мобильных страниц – не менее важный и полезный инструмент. Теперь стало проще обосновать перед клиентом мысль о необходимости приводить сайт к «мобилопригодному» формату, для этого достаточно прислать ссылку на раздел или скриншот с выявленными проблемами.
• Расширение раздела с поисковыми запросами оказалось полезным с точки зрения детального анализа запросов, с которых посетители приходят на сайт, ‒ а также запросов, с которых никто не приходит. Появление CTR и значений «показы/переходы» помогает охарактеризовать запрос как целевой или нецелевой. Из этого можно сделать вывод о том, над какими запросами работать детальнее, а какие запросы не релевантны нашему сайту. Также стало проще собирать семантическое ядро целевых запросов сайта.

Мы верим, что сервис будет обновляться и улучшать свой функционал. Пусть в скором времени десятки инструментов, которыми мы пользуемся в работе, заменятся одним – Вебмастером Яндекса.

Теперь о «хотелках».

Хотелось бы увидеть в новом Вебмастере функции из старой версии, к примеру – «Содержимое сайта».

В разделе «Входящие ссылки» хотелось бы видеть более точную и достоверную информацию с регулярным обновлением. Также считаю крайне необходимой функцию отмены учета внешних ссылок.

От инструмента «Скорость загрузки страниц» хотелось бы получать более развернутые сведения, а не среднее значение по сайту. А от инструмента «Проверка мобильных страниц» ‒ наоборот, общую статистику по количеству оптимизированных и неоптимизированных страниц.

При диагностике тегов title и description хотелось бы получать выгрузку всех ошибок с указанием проблемы: длина, информативность, дубли, отсутствие данных и т.д.

Хотелось бы увидеть функцию пакетной онлайн-проверки страниц сайта на ответ сервера.

Иногда сталкиваемся со сложностью выгрузки информации из инструментов сервиса, ожидаем появления функции выбора формата для загрузки на ПК.

Мы все еще не теряем надежды, что у нас появится возможность управлять или корректировать заголовки и описание сниппетов страниц, т.к. их «рандомное» формирование иногда может не соответствовать ожиданиям пользователей.

В общем, пророчим сервису большое будущее и терпеливо ждем от него новых полезных доработок.

Источник: Блог для вебмастеров

Как добавить сайт в поиск?

Страницы сайта появляются в результатах поиска после Яндекса Система, которая сканирует страницы сайта и загружает их в свою базу данных.

«}}»> посетите сайт. Чтобы робот сканировал и загружал страницы:

Шаг 1. Сделать страницы сайта видимыми для робота

Сообщить роботу Яндекса об изменениях на сайте можно несколькими способами:

9 0019

Метод	Автоматизация	Рекомендации
Файл Sitemap		Создайте и обновите файл. Это позволит вам отправлять информацию обо всех URL-адресах сайта. Робот может обработать содержимое файла при следующем обходе сайта.
Сканирование страниц с тегом Яндекс.Метрики		Установите тег Яндекс.Метрики на свой сайт и привяжите его к сайту в Яндекс.Вебмастере. Таким образом вы можете сообщить нам о популярных страницах.
Переиндексация страниц	—	На странице Индексация → Переиндексация страниц в Яндекс.Вебмастере вы можете подать сигнал роботу на посещение определенных страниц сайта. Вы можете использовать этот метод, чтобы сообщить об изменениях на самых важных или новых страницах.
Протокол IndexNow		Помогает автоматически сообщать об обновленных, новых и удаленных страницах. Требуются навыки работы с API.

Совет. Поддерживайте качество сайта. Чем больше полезных страниц будет найдено и загружено в базу роботом, тем больше вероятность того, что они будут отображаться в результатах поиска. Подробнее читайте в разделе Признаки некачественного сайта.

Шаг 2. Скрыть закрытый контент

Тип страницы	Что делать?
Страницы действий. Например, добавление товара в корзину или сравнение товаров.	Запрет индексации страницы
Корзина с товаром.
Личная информация. Например, адрес доставки и номер телефона клиента.	Ограничение доступа к данным путем аутентификации пользователей на сайте
Страница сайта, которая дублирует содержимое другой страницы того же сайта, но имеет другой URL. «}}»>. Например, URL с дополнительными параметрами (https://example.com/page?id=1).	Укажите, какая страница предпочтительнее для включения в результаты поиска

После того, как робот просканирует сайт, страницы могут появляться в поиске в течение двух недель.

Кроме того, роботы могут узнавать о сайте, открывая ссылки с других ресурсов. Это может занять некоторое время и не гарантирует, что робот просканирует все страницы, которые вы хотите показать в результатах поиска.

Подробнее о том, как работает поиск Яндекса

Чтобы отслеживать индексацию и позиции сайта в результатах поиска, добавьте сайт в Яндекс.Вебмастер. В Яндекс.Вебмастере вы также можете посмотреть, как сайт отображается в результатах поиска и какие улучшения вы можете внести — откройте страницу Просмотр в результатах поиска.

Убедитесь, что:

• Страницы доступны для робота (используйте инструмент проверки ответа сервера).

• Информация о страницах присутствует в файле Sitemap.

• Доступны ссылки на страницы с ранее проиндексированных страниц сайта.

• Директивы Disallow и noindexprohibiting, а также HTML-элемент noindex предотвращают индексацию только технических и дублирующих страниц.

Воспользуйтесь инструментом Проверить статус URL, чтобы проверить, что робот Яндекса знает о странице. Чтобы сообщить роботу о новых или обновленных страницах, отправьте их на переиндексацию.

Если страницы доступны для робота и отправлены на переиндексацию, но не появляются в поиске более двух недель, заполните форму ниже:

YandexBot API

Подтвердите, используется ли IP-адрес ЯндексБотом

Поиск

Обнаружены последние пользовательские агенты YandexBot

Мобильный пользовательский агент YandexBot

Mozilla/5.0 (iPhone; ЦП iPhone OS 15_4_1, например Mac OS X) AppleWebKit/605.1.15 (KHTML, например Gecko) Version/15. 4 Mobile/15E148 Safari/604.1 (совместимый; YandexMobileBot/3.0 ; +http:/ /yandex.com/bots)

Пользовательский агент YandexBot для настольных ПК

Mozilla/5.0 (совместимый; YandexBot/3.0 ; +http://yandex.com/bots) AppleWebKit/537.36 (KHTML, как Gecko) Chrome/108.0 .0.0

Документация по API ЯндексБота

API ЯндексБота позволяет легко проверить, официально ли используется IP-адрес ЯндексБотом для обхода сети, включая ваш сайт.

API YandexBot — ​​это REST API, доступ к которому осуществляется через HTTPS с использованием метода GET по заранее заданному URL-адресу. Он возвращает либо JSON, либо обычный текстовый ответ.

Преимущества использования YandexBot API:

• Запросы к YandexBot API бесплатны и анонимны.
• API ЯндексБота работает с приложениями и языками сценариев, т.е. см. ниже реализации Google Spreadsheets и Python.
• API ЯндексБота содержит исторические записи, а это означает, что IP-адреса, которые, возможно, когда-то использовались, но в настоящее время не разрешаются, все еще могут быть идентифицированы при анализе лог-файла по историческим логам.
• Поскольку YandexBot сканирует Интернет, база данных API YandexBot постоянно и автоматически обновляется последними IP-адресами и пользовательскими агентами.
• Вместо того, чтобы выполнять два отдельных поиска (прямой и обратный) с помощью команды «host» в командной строке локально, этот API предоставляет единый метод поиска, к которому можно получить доступ из любого места.
• API ЯндексБота содержит одну из самых больших бесплатных и общедоступных коллекций IP-адресов для ЯндексБота.

Этот API YandexBot написан и предоставлен бывшим инженером Google и техническим экспертом по поисковой оптимизации Фили.

Аутентификация

Этот YandexBot API является бесплатным и доступен без учетных данных. Если у вас есть какие-либо вопросы об использовании API YandexBot в более широком масштабе или вы хотите обсудить способы внутреннего использования этой базы данных, свяжитесь с Fili.

> Ограничение скорости
В настоящее время API ЯндексБота ограничено скоростью до 1000 запросов в час для каждого IP-адреса. Если вам нужно больше, свяжитесь с Фили.

> СОВЕТ
Оптимизируйте свои запросы к API ЯндексБота и избегайте превышения лимита скорости путем локального кэширования 200 статусных ответов от API ЯндексБота не менее чем на 6 часов перед повторной отправкой дубликата запроса в API ЯндексБота.

Краткое руководство

Вы можете запросить конечную точку API с помощью запроса GET и заменить IPADDRESS IP-адресом, который вы хотите запросить.

 https://yandexbot.seoapi.com/v1/validate/?ip=IP-АДРЕС
     

Определения конечных точек

По умолчанию API вернет ответ JSON с:

• телом, содержащим «valid»: «true», если запрошенный IP-адрес найден в базе данных,
• или телом, содержащим «valid»: «false» если запрашиваемый IP-адрес не найден в базе данных.

В качестве альтернативы также можно запросить только BOOLEAN в виде обычного текста (полезно в некоторых ситуациях, например, в таблицах Google — см. ниже).

Параметры URL, принимаемые API ЯндексБота:

Параметр URL	Значение
ip	( строка ) IP-адрес, IPv4 или IPv6
compact	( целое число ) по умолчанию 0 и возвращает ответ JSON, 1 вернет простой текстовый ответ

Фрагменты кода

Вот несколько примеров того, как запрашивать API YandexBot:

Командная строка (curl) Пример 1

 curl -i https://yandexbot. seoapi.com /v1/проверить/?ip=95.108.213.153
     

Также можно использовать этот API в таблицах Google, добавив &compact=1 к URL-адресу API.

В следующем примере содержимое ячейки A1 содержит IP-адрес для проверки и заменяет в формуле =IMPORTDATA __IPADDRESS__. Обязательно замените идентификатор ячейки при использовании этого в таблицах Google.

Таблицы Google

 =ИМПОРТДАННЫХ(ЗАМЕНИТЬ("https://yandexbot.seoapi.com/v1/validate/?ip=__IPADDRESS__&compact=1","__IPADDRESS__",A1))
     

Также возможно использовать этот API в вашем коде с Python или подобными другими языками.

Python 3

 запросы на импорт
г = запросы.получить(
    'https://yandexbot.seoapi.com/v1/validate/?ip=95.108.213.153'
).json()
print(r.get('действительный', нет))
     

Примеры ответов

Если параметр URL compact отсутствует или имеет значение 0 (ноль), API возвращает ответ JSON с запрошенным IP-адресом, отметкой времени запроса и логическим значением, если IP-адрес подтверждается.

Пример 1: ответ JSON

 {
    "ip": "95.108.213.153",
    "отметка времени": 1615471876.25665,
    "действительный": правда
}
     

Пример 2: ответ JSON

 {
    "ip": "127.0.0.1",
    "отметка времени": 1615471876.25665,
    "действительно": ложь
}
     

Если параметр URL compact присутствует и имеет значение 1 (один), API возвращает простой текстовый ответ с логическим значением, если IP-адрес подтверждается.

Пример 3: простой текстовый (компактный) ответ

Пример 4: простой текстовый (компактный) ответ

Последние добавленные IP-адреса .62

213.180.203.192

5.255.231.27

95.108.213.232

213.180.203.35

5.255.231.72

95.108.213.122

95.108.213.85

95.108.213.161 9 0125

141.8.142.105

141.8.142.104

95.108.213.142

213.180.203.101

213.180.203.103

95.108.213.145

5. 255.231.53

213.180.203.193

21 3.180.203.32

95.108.213.221

95.108.213.137

95.108.213.201

213.180.203.175 9 0125

Отказ от ответственности

Данные, отображаемые на этом веб-сайте, автоматически собираются из нескольких источников, в основном веб-сайтов и доменов, находящихся под контролем бывшего инженера Google Фили. API-интерфейсы SEO на этом веб-сайте постоянно развиваются, и со временем будут добавляться улучшения.

Любые данные и/или запросы, отправленные на этот веб-сайт или его API, используются только для проверки того, связан ли IP-адрес с известным поисковым ботом. Если нет, IP-адрес (или любые другие представленные данные) полностью игнорируются и игнорируются. Только после отдельного подтверждения того, что IP-адрес является IP-адресом поискового бота, этот IP-адрес анонимно сохраняется для будущих запросов.

Возможны ошибки. Несмотря на все усилия по поддержанию кодовой базы и качества данных, никаких гарантий не может быть и не будет.