Отправление страницы сайта на переобход. Руководство разработчика

Отправляет URL на переобход.

1. Формат запроса
2. Формат ответа
3. Коды ответа

В теле запроса передайте URL страницы, которую нужно переобойти.

POST https://api.webmaster.yandex.net/v4/user/{ Тип: int64. ID пользователя. Необходим для вызова любых ресурсов API Яндекс Вебмастера. Чтобы получить его, используйте метод GET /v4/user."}}">}/hosts/{Тип: host id (string). ID сайта. Чтобы получить его, используйте метод GET /v4/user/{user-id}/hosts."}}">}/recrawl/queue

{
  "url": "http://example.  com"
}

<Data>
    <Описание
URL страницы, отправляемой на переобход.
"}}">>http://example.com</url>
</Data>

{
  "task_id": "c7fe80c0-36e3-11e6-8b2d-df96aa592c0a",
  "quota_remainder": 1
}

<Data>  
  <Обязательный
Да
Тип
\n                  UUID\n                
Описание
 
ID задачи на переобход. 
"}}">>c7fe80c0-36e3-11e6-8b2d-df96aa592c0a</task_id>  
  <Обязательный
Да
Тип
int32\n                
Описание
Остаток суточной квоты. 
"}}">>1</quota_remainder>
</Data>

Чтобы посмотреть структуру ответа подробнее, нажмите на причину.

{
  "error_code": "INVALID_URL",
  "error_message": "some string"
}

<Data>
  <
 Описание
Код ошибки.
"}}">>INVALID_URL</error_code>  
  <Описание
Сообщение об ошибке. 
"}}">>some string</error_message>
</Data>

{
  "error_code": "INVALID_USER_ID",
  "available_user_id": 1,
  "error_message": "Invalid user id. {user_id} should be used."
}

 html#errors__403" data-code-language="xml"><Data>
    <Описание 
Код ошибки.
"}}">>INVALID_USER_ID</error_code>
    <Описание
ID пользователя, от имени которого разрешен доступ. 
"}}">>1</available_user_id>
    <Описание
Сообщение об ошибке. 
"}}">>Invalid user id. {user_id} should be used.</error_message>
</Data>

{
  "error_code": "HOST_NOT_VERIFIED",
  "host_id": "http:ya.ru:80",
  "error_message": "some string"
}

<Data>
  <Описание
Код ошибки.
"}}">>HOST_NOT_VERIFIED</error_code>  
  <Описание
ID запрошенного сайта.
  
"}}">>http:ya.ru:80</host_id>
  <Описание
Сообщение об ошибке. 
"}}">>some string</error_message>
</Data>

{
  "error_code": "URL_ALREADY_ADDED",
  "error_message": "some string"
}

<Data>
  <Описание
Код ошибки.
"}}">>URL_ALREADY_ADDED</error_code>  
  <Описание
Сообщение об ошибке. 
"}}">>some string</error_message>
</Data>

{
  "error_code": "QUOTA_EXCEEDED",
  "daily_quota": 1,
  "exceeded_until": "2016-01-01T00:00:00,000+0300",
  "error_message": "some string"
}

<Data>
  <error_code>QUOTA_EXCEEDED</error_code>  
  <daily_quota>1</daily_quota>  
  <exceeded_until>2016-01-01T00:00:00,000+0300</exceeded_until>  
  <error_message>some string</error_message>
</Data>

Была ли статья полезна?

Переобход страниц в Вебмастере Яндекса: как улучшить индексацию

SEO оптимизация

15.11.2022

2.8k.

Даже начинающие интернет-бизнесмены в курсе, что «Переобход страниц» в Вебмастере Яндекса — нужная опция, позволяющая ускорять индексацию и переиндексацию страниц. Сегодня, опираясь на свой более чем 10-летний опыт сайтостроения, расскажу, в каких ситуациях этот инструмент особенно пригодится, и как им пользоваться правильно.

Содержание

1. Переобход страниц в Вебмастере: что это такое?
2. Зачем может понадобиться переиндексация
3. Частые причины плохой индексации
4. Инструкция: как использовать инструмент
5. Отправка на переобход
6. Отслеживание статусов
7. Мониторинг страниц
8. Что делать, если произошла ошибка?
9. Полный переобход по Sitemap
10. Обход по счетчикам Метрики
11. IndexNow как альтернативный способ
12. Советы по ускорению индексации
13. Проверьте запреты
14. Устраните ошибки
15. Проанализируйте структуру
16. Поработайте над внешним ссылочным
17. Не забывайте про обновления

Переобход страниц в Вебмастере: что это такое?

Первый шаг на пути к получению трафика с новых страниц (неважно, будь это информационные статьи или карточки с товарами в интернет-магазине) — это их быстрая индексация поисковыми системами (ПС) с последующим ранжированием и попаданием в ТОП выдачи.

Быстроробот забирает информацию в поисковую базу между обновлениями основного индекса, поэтому все собранные им изменения будут учтены и проявлены не сразу, а только после очередного апдейта поисковика.

Зачем может понадобиться переиндексация

Рекомендую активно использовать данный инструментарий при внесении изменений на свои проекты. Причины, по которым может понадобиться переобход, многочисленны.

Вот самые распространенные случаи.

• На сайте появились обновления, о которых вы хотите быстро сообщить поисковику: свежая статья, новость, карточка товара (если это интернет-магазин), категория, страница меток и так далее.
• При обходе поисковым ботом возникли технические ошибки: робот не смог обойти страницу (посыпались ошибки в Вебмастере), либо она выпала из индекса (например, как малополезная), и вы желаете поскорее вернуть ее обратно.
• Вы только создали проект и хотите как можно быстрее сообщить о нем Яндексу. Молодые веб-ресурсы могут долго не индексироваться. Для них переобход особенно полезен и дает дополнительный сигнал ПС о том, что с проектом все в порядке.
• Ежедневно публикуете большое количество новых материалов. В этом случае переобходчику следует сообщить про наиболее важные и интересные из них (расставить приоритеты), чтобы они первыми попали в основной индекс.
• Вы внесли важные правки на каком-либо урле. Например, добавили или удалили лишние ключи из текста, поменяли title и description, чтобы сделать страницу более релевантной нужным запросам. Или, наоборот, почистили ее от переспама. Здесь также требуется ускоренно оповестить поисковик об изменениях.
• У вас молодой развивающийся ресурс, с которого регулярно воруют тексты. Учитывая, что инструмент «Оригинальные тексты» в Вебмастере был закрыт несколько лет назад, сейчас особенно важно своевременно сообщать Яндексу о новом контенте. Ваши странички должны индексироваться первыми, чтобы ПС понимала, кто создатель, а кто — вор, выкладывающий неоригинальные статьи.
• Если вы не успели закрыть от индексации все дубли, и некоторые из них попали в основную выдачу вместо продвигаемых страниц, нужно быстро внести правки и отправить на переобход.

Когда на проекте нет особых проблем с индексацией и корректно настроен Sitemap в формате xml, дополнительно использовать инструмент переобхода необязательно. Но это в идеале.

Частые причины плохой индексации

Самые популярные причины медленной или только частичной индексации интернет-ресурса:

• Сайт скрыт от поисковиков (как правило, сразу и от Яндекса, и от Google) и не индексируется вовсе.
• Санкции и фильтры ПС.
• Много технических недочетов.
• Сложная многоуровневая структура, при которой искомая страница может оказаться в 5–6 кликах от главной страницы.
• Длительное отсутствие обновлений.
• Отсутствие внешних и внутренних ссылок.

Инструкция: как использовать инструмент

Отправка на переобход

Запустить инструмент очень просто.

1. Сайт уже должен быть добавлен в Панель Вебмастера. Зайдите в нее, нажав на соответствующий адрес в списке «Мои сайты».
2. По умолчанию откроется раздел со сводной информацией. Но вам нужно в левой части экрана среди ссылок на разделы найти ссылку «Инструменты» и кликнуть по ней.
3. После этого раскроется список подразделов, среди которых будет и «Переобход страниц». Кликните по нему.
4. В верхней части открывшейся страницы появится большое пустое поле. Введите в него список URL-адресов, которые быстроробот должен обойти в первую очередь. Допустимо указывать вместо полного относительный путь без домена, например /pereobhod.html.
5. Нажмите кнопку «Отправить».

Вот и все! Как только краулер обойдет страницы, в табличке ниже поменяется статус задачи.

Когда Яндекс только запустил этот инструмент, в сутки можно было отправить на индексацию всего 20 веб-адресов. Сейчас лимиты рассчитываются индивидуально и коррелируют с качеством сайта.

Отслеживание статусов

Как понять, что переобход сработал? На странице инструмента под полем для ввода адресов размещена таблица, где для каждого урла отображается статус и дата отправки.

Есть три типа статусов:

• «В очереди» — заявка на переобход нужной страницы принята и будет обработана в течение нескольких дней.
• «Робот обошёл» — то же самое, что «Успешно». Это значит, что робот посетил страницу и успешно забрал данные в базу. Теперь осталось дождаться ближайшего апдейта, чтобы обновления появились в поиске.
• «Ошибка» — краулер не смог получить доступ к странице, а значит, не переиндексировал ее.

Мониторинг страниц

После запуска переобхода важно своевременно отслеживать все статусы.

Чтобы не пришлось каждый раз заходить в этот раздел и проверять руками, выполните следующие действия:

1. Настройте отслеживание самых ценных URL, нажав напротив них кнопку «Отслеживать».
2. После этого кнопка сменится ссылкой «Уже отслеживается». Нажав на нее, вы перейдете в раздел Я.Вебмастера «Мониторинг важных страниц».
3. Здесь будет предоставлена более подробная информация по отслеживаемым страницам, включая title, description, canonical, дату последнего обхода, код ответа сервера, а также текущий статус страницы в поисковой базе.
4. Настройте уведомления (например, на ваш e-mail или в специальный раздел), кликнув по значку шестеренки в правом верхнем углу, чтобы всегда быть в курсе.

Что делать, если произошла ошибка?

В таком случае вам нужно проверить, доступна ли она. Проще всего это сделать в том же Вебмастере, в разделе «Инструменты» – «Проверка ответа сервера».

Добавьте проблемный адрес в поле «Опрашиваемый URL», из выпадающего списка выберите «Основной робот Яндекса» (если проверяете обычную страницу, а не мультимедийные данные) и нажмите «Проверить».

Корректный ответ сервера — 200 OK. Если у вас такой же, отправьте страницу на переобход повторно. Такое случается, пусть и нечасто. В любом ином случае действуйте исходя из ошибки, на которую укажет инструмент.

Полный переобход по Sitemap

Для больших сайтов неудобно вручную добавлять страницы на переобход. Гораздо проще массово запросить индексацию роботом всех страниц. Это тоже можно сделать прямо в Я.Вебмастере при условии, что у вас правильно настроена xml-карта.

1. Найдите в разделе «Индексирование» пункт «Файлы Sitemap» и перейдите на эту страницу.
2. У вас отобразятся все загруженные ранее файлы, относящиеся к карте сайта в виде небольшой таблички.
3. Напротив нужного файлика между столбцами «Источник» и «Статус» нажмите на значок круговой ссылки. Это действие запустит полный обход по содержащимся в sitemap урлам.

Действующие ограничения:

• запуск массового обхода по карте возможен только единожды в месяц;
• единовременно можно отправить только 10 файлов-источников.

Обход по счетчикам Метрики

Еще один и далеко не последний по удобству способ сообщить Яндексу об обновлениях на своем веб-проекте — подключить обход по счетчику Метрики.

Пошаговый алгоритм действий:

1. Добавьте код счетчика Метрики на свой интернет-проект (если еще этого не сделали).
2. Нажмите напротив настраиваемого сайта справа на иконку с шестеренкой.
3. Вы попадете на страницу, где осталось лишь нажать кнопку «Привязать», отправив запрос на привязку, и скопировать номер счетчика. Если и Панель Вебмастера, и Метрика для этого ресурса расположены на одном аккаунте, все произойдет автоматически.
4. Следом перейдите в Я.Вебмастер в «Настройки» – «Привязка к Яндекс Метрике».
5. Кликните мышкой «Подтвердить» в строке с ID вашего счетчика.
6. В разделе «Индексирование» включите соответствующий тумблер в столбце «Обход». Этим действием вы запустите обход по счетчикам.

IndexNow как альтернативный способ

Не так давно Яндекс ввел поддержку протокола IndexNow, который позволяет практически мгновенно уведомлять ПС о последних изменениях, удалении или добавлении свежего контента.

И самый простой способ подключения для WP реализован в отдельной вкладке плагина Clearfy Pro.

Советы по ускорению индексации

Если на сайте замечены проблемы с индексацией: она отсутствует либо происходит слишком медленно, расскажу, что можно предпринять.

Проверьте запреты

Если стоит запрет на индексирование, боты не будут заходить на него в принципе. Решение проблемы зависит от того, каким способом была установлена блокировка обхода.

• В файле robots.txt. Проверьте, не закрыты ли важные разделы или сайт целиком с помощью директивы «Disallow».
• В настройках движка. Например, в админке WordPress в «Настройки» – «Чтение» достаточно поставить всего одну галочку «Попросить поисковые системы не индексировать сайт», чтобы роботы перестали заходить.
• В HTTP-заголовке X-Robot-Tag. Посмотрите, какие страницы закрыты с помощью этого заголовка и директив в нем «noindex, nofollow» в файле конфигурации .htaccess на вашем сервере.

Был случай, когда запрета на индексацию не стояло, но страницы начали массово выпадать из индекса. По совету техподдержки хостинга в файле .htaccess заблокировали отдельные IP-адреса. Оказалось, некоторые из них принадлежали краулерам самого Яндекса.

Устраните ошибки

Обязательно проанализируйте все ошибки, которые появились в Вебмастере. Для этого вам понадобятся два подраздела из группы «Индексирование»:

• «Статистика обхода»;
• «Страницы в поиске».

Здесь адреса можно просмотреть вручную, настроив фильтры по HTTP-коду и статусу. Если страничек слишком много, скачайте таблицы со всеми нужными параметрами данных в формате xls или csv, выгрузите в Excel, проанализируйте, исправьте ошибки, после чего отправьте на переобход.

Проанализируйте структуру

Сложная, плохо организованная структура — серьезная помеха для роботов ПС.

• Большой DFI (Distance from Index), или расстояние от главной. Сильно влияет на поведение роботов. На ресурсах, где много страниц, нужный url находится в 5, а то и в 6–7 кликах от главной, наблюдаются проблемы с индексацией. Чем меньше это значение, тем чаще на страницу заходит краулер как на приоритетную. Поэтому старайтесь уже на этапе создания сайта продумать структуру так, чтобы на любой урл можно было попасть не более чем за 3 клика.
• Сиротские, или зомби-страницы, как окрестил их Михаил Шакин, — те, на которые не ссылается ни один внутренний url: ни раздел, ни меню, ни другие странички, ничего. Их ПС индексируют со скрипом: сложно определить релевантность, да и попасть роботу по этому адресу, чтобы отсканировать, еще нужно суметь. Данная проблема решается внутренней перелинковкой. Если организовать ее правильно, можно бонусом подтянуть в ТОП многие запросы.

Поработайте над внешним ссылочным

Дополнительно улучшить индексацию можно за счет качественных внешних ссылок.

Это отдельная обширная тема, но если вкратце: ищите для размещения трастовые площадки с высоким ИКС (индексом качества) и хорошим трафиком. Важно, чтобы по ссылке переходили пользователи, иначе она не будет работать в полную силу.

Не забывайте про обновления

Долгое время нет обновлений? Это сигнал для ПС, что проект заброшен и им никто не занимается. Чем реже вы публикуете новые материалы, тем реже будет заходить бот, чтобы не тратить краулинговый бюджет напрасно.

Регулярные обновления контента и добавление новых страниц — залог успеха. Яндекс обращает на это особое внимание, дает приоритет в ранжировании и чаще отправляет бота на индексацию.

Как редирект влияет на индексацию?

Как ускорить индексацию страниц, которые отдавали 404 ответ?

Как поисковики относятся к URL c хэш-символами?

Как переобход страниц может повлиять на ранжирование?

Теперь вам известно не только как отправить странички на переобход в Панели Вебмастера, но и все остальные способы форсирования индексации в Яндексе.

Пожалуйста, оцените материал:

Ольга

По профессии инженер. Выпускница кафедры «Компьютерные технологии управления». Создаю сайты на WordPress с 2009 года.

Структура сайта — Вебмастер. Справка

Яндекс.Вебмастер показывает разделы сайта, содержащие не менее 10 страниц и составляющие более 1% от общего количества страниц, загруженных в базу поиска.

Представленные данные помогают определить, загружает ли робот разделы сайта, предназначенные для пользователей. Вы можете запретить загрузку страниц из определенных разделов сайта с помощью файла robots.txt.

Примечание. Если вы видите в Яндекс.Вебмастере какие-то разделы, которых нет на сайте, скорее всего, ссылки на них размещены на других сайтах. Чтобы робот не сканировал ссылки, запретите индексацию разделов сайта директивой Disallow в файле robots.txt.

Вы можете получить информацию об индексации любого раздела сайта, даже если он не составляет 1% от всех страниц, загруженных в базу поисковой системы. Чтобы получить эти данные, нажмите кнопку Добавить раздел и укажите раздел, начинающийся с «/». Например, «/каталог1».

Вы можете использовать оператор * для указания неточного совпадения с названием раздела сайта:

Изменения вступят в силу через несколько дней.

Что означает «загружено»?

Количество страниц вашего сайта, к которым обращался робот Яндекса. Это могут быть как проиндексированные страницы, так и страницы, которые вернули ошибку.

Что означает «страницы, доступные в поиске»?

Страницы, которые входят в результаты поиска Яндекса. Страница может отсутствовать в результатах поиска, если она дублирует содержимое другой страницы, содержит спам или вирусы, перенаправляет на другой URL-адрес или если произошла ошибка загрузки.

Чтобы узнать, почему страница отсутствует в поиске Яндекса, воспользуйтесь инструментом Проверить статус URL.

Почему не все страницы раздела проиндексированы?

Скорее всего, прошло мало времени с тех пор, как робот обнаружил сайт. Обновите файл Sitemap и подождите, пока робот его проиндексирует.

Как запретить роботу Яндекса посещать страницы в том или ином разделе?

Чтобы запретить индексацию раздела сайта, введите в файле robots.txt следующее:

 User-agent: Яндекс
Disallow: /section/ 

При следующей индексации сайта робот учтет это и удалит раздел. Исключения для файла robots.txt описаны в разделе роботы Яндекса в журналах сервера.

Расскажите, о чем ваш вопрос, чтобы мы могли направить вас к нужному специалисту:

Яндекс.Вебмастер показывает разделы сайта, которые содержат не менее 10 страниц и составляют более 1% от общего количества страниц, загружаемых в база данных поиска.

Раздел соответствует заданным условиям, но не отображается в Яндекс.Вебмастере

Как парсить страницы поиска Яндекса

Используйте самый эффективный API для краулинга и парсинга страниц Яндекса уже сейчас!

• Высокомасштабируемые API с неограниченной пропускной способностью, использующие наши всемирные прокси.
• Улучшен искусственным интеллектом для обхода обнаружения ботов и CAPTCHA.
• Высококачественные вращающиеся прокси с практически нулевым временем простоя.
• Получите 1000 бесплатных запросов при регистрации. Подписка не требуется!

Создайте бесплатную учетную запись, а затем подайте заявку с панели управления.

Yandex N.V. в настоящее время является крупнейшей технологической компанией в России, предлагающей различные виды продуктов и услуг. Они наиболее известны своей поисковой системой Яндекс и другими сервисами, такими как электронная почта, карты и браузер. В настоящее время они занимают первое место по доле рынка в России, опережая Google на несколько процентов. Так что неудивительно, если вы захотите заполучить эти ценные данные. Однако, если вашему бизнесу требуется постоянный доступ к страницам Яндекса, вам может быть все труднее выполнять парсинг из-за таких препятствий, как CAPTCHA и IP-блокировки.

При этом Crawlbase понимает, что именно необходимо для значительного улучшения вашего рабочего процесса. Мы предоставляем лучшие инструменты, чтобы избежать запросов на блокировку, сбоев прокси и капч при попытке сканирования страниц Яндекса. Чтобы гарантировать успешное выполнение каждого запроса, наш API построен на основе тысяч вращающихся прокси-серверов по всему миру. Вместе с нашим самым передовым искусственным интеллектом наша платформа станет вашим универсальным решением для всех ваших потребностей в парсинге.

Безопасный доступ к общедоступным данным из поисковой системы Яндекса Результаты

Наш API создан на основе тысяч домашних прокси-серверов и прокси-серверов центров обработки данных, расположенных по всему миру, чтобы гарантировать, что ваш поисковый робот останется анонимным, и при этом эффективно обходит блокировки или CAPTCHA, которые Яндекс постоянно вам бросает.

Легко интегрируйте наш API в существующую систему, чтобы вы и ваша команда могли быстро начать извлекать ценные данные из результатов поиска Яндекса.

Начните сканирование за считанные минуты

Комплексное решение для сбора данных

Crawlbase идеально подходит для начинающих и экспертов, малых и больших проектов, случайных пользователей и разработчиков.

Используйте наш API сканирования, чтобы получить полный исходный код HTML и извлечь весь контент, необходимый для вашего бизнеса.

Делайте скриншоты любых страниц Яндекса в высоком разрешении, если хотите отслеживать любые визуальные изменения с помощью нашего API Скриншотов.

Заканчивается место для хранения? Отправляйте просканированные страницы прямо в облако с помощью облачного хранилища Crawlbase.

Для крупных проектов можно перейти на Crawler с асинхронными обратными вызовами, чтобы сократить затраты, повторные попытки и пропускную способность.

Эффективно очищайте страницы Яндекса без компромиссов

API можно использовать не только для поисковой выдачи Яндекса, но и с такими продуктами Яндекса, как карта и браузер. Мы создали наш API для максимально точной обработки каждого запроса. При скорости по умолчанию 20 запросов в секунду и среднем времени отклика от 4 до 10 секунд наш API считается одним из самых быстрых на рынке.

Сканирование и парсинг Яндекса

Отправляйте любые API-запросы с минимальными усилиями

Наши продукты обладают высокой масштабируемостью. Используйте API отдельно и сканируйте отдельные результаты поисковой выдачи Яндекса или интегрируйте базовую часть API в свою текущую систему и начните парсить тысячи или даже миллионы страниц за короткий промежуток времени.

Получите ключ аутентификации API, зарегистрировавшись, и попробуйте свой первый вызов с помощью простого запроса cURL:

Часто задаваемые вопросы

Могу ли я вместо извлечения исходного кода HTML получить очищенный контент с помощью API?

Да, наш Crawling API поставляется с необязательным универсальным парсером данных для Яндекса. Если вы хотите увидеть фактические результаты, мы рекомендуем протестировать его, используя ваши бесплатные запросы после регистрации.