Отправление страницы сайта на переобход. Руководство разработчика

Отправляет URL на переобход.

1. Формат запроса
2. Формат ответа
3. Коды ответа

В теле запроса передайте URL страницы, которую нужно переобойти.

POST https://api.webmaster.yandex.net/v4/user/{ Тип: int64. ID пользователя. Необходим для вызова любых ресурсов API Яндекс Вебмастера. Чтобы получить его, используйте метод GET /v4/user."}}">}/hosts/{Тип: host id (string). ID сайта. Чтобы получить его, используйте метод GET /v4/user/{user-id}/hosts."}}">}/recrawl/queue

{
  "url": "http://example.  com"
}

<Data>
    <Описание
URL страницы, отправляемой на переобход.
"}}">>http://example.com</url>
</Data>

{
  "task_id": "c7fe80c0-36e3-11e6-8b2d-df96aa592c0a",
  "quota_remainder": 1
}

<Data>  
  <Обязательный
Да
Тип
\n                  UUID\n                
Описание
 
ID задачи на переобход. 
"}}">>c7fe80c0-36e3-11e6-8b2d-df96aa592c0a</task_id>  
  <Обязательный
Да
Тип
int32\n                
Описание
Остаток суточной квоты. 
"}}">>1</quota_remainder>
</Data>

Чтобы посмотреть структуру ответа подробнее, нажмите на причину.

{
  "error_code": "INVALID_URL",
  "error_message": "some string"
}

<Data>
  <
 Описание
Код ошибки.
"}}">>INVALID_URL</error_code>  
  <Описание
Сообщение об ошибке. 
"}}">>some string</error_message>
</Data>

{
  "error_code": "INVALID_USER_ID",
  "available_user_id": 1,
  "error_message": "Invalid user id. {user_id} should be used."
}

 html#errors__403" data-code-language="xml"><Data>
    < Описание
Код ошибки.
"}}">>INVALID_USER_ID</error_code>
    <Описание
ID пользователя, от имени которого разрешен доступ. 
"}}">>1</available_user_id>
    <Описание
Сообщение об ошибке. 
"}}">>Invalid user id. {user_id} should be used.</error_message>
</Data>

{
  "error_code": "HOST_NOT_VERIFIED",
  "host_id": "http:ya.ru:80",
  "error_message": "some string"
}

<Data>
  <Описание
Код ошибки.
"}}">>HOST_NOT_VERIFIED</error_code>  
  <Описание
ID запрошенного сайта.
  
"}}">>http:ya.ru:80</host_id>
  <Описание
Сообщение об ошибке. 
"}}">>some string</error_message>
</Data>

{
  "error_code": "URL_ALREADY_ADDED",
  "error_message": "some string"
}

<Data>
  <Описание
Код ошибки.
"}}">>URL_ALREADY_ADDED</error_code>  
  <Описание
Сообщение об ошибке. 
"}}">>some string</error_message>
</Data>

{
  "error_code": "QUOTA_EXCEEDED",
  "daily_quota": 1,
  "exceeded_until": "2016-01-01T00:00:00,000+0300",
  "error_message": "some string"
}

<Data>
  <error_code>QUOTA_EXCEEDED</error_code>  
  <daily_quota>1</daily_quota>  
  <exceeded_until>2016-01-01T00:00:00,000+0300</exceeded_until>  
  <error_message>some string</error_message>
</Data>

Была ли статья полезна?

Как быстро добавить страницу в индекс Яндекса и Google

#Оптимизация сайта #Индексация

#37

Апрель’17

19

Апрель’17

19

Новый ваш сайт или давно действующий в определенный момент вам понадобиться добавление страниц в поиск. Отдельная страница акции, новый товар или контент — он должен быть проиндексирован и быть видимым для поисковых системы. Мы расскажем как это сделать.

Чтобы быстро добавить страницу в поиск Яндекса, необходимо войти в сервис Яндекс.Вебмастер и воспользоваться инструментом «Переобход страниц».

Важно! Права на сайт должны быть заранее подтверждены.

Чтобы добавить страницу в индекс Google, надо войти в Search Console, выбрать необходимый сайт. Далее в разделе «Сканирование» выбрать «Просмотреть как Googlebot», добавить адрес новой страницы, выбрать «Сканировать» и далее кликнуть на «Запросить индексирование».

Для ускорения индексации страниц также рекомендуется:

• автоматическое добавление новой страницы в карту сайта sitemap.xml;
• наличие ссылок на новую страницу с популярных разделов вашего сайта или с внешних веб-ресурсов.

Похожее

Оптимизация сайта Индексация

Атрибут rel=canonical

Оптимизация сайта Индексация

Индексация ссылок

Оптимизация сайта Индексация

#133

Атрибут rel=canonical

Октябрь’22

10086

Оптимизация сайта Индексация

#119

Индексация ссылок

Апрель’19

Оптимизация сайта Индексация

#111

Описание и настройка директивы Clean-param

Апрель’19

7746

Оптимизация сайта Индексация

#104

Как привлечь быстроробота Яндекс

Февраль’19

2050

Оптимизация сайта Индексация

#94

Проверка индекса сайта. Как найти мусорные или недостающие страницы

Декабрь’18

8060

Оптимизация сайта Индексация

#86

Как закрыть ссылки и текст от поисковых систем

Ноябрь’18

5098

Оптимизация сайта Индексация

#82

Почему Яндекс удаляет страницы из поиска

Ноябрь’18

2866

Оптимизация сайта Индексация

#60

Правильная индексация страниц пагинации

Февраль’18

7118

Оптимизация сайта Индексация

#47

Как узнать дату индексации страницы

Ноябрь’17

6971

Оптимизация сайта Индексация

#46

Какие страницы надо закрывать от индексации

Ноябрь’17

9350

Оптимизация сайта Индексация

#38

Как удалить страницу из индекса Яндекса и Google

Ноябрь’17

12457

Оптимизация сайта Индексация

#7

Как закрыть сайт от индексации

Ноябрь’17

8447

Оптимизация сайта Индексация

#2

Как проверить индексацию сайта в поисковых системах

Ноябрь’17

16062

Оптимизация сайта Индексация

#1

Как ускорить индексацию сайта

Ноябрь’17

4980

Как переиндексировать сайт в поисковиках

Индексация сайта позволяет отобразить его страницы в поисковой системе. За такую работу отвечают специальные алгоритмы – роботы. Они сканируют всю информацию на сайте: картинки, фотографии, видео и так далее. Если все прошло успешно, то веб-страницы добавляются в базу и начинают появляться в поисковике при релевантных запросах пользователей.

Как сказать роботу, чтобы он просканировал сайт и отправил его в поисковую систему? Об этом и многом другом поговорим в сегодняшней статье.

Как работает индексирование

Поисковый робот сканирует страницу, и она попадает в Google, Яндекс или другую систему. Но между этими процессами протекают еще и внутренние. После обхода страницы вся полученная информация отправляется в базу данных – индекс, которая хранится в поисковике. Следующим этапом данные распределяются по двум путям: для выстраивания ранжирования (сортировки сайта в поисковой выдаче) и для служебных целей.

При сканировании работы исследуют не только видимую для пользователей текстовую информацию, но и другие параметры: атрибуты документа, информацию из тегов alt, title и description, скрипты.  

И даже если робот обошел весь сайт, не факт, что он окажется в топе. На это влияет уникальность страницы и полезность контента. Если робот посчитает, что информация не соответствует действительности либо недостаточно уникальна, он может не добавить ее в индекс.

Процесс индексации в Google и Яндекс происходит немного по-разному. 

Как оно работает в Google

Первым делом стоит сказать, что точные алгоритмы индексирования страниц засекречены. Как работают Google и Яндекс, знают только сотрудники компаний, но поговорить о базовых принципах можно.

В Google используется технология Mobile-first, которая в первую очередь сканирует мобильную версию сайта. Таким образом, если десктопная версия отлично проработана и заслуживает внимания, а про мобильную версию забыли, то вероятность индексирования будет крайне мала.

Другая особенность Гугла – проверка краулингового бюджета – регулярности и объема посещения сайта роботом. Чем выше этот показатель, тем быстрее будут проходить индексацию новые страницы. Как именно он рассчитывается, неизвестно, но многие специалисты предполагают, что это связано с возрастом сайта и частотой его обновлений.

Как оно работает в Яндекс

В отличие от Гугла, Яндекс не берется в первую очередь за мобильную версию – он изучает, как устроена десктопная версия сайта. С краулинговым бюджетом все наоборот – по крайне мере, официально. Индексирование происходит вне зависимости от траста и других показателей ресурса.

На попадание в поисковик может влиять количество страниц в сети, которые выкладываете вы и другие пользователи. А чтобы добиться высоких результатов в выдаче, сайт должен быть популярным. Чем больше пользователей его посещают, тем лучше.

И еще одна особенность – поисковик не сканирует на сайте файлы размером больше 10 Мб. Это следует учитывать, если вы собираетесь покорять Яндекс.

Комьюнити теперь в Телеграм

Подпишитесь и будьте в курсе последних IT-новостей

Подписаться

Как настроить индексацию сайта

Чаще всего индексация сайта происходит автоматически. Для настройки индексации сайта нам потребуется файл robots.txt. Обычно он генерируется CMS и выглядит примерно так:

Может показаться, что в файле написано что-то сложное и непонятное, но не переживайте – сейчас во всем разберемся. Вот на что стоит обратить внимание:

• user-agent – показывает, для какого поисковика настраивается индексирование;
• disallow – показывает, какие страницы не должны попасть в индекс.

Теперь поговорим о другом файле под названием sitemap.xml. Уже из названия понятно, что это карта сайта. Она показывает некую иерархию – как устроена структура ресурса. Это необходимо для упрощения считывания данных поисковыми роботами. В файл вносятся все страницы, которые должны быть проиндексированы.

Такой файл, как правило, создается всего в несколько кликов с помощью плагинов CMS. Например, на WordPress можно воспользоваться AIOSEO. В настройках плагина достаточно перевести ползунок в режим «Включено».

Чтобы сайт максимально быстро индексировался, следует обеспечить внутреннюю перелинковку. Тогда поисковый робот без проблем будет переходить по страницам и быстро найдет новый документ.

После этого вам останется пройти базовую настройку в Google Search Console и Яндекс.Вебмастере. Там нет ничего сложного – интерфейс сам подскажет, что нужно делать.

Можно ли ускорить индексирование

Как таковой заветной кнопки для ускорения индексирования не существует, но можно «поторопить» робота. Это будет полезно, если индексация страницы идет слишком долго, например, из-за какого-то сбоя.

Сделать это можно через личный кабинет Яндекс.Вебмастера. Первым делом необходимо перейти в раздел «Переобход страниц».

После этого вводим адрес той страницы, которую нужно проиндексировать, и нажимаем «Отправить».

Так можно поступать не только с новыми страницами, но и при редактировании старых. Важное замечание – количество отправок в сутки ограничено, причем все зависит от возраста и траста сайта.

У Google ускорение индексации состоит из двух этапов – сначала переходим в Search Console и в верхней части вводим необходимый адрес. Затем нажимаем на клавишу «Enter».

На отразившейся странице будет доступна информация по данной странице. Чтобы ее проиндексировать, достаточно нажать на кнопку:

Как удалить страницу из результатов поисковой системы

Существует три способа удаления страницы: использование тега robots, добавление запрещающей директивы в системный файл robots.txt и использование специальных инструментов Google или Яндекс.

Первый способ подразумевает добавление тега в <head> страницы:

<meta name="robots" content="noindex, follow"/>

Чтобы добавить запрещенную директиву, необходимо прописать «пожелания» для робота. Они могут быть не выполнены, но чаще всего срабатывают. Для этого в файле robots.txt прописываем:

User-agent: Google или Yandex

Disallow: /указывается ссылка на желаемую страницу, которую нужно удалить из выдачи

И последний, пожалуй, самый простой способ – воспользоваться Google Search Console или Яндекс. Вебмастером. В настройках сервисов есть отдельная вкладка, позволяющая удалить любую страницу сайта. Вот так это выглядит в Вебмастере:

Чтобы попасть на эту страницу, необходимо в личном кабинете перейти в «Инструменты» и выбрать «Удаление страниц из поиска».

Как понять, что страница есть в поисковике

Один из самых простых способов понять, проиндексировалась ли страница – это ввести запрос в поисковую систему. Выглядит он как ссылка на страницу, например: https://timeweb.com/ru/community/articles/luchshie-rossiyskie-servisy-email.

Если мы введем такой запрос в гугле, то увидим эту страницу в выдаче:

Соответственно, если бы страница не проиндексировалась, то по данному запросу мы ее не увидели.

Также мы можем посмотреть все страницы, которые были добавлены в поисковик. Для этого необязательно сотню раз вводить адреса страниц. Достаточно воспользоваться простой формулой:

site:адрес сайта

При таком запросе будет отображен список всех страниц, которые есть в данном поисковике. Вот, например, как это выглядит в Гугле:

Также вы можете посмотреть индексацию страниц через Яндекс.Вебмастер в разделе «Индексирование» -> «Страницы в поиске».

Почему проиндексированная страница пропала из выдачи?

Этому может способствовать множество различных причин. Вот одни из самых распространенных:

• запрашиваемая страница выдает 301 код ошибки;
• запрашиваемая страница выдает 400 и 500 коды ошибок;
• в файле robots.txt стоит запрет на индексирование;
• на странице есть дублирующий контент;
• наложены санкции за покупные ссылки, некачественный или устаревший контент.

При любых сложностях с индексированием в первую очередь следует смотреть рассмотренные выше файлы – robots.txt и sitemap.xml. Если там все в порядке, то необходимо проверить, нет ли каких-либо ограничивающих фильтров. Если и с ними все хорошо, то лучше всего обратиться к администратору хостинга.

Выводы

Индексация страниц в поисковиках – это один из важнейших этапов успешного SEO-продвижения. Если вы хотите, чтобы ваши страницы посещали другие пользователи, то необходимо регулярно контролировать синхронизацию с популярными поисковыми системами.

Главное правило – это качественный контент, который ценится людьми и ботами. Старайтесь, чтобы сайт был хорошим для пользователей не только в плане контента, но и удобства использования. Все это может повлиять на индексацию как с позитивной, так и с негативной стороны.

Как использовать IndexNow Позвольте Bing, Yandex и другим поисковым системам мгновенно сканировать и индексировать ваш контент

IndexNow — это простой способ для владельцев веб-сайтов мгновенно информировать поисковые системы о последних изменениях контента на их веб-сайте. В двух словах, IndexNow — это простая проверка связи, позволяющая поисковым системам знать, что URL-адрес и его содержимое были добавлены, обновлены или удалены, что позволяет поисковым системам быстро отражать это изменение в своих результатах поиска.

Вы знаете, что поисковым системам может потребоваться от нескольких дней до нескольких недель, чтобы обнаружить, что содержание изменилось, поскольку поисковые системы не часто сканируют каждый URL. Благодаря IndexNow поисковые системы сразу узнают «измененные URL-адреса, что помогает им расставить приоритеты при сканировании этих URL-адресов и тем самым ограничивает органическое сканирование для обнаружения нового контента».

Поисковые системы с поддержкой IndexNow

IndexNow предлагается в соответствии с условиями лицензии Creative Commons Attribution-ShareAlike и поддерживается Microsoft Bing, Яндекс.

Таким образом, пионерами поисковых систем, поддерживающих IndexNow, являются Bing и Яндекс.

У поисковых систем есть конечные точки для отправки URL:

• Microsoft Bing 

https://www.bing.com/indexnow?url=url-changed&key=your-key

• Яндекс

https://yandex.com/indexnow?url=url-changed&key=your-key

IndexNow начнет работу в ноябре 2021 г.

Документация

Отправка одного URL (замените URL-адресом, предоставленным поисковой системой), отправьте запрос на следующий URL-адрес:

https:///indexnow?url=url-changed&key=your-key

• url-changed — это URL-адрес. вашего веб-сайта, который был добавлен, обновлен или удален. URL-адрес должен быть экранирован и закодирован, и убедитесь, что ваши URL-адреса соответствуют RFC-39.86 для URI.

• Ваш ключ должен состоять не менее чем из 8 и

из 128 шестнадцатеричных символов. Ключ может содержать только следующие символы: символы нижнего регистра (a-z), символы верхнего регистра (A-Z), цифры (0-9) и тире (-).

Например, если вы хотите уведомить поисковые системы об обновлении https://www.example.org/product.html и хотите использовать этот ключ c59ff45687024cfb83c1cc6abbb0515c

https:///indexnow?

url=https://www.example.org/product.html&

key=c59ff45687024cfb83c1cc6abbb0515c

Вы можете выполнить HTTP-запрос, используя браузер, wget, curl или любой другой механизм по вашему выбору. Успешный запрос вернет код ответа HTTP 200; если вы получаете другой ответ, убедитесь, что вы не отправляете слишком часто, что ключ и URL-адрес действительны, и повторно отправьте запрос. Код ответа HTTP 200 указывает только на то, что поисковая система получила ваш URL.

How to Summit URLs

Чтобы отправить набор URL-адресов с помощью HTTP-запроса, отправьте запрос POST JSON на URL-адрес, предоставленный поисковыми системами. Замените на имя хоста поисковой системы.

POST /IndexNow HTTP/1.1

Content-Type: application/json; charset=utf-8

Хост:

{

  «host»: «www.example.org»,

  «key»: «c59ff45687024cfb83c1cc6abbb0515c»,

 : «

 «: «

 «0002       «https://www.example.org/url1»,

      «https://www.example.org/folder/url2»,

      «https://www.example.org/url3»

]

}

Вы можете отправлять до 10 000 URL-адресов на одно сообщение, при необходимости смешивая URL-адреса http и https.

Вы можете выполнить HTTP-запрос, используя wget, curl или другой механизм по вашему выбору. Успешный запрос вернет код ответа HTTP 200; если вы получили другой ответ, вы должны проверить свой запрос и, если все в порядке, повторно отправить запрос. Код ответа HTTP 200 указывает только на то, что поисковая система получила ваш набор URL-адресов.

Рекомендуемый способ — автоматизировать отправку URL-адресов сразу после добавления, обновления или удаления содержимого до определенного предела; ознакомьтесь с рекомендациями по работе с пользовательским контентом в разделе «Часто задаваемые вопросы».

Как подтвердить право собственности с помощью ключа

Вам необходимо подтвердить свое право собственности на хост, для которого отправляются URL-адреса. Для этого вам нужно разместить хотя бы один текстовый файл на хосте. Как только вы передадите свои URL-адреса поисковым системам, поисковые системы просканируют файл ключа, чтобы подтвердить ваше право собственности, и использовать ключ для индексации ваших URL-адресов, пока вы не измените ключ. Третье лицо не должно знать ключ и местонахождение файла ключа, кроме вас и поисковых систем.

Как подтвердить право собственности

IndexNow предлагает два метода подтверждения права собственности на ваш сайт

Чтобы отправить URL-адреса, вы должны «подтвердить» право собственности на хост, для которого отправляются URL-адреса, разместив хотя бы один текстовый файл в хозяин. Как только вы отправите свои URL-адреса в поисковые системы, поисковые системы будут сканировать файл ключа, чтобы подтвердить право собственности, и использовать ключ, пока вы не измените ключ. Только вы и поисковые системы должны знать ключ и местоположение ключа вашего файла.

Вариант 1

Размещение файла текстового ключа в корневом каталоге вашего хоста.

Вы должны разместить текстовый ключевой файл {your-key}.txt в кодировке UTF-8, в котором указан ключ в файле, в корневом каталоге вашего веб-сайта.

Например, для предыдущих примеров вам потребуется разместить файл ключа UTF-8 по адресу https://www.example.org/c59ff45687024cfb83c1cc6abbb0515c.txt, и этот файл должен содержать ключ c59ff45687024cfb83c1cc6abbb0515c

Вариант 2

Размещение файла текстового ключа на вашем хосте.

Вы также можете разместить от одного до нескольких файлов текстовых ключей в кодировке UTF-8 в других местах на том же хосте, и вы должны сообщать поисковым системам местоположение этого файла текстовых ключей в каждом уведомлении IndexNow, указав местоположение с помощью переменной keyLocation.

Если вы отправляете URL-адрес, укажите расположение файла ключа в качестве значения параметра URL-адреса расположения ключа.

https://<поисковая система>/indexnow?

url=http://www.example.org/product.html&

key=c59ff45687024cfb83c1cc6abbb0515c&

keyLocation=http://www.example.org/myIndexNowKey63638.txt

Если вы отправляете набор URL местоположение файла ключа в качестве ключевой переменной Location в содержимом JSON.

POST /IndexNow HTTP/1.1

Content-Type: application/json; charset=utf-8

Хост:

{

  «host»: «www.example.org»,

  «key»: «c59ff45687024cfb83c1cc6abbb0515c»,

  «keyLocation»: «https://www.example.org/myIndexNowKey63638.txt»,

  «urlList»: [

«example http://www. /url1»,

      «https://www.example.org/folder/url2»,

      «https://www.example.org/url3»

      ]

}

В этом варианте 2 расположение файла ключа определяет набор URL-адресов, которые могут быть включены в этот ключ. Файл ключа, расположенный по адресу http://example.org/catalog/key12457EDd.txt, может включать любые URL-адреса, начинающиеся с http://example.org/catalog/, но не может включать URL-адреса, начинающиеся с http://example.org/help/. .

• http://example.com/catalog/show?item=23

• http://example.com/catalog/show?item=233&user=3453

URL-адреса не считаются действительными в http://example .com/catalog/sitemap.xml включает:

• http://example.com/image/show?item=23

• http://example.com/image/show?item=233&user=3453

• https://example.com/catalog/page1.php

URL-адреса, которые не считаются действительными в варианте 2, могут не рассматриваться для индексации. Настоятельно рекомендуется использовать вариант 1 и поместить ключ файла в корневой каталог вашего веб-сервера.

ПРИМЕЧАНИЕ.  IndexNow syas: «Использование IndexNow гарантирует, что поисковые системы будут в курсе изменений на вашем веб-сайте. Использование IndexNow не гарантирует, что веб-страницы будут просканированы или проиндексированы поисковыми системами. Может потребоваться время, чтобы изменения отразились в поисковых системах».

Для начала посетите IndexNow

Cloudflare поддерживает IndexNow с помощью интеграции в один клик

30 ноября 2021