Переобход страниц в Яндексе и Гугле (переиндексация сайта)
Всегда после обновления старых текстов блога я делаю повторную переиндексацию страниц сайта в ручном режиме. Это позволяет максимально быстро предоставить поисковикам актуальную исправленную версию веб-страницы, не дожидаясь появления поискового робота. Для выполнения задачи можно использовать специальные функции панелей вебмастеров Яндекс и Google. В последней недавно поменялся принцип работы и интерфейс, поэтому решил дополнить первоначальную версию статьи.
По идее, ручной переобход страниц сайта кроме изменений информации о них и их содержимом в выдаче также должен обновить данные в кэше поисковиков. Думаю, метод также подходит и для возвращения случайно выпавших URL’ов проекта из-за ошибок сервера и др.
В моем блоге встречались разные механизмы индексации, например, использование адурилки поисковиков или установка Яндекс Пингер и т.п. Однако это больше касается первичного добавления в индекс, как, например, создание XML Sitemap. Для нашей же задачи были разработаны специальные инструменты в панели вебмастеров.
Переобход страниц в Яндекс.Вебмастер
Данная функция появилась в новом Яндекс Вебмастере чуть позже после релиза. Если вы еще не зарегистрированы в этом сервисе, обязательно советую это сделать — webmaster.yandex.ru. После подтверждения прав на свой вебсайт можете зайти в раздел «Индексирование» — «Переобход страниц».
Здесь в текстовом поле указываете ссылки, на которые хотите привлечь поискового робота. Раньше дневной лимит составлял 20шт на один проект, сейчас, как я понимаю, число зависит от показателя ИКС.
После нажатия «Отправить» внизу под формой отобразятся новые страницы для переиндексации в Яндексе. Всего у них есть 3 статуса:
- В очереди — линки только добавлены.
- Робот обошел — процесс выполнен, ожидайте апдейта при следующем обновлении базы.
- Ошибка.
После этого остается лишь ждать очередного апдейта.
Переиндексация страниц в Google
Чуть ниже рассмотрена старая версия данной процедуры, но с обновлением дизайна Google Search Console все немного изменилось.
Чтобы запросить индексирование страницы требуется:
- Выбрать нужный сайт из списка.
- Сверху в поле ввода указать URL-страницы для переобхода и нажимаете Enter.
- Дальше через пару секунд появится отчет по текущей веб-странице: нахождение ее в индексе, адаптивность для мобильных и некоторые другие общие данные. Здесь вы можете увидеть дату последнего ее посещения роботом гугла.
- Дальше у вас на выбор есть 2 варианта:
- Кликнуть «проверить страницу на сайте» — проанализирует общее ее состояние и покажет наличие ошибок здесь.
- Нажать ссылку «Запросить индексирование — направление запроса на переобход.
Насколько я понимаю, в первом случае Google проверяет страницу, но не отправляет ее на индексацию, а позже робот Googlebot в общем порядке сам туда заглянет. По второй ссылке запрос попадает в так называемую «приоритетную очередь сканирования».
Кстати, судя по времени выполнения второй заявки, перед отправкой на переобход веб-страничка автоматически проходит такую же проверку, как предполагает первый вариант. Если вам она только и нужна, то сразу кликайте опцию «Запросить индексирование». В итоге увидите сообщение:
Если честно, по сравнению с прошлым алгоритмом тут одни сплошные минусы:
- вся процедура занимает больше времени и кликов;
- нужно ждать пока пройдет проверка веб-страницы, а если у вас на очереди 50 ссылок;
- очень часто показывается каптча.
Прошлым методом можно было добавить в сутки где-то с 10-ток линков, и все это занимало не более минуты. Здесь, к сожалению, не так.
Переобход страниц в Google (старая версия)
Выполнение подобной задачи в Гугле аналогично Яндексу, хоть и включает в себя больше шагов. Ваш сайт также должен быть добавлен в панель вебмастера, но уже Google Search Console. Находите в инструментах раздел «Crawl» (Сканирование) — «Fetch as Google» (Посмотреть как Googlebot).
Здесь нужно:
- В текстовом поле вводите адрес страницы для переиндексации в Гугле (без домена, только путь).
- Кликаете по кнопке «Fetch» (Сканировать). Новый URL будет добавлен в список, и через несколько секунд после проверки у него появится статус «Complete» (Готово).
- Затем нажимаете на кнопку «Request Indexing» (Отправить в индекс), что находится рядом.
После этого отобразится всплывающее окно, где выбираете один из вариантов переобхода страницы Гуглом:
Вы можете:
- выполнить переиндексацию страницы в Google для одного URL (до 500 в месяц).
- просканировать указанную страницу и все прямые ссылки на ней (10 штук в месяц). Данная опция хорошо подходит разделам/категориям со списком записей или карте сайта.
Разумеется при всем при этом переобход страниц в Яндекс.Вебмастере или Google Search Console не гарантирует того, что новая информация с вашего URL будет добавлена в индекс. Соблюдение алгоритмов и требований к контенту никто не отменял. По времени переиндексации — эти инструменты определенно ускоряют процесс, но это не значит, что он будет выполнен моментально. Во всем остальном — решение хорошо работает и позволяет нормальным проектам побыстрее обновить информацию в индексе поисковиков.
Если у вас есть что добавить по теме переиндексации страниц сайта, пишите в комментариях. Возможно, какие-то детали я пропустил.
tods-blog.com.ua
Как в Google и Яндекс быстро отправить страницу сайта на обход поисковым роботом
WPuse.ru 25.01.2019
Рад видеть, уважаемый читатель!
Важность скорейшего обхода поисковым роботом размещённых на сайте статей и материалов не стоит недооценивать, ведь чем быстрее будет произведён обход, тем быстрее сие попадёт в индекс и будет выводиться в результатах поиска.
И для этого у поисковых систем имеются соответствующие инструменты, которые мы и рассмотрим в данном материале.
Информируем поисковые системы Яндекс и Гугл о появлении нового материала на сайте
Осуществить информирование, введя ссылку на новую статью (или сразу несколько таковых) , дабы поисковый робот максимально оперативно произвёл обход, можно на соответствующей странице сервиса.
В случае с Яндекс-сом, этот сервис имеет название «Яндекс Вебмастер», а для Гугл – «Google Search Console». Естественно, дабы воспользоваться описываемым инструментом, необходимо иметь учётную запись и добавить предварительно сам сайт в список.
Регистрация и пользование данными сервисами совершенно бесплатно.
Давайте детальнее рассмотрим, как осуществить процесс добавления ссылки на новый материал в названных выше сервисах.
- Зайдя в Яндекс Вебмастер, далее необходимо выбрать сайт и в левом меню выбрать Индексирование -> Переобход страниц.
В размещённой там форме следует ввести ссылки на новые статьи и материалы, дабы поисковый робот осуществил максимально быстро их обход или переобход (если материал был обновлён и требуется его скорейшая переиндексация).
Вписав ссылки, останется только нажать кнопку Отправить, что расположена сразу под формой.
У данного инструмента имеется ограничение – отправка не более 20 ссылок на обход (переобход) в сутки.
- В Google Search Console аналогичная задача осуществляется несколько иначе. Открыв главную страницу сервиса, в верхней её части имеется форма для ввода URL (ссылки на страницу сайта). Введя в эту форму ссылку на страницу, которую необходимо проиндексировать, следует нажать клавишу Enter.
После непродолжительного времени будет выведена информация о просканированной ссылке на материал. Если её нет в индексе поисковой системы Google, то будет возможность запросить индексирование, нажав одноимённую кнопку.
Если ссылок несколько, то для каждой необходимо провести аналогичную процедуру.
Вот мы и рассмотрели, как добавить на обход или переобход страницу (или страницы, если их несколько) поисковым роботом Google и Яндекс, дабы максимально быстро материалы вашего сайта попадали в индекс и выводились в результатах поиска.
Пожертвование сайту WPuse.ru (cбор пожертвований осуществляется через сервис Яндекс Деньги)wpuse.ru
Ускорение индексирования страниц вручную — Просмотреть как Googlebot и Переобход страниц от Яндекс
Создано: 27.09.18 Обновлено: 27.09.18 Категория: SEOПоисковые системы в настоящее время предлагают широкий функционал для управления индексацией Вашего сайта. Например, такие популярные поисковики, как Гугл и Яндекс, предлагают воспользоваться инструментами-вебмастерами: Search Console и Яндекс.Вебмастер.
Как только Вы завершили написание контента и разместили его на сайте, можно сделать так, чтобы он в самое короткое время появился в поиске. Для ускорения индексирования страниц можно прибегнуть к некоторым способам. Один способ уже был рассмотрен ранее, он заключался в отправке обновленной карты сайта в поисковик. Еще один способ ускорения индексирования – ручная отправка страницы в поиск при помощи инструментария выбранной поисковой системы.
Просмотреть как Googlebot
У Google есть специальный пункт меню «Сканирование», содержащий ссылку «Просмотреть как Googlebot». На этой странице можно указать относительный путь новой или существующей ранее страницы и запросить ее сканирование. Можно выбрать обычного или мобильного робота. Сканирование страницы возможно, как в простом режиме, так еще можно и запросить отображение страницы – это позволит визуально посмотреть, как робот увидит Вашу страницу. Для этого нажмите соответственно «Сканировать» или «Получить и отобразить».
Как только робот просканирует страницу, следует нажать «Запросить индексирование» — будет показано окно, в котором можно указать каким образом индексировать страницу. Доступно два варианта:
- Сканировать только этот URL,
- Сканировать этот URL и прямые ссылки.
Первый вариант просто сделает индексирование отправленной страницы, второй же сделает еще и индексирование найденных ссылок на отправленной странице. У второго варианта количество запросов в сутки более ограничено, чем у первого. Отправленные страницы в поиске появятся буквально через несколько минут.
Переобход страниц от Яндекс
Аналогичный инструмент присутствует и у Яндекса. Для этого необходимо выбрать пункт в левом меню «Индексирование», затем «Переобход страниц». Далее необходимо ввести относительные адреса, отличие от инструмента Гугл в том, что следует указывать адреса со слешем вначале. Яндекс позволяет указать сразу несколько адресов, каждый адрес на новой строке. Ограничение на отправку – 20 адресов в день. Яндекс в этом плане более удобен, но вот появляются страницы в поиске не так быстро, как в Google – может пройти несколько дней.
Таким образом, рассмотренные возможности инструментов для вебмастеров позволяют легко управлять индексацией страниц и значительно ускорять их индексирование.
eqsash.com
202 | ACCEPTED | |
400 | INVALID_URL | Передан неправильный URL.
|
403 | INVALID_USER_ID | ID пользователя, выдавшего токен, отличается от указанного в запросе. В примерах ниже
|
404 | HOST_NOT_VERIFIED | Не подтверждены права на управление сайтом.
|
409 | URL_ALREADY_ADDED |
|
429 | QUOTA_EXCEEDED | Суточная квота запросов исчерпана.
|
yandex.ru
«Приоритетный переобход» страниц Яндекса: зачем, для кого и как работает
В Яндекс.Вебмастере появился «Приоритетный переобход страниц». Так вы можете сообщить индексирующему роботу о тех страницах, которые требуют приоритетного обхода.
Зачем этот инструмент?
«Если есть хороший Sitemap, то и без этого инструмента можно обойтись. Но все равно иногда возникают задачи, когда нужен срочный обход или переобход страницы. И этот инструмент про это», — поясняют представители Яндекса.
Например, нужно сделать так, чтобы текст в сниппетах был заменен на новый, уже обновленный на самой странице. Или нужно ускорить попадание в поиск новых страниц с только что поступившим товаром или новостью.
Также инструмент предоставляет возможность быстро вернуть выпавшие из поиска страницы из-за неправильной настройки сервера, ограничений в robots.txt или любой другой проблемы с доступностью сайта для индексирующего робота.
Как работает инструмент?
«Приоритетный переобход» вы найдете в новом Вебмастере в разделе «Инструменты». На данный момент можно запросить переобход до 10 страниц в день для каждого подтвержденного сайта. После подачи заявки вы увидите дин из трех статусов обработки заявки:
- «В очереди» — это означает, что страница была передана роботу для обхода, и в течение 3 суток заявка будет обработана.
- «Робот обошёл» — страница была посещена роботом, а данные о странице в поиске обновятся с последующими обновлениями поисковой базы.
- «Ошибка» — робот не смог посетить страницу.
«Определенно, этот инструмент — шаг навстречу вебмастерам. На мой взгляд, «Приоритетный обход» будут особенно полезен молодым и развивающимся сайтам, потому что зачастую на такие сайты роботы могут очень долго не заходить.
Мы уже используем это в своей работе и начали предлагать его своим клиентам, в том числе для тестирования эффективности страниц сайта», — комментирует Сергей Андреев, маркетолог сервиса Rookee.
Хотите подробностей?
Ниже предлагаем запись Пятой Вебмастерской Яндекса. «Приоритетный переобход страниц» был анонсирован в рамках второго доклада.
www.rookee.ru