настраиваем мгновенную индексацию сайта в Яндекс, Google, Bing — SEO на vc.ru

В этой статье я расскажу как автоматически передавать информацию о новом, изменившемся или удаленном контенте поисковым системам, и сделать индексацию сайта практически мгновенной.

2902 просмотров

Настройка IndexNow

Яндекс и Bing используют протокол с открытой лицензией для быстрого уведомления поисковых систем об изменениях на сайте. Перед отправкой запросов необходимо подтвердить права на сайт через специальный ключ. В дальнейшем обмен данными будет происходить через API.

Да, в Bing Webmaster Tools (BWT) желательно зарегистрировать свой сайт и пользоваться быстрой индексаций. В некоторых нишах в рунете из Bing есть трафик и конверсии.

Процесс настройки идентичен для обеих поисковых систем:

• Сгенерировать ключ. Это случайный набор символов исключительно из диапазонов a-z, A-Z , 0-9. Длина ключа находится в диапазоне от 8 до 128 символов. Пример: 76934bb5f78b405dac82129a90a6ec51.
• Создать файл с ключом и положить в корень сайта. Создаем txt файл в кодировке UTF-8. В качестве названия и содержимого используем ключ. Пример: 76934bb5f78b405dac82129a90a6ec51.txt. Заливаем файл в корневой каталог, где располагаются все файлы сайта. Файл должен быть доступен по адресу https://site.ru/76934bb5f78b405dac82129a90a6ec51.txt. Тем самым подтверждаются права на сайт. Можно разместить файл в конкретной категории сайта. Тогда отправка запросов на быструю индексацию будет осуществляются для URL только из этой категории.
• Отправляем URL на индексацию в Яндекс. Пример запроса: https://yandex.com/indexnow?url=https://site.ru/new-page&key=76934bb5f78b405dac82129a90a6ec51.
• Отправляем URL на индексацию в Bing. Пример запроса: https://www.bing.com/indexnow?url=https://site.ru/new-page&key=76934bb5f78b405dac82129a90a6ec51.
  
  

Настроить сканирование через IndexNow также можно через плагины для популярных CMS:

• 1С-Битрикс — Picom, Reindex;
• WordPress — IndexNow;
  
• UMI.CMS — IndexNow;
  
• Moguta.CMS — IndexNow.
  

В одном запросе можно отдавать на приоритетную индексацию до 10 000 URL. Спамить не стоит, поисковые системы могут ограничить квоту.

Старые страницы также не рекомендуется отправлять, особенно если они уже есть в индексе. Это влечет нерациональное использование мощностей поисковых систем.

Стоит отметить, что использование протокола IndexNow не гарантирует 100% попадания в индекс той или иной страницы. Это всего лишь указывает поисковым роботам на приоритезацию индексирования URL, и не отменяет требований к качеству страницы и контента.

Несколько лет назад у Яндекса с этим были проблемы, он неохотно индексировал новые URL и обновлял старые через протокол IndexNow. Сейчас на практике качественные страницы довольно быстро попадают в индекс Яндекса и Bing и начинают ранжироваться в течении суток.

Настройка Google Indexing API

Indexing API позволяет отправлять новые, обновленные или удаленные URL на приоритетную индексацию в Google. Данный метод работает намного быстрее, чем автоматическое обновление через sitemap.xml.

Робот Google не часто сканирует sitemap.xml на наличие изменений, поэтому новые страницы могут не ранжироваться месяцами.

Процесс настройки состоит из следующих блоков: создание сервисного аккаунта, получение JSON-ключа, подключение Indexing API к GSC, установка node.js и отправка URL на индексацию.

• Создаем сервисный аккаунт. Переходим на Google Cloud Platform и нажимаем Create Project. Вводим произвольное название проекта. Затем нажимаем Create Service Account с ролью Owner.
• Получаем JSON-ключ. Нажимаем на три точки в столбце Actions и выбираем Manage keys, затем Add key -> Create new key. Скачиваем файл с JSON-ключом.
• Связываем Indexig API и GSC. В GSC заходим в Настройки -> Пользователи и разрешения, жмем Добавить пользователя. Берем e-mail сервисного аккаунта и предоставляем полный доступ. Переходим обратно в GCP и включаем Indexing API через кнопку Enable.
• Устанавливаем node.js. Качаем под свою OS тут и устанавливаем. Затем качаем скрипт массовой отправки URL через node.js с GitHub. Далее нужно открыть командную строку или терминал, перейти в папку с скриптом (команда cd *полный путь до папки*) и выполнить 3 команды: npm install requests, npm audit fix, npm audit fix —force. После успешного выполнения в папке с скриптом появится папка node_modules.
• Отправляем URL через Google Indexing API. Заходим в папку с скриптом из пункта выше, Открываем файл service_account.json и копируем в него содержимое JSON-ключа из пункта выше. В файл urls.txt добавляем наши URL, которые хотим проиндексировать. Далее нужно открыть командную строку или терминал, перейти в папку с скриптом (команда cd *полный путь до папки*) и выполнить команду: node index.js.

Отправлять URL на индексацию также можно через плагины для CMS. Их существует довольно много. Для этого все равно придется создать сервисный аккаунт и получить JSON-ключ.

Квота в Google

составляет 200 URL в сутки и 100 URL за одну выгрузку. Также, как и в IndexNow, данный метод не гарантирует 100% индексации в эту же секунду. Мы всего лишь ставим самый высокий приоритет индексации для Googlebot, а дальше он действует на свое усмотрение.

На скриншоте ниже показан пример использования Indexing API для небольшого сайта.

Статус индексации в GSC

По мере добавления контента все новые URL сразу отправлялись на индексацию через Indexing API.

Приоритетная индексация страниц вручную

• Яндекс.Вебvастер — перейти в Индексирование -> Переобход страниц.
• GSC — в верхнюю строку проверки URL ввести адрес и нажать Запросить индексирование.
• BWT — перейти в раздел Отправка URL-адреса, нажать Отправить URL-адреса.

Бонусы от быстрой индексации сайта

• Важные money-страницы быстрее попадают в индекс, быстрее обновляется контент, быстрее удаляются ненужные URL.
• Минимизируются проблемы с определением сайта-первоисточника и воровством контента.
• Массовое первичное добавление страниц в индекс позволяет быстро нарастить трафик из поисковых систем.

Другие статьи:

Практическое руководство по настройке мгновенной индексации сайта в Яндекс, Google, Bing

Как сделать индексацию сайта практически мгновенной и автоматически передавать информацию о новом, изменившемся или удаленном контенте поисковым системам, мы расскажем в этой статье.

Как настроить InexNow

Для быстрого уведомления поисковых систем об изменениях на сайте в Bing и Яндекс применяют протокол с открытой лицензией.

Чтобы пользоваться быстрой индексацией, нужно зарегистрировать сайт в Bing Webmaster Tools (BWT). В рунете для некоторых ниш Bing предусмотрены конверсии и трафик.

Инструкция по настройке Bing и Яндекс (процесс одинаков для обоих поисковиков):

1. Сгенерировать ключ. Придумывается случайный набор символов в диапазонах 0 – 9, A – Z, a – z. Длина ключа должна быть не меньше 8 и не больше 128 символов.
2. Создать файл с ключом и положить в корень сайта. В кодировке UTF-8 создается txt файл. Вместо названия файла используем ранее сгенерированный ключ. В корневой каталог, где находятся все файлы сайта, загружаем новый файл. Этот файл должен быть доступен по адресу: https://site.ru/ваш ключ.txt. Этим подтверждаются права на сайт. Также можно разместить файл в определенной категории сайта. В этом случае, отправка запросов на быструю индексацию будет осуществляться для URL только из данной категории сайта.
3. Отправляем на индексацию URL в Яндекс и Bing, используя ссылки для этих поисковиков.

Кроме этого, сканирование через InexNow можно настроить с помощью плагинов популярных CMS:

• WordPress — IndexNow;
• 1С-Битрикс — Picom, Reindex;
• Moguta.CMS — IndexNow;
• UMI.CMS — IndexNow.

На приоритетную индексацию в одном запросе можно отдавать до 10 000 URL. Существующие страницы тоже лучше всего не отправлять, ведь они уже есть в индексе. В этом случае мощности поисковых систем будут использоваться нерационально.

Использование протокола InexNow не дает 100% гарантию попадания в индекс определенной страницы. Это только указывает поисковым роботам на приоритет индексирования URL. Что не отменяет требований к качеству контента и страницы.

У Яндекса с быстрым индексированием несколько лет назад были проблемы. Индексация новых страниц выполнялась слишком долго, также медленно через InexNow обновлялись существующие страницы. На сегодняшний день качественные страницы попадают в индекс Яндекс и Bing и начинают ранжироваться в течение суток.

Настройка Google Indexing API

Отправлять обновленные, новые или удаленные страницы на приоритетную индексацию в Google можно при помощи Indexing API. Этот способ работает быстрее, чем автоматическое обновление sitemap.xml. Google редко индексирует sitemap.xml на наличие изменений, и новые страницы могут не ранжироваться достаточно долго, иногда несколько месяцев.

Этапы настройки Indexing API:

1. Создаем сервисный аккаунт. Для этого потребуется перейти на Google Cloud Platform и нажать Create Project. Затем необходимо ввести название проекта , нажать на Create Service Account, предварительно выбрав Owner.
2. Получение JSON-ключа. В столбце Actions нажимаем на 3 точки и выбираем Manage keys, затем нажимаем последовательно Add key Create new key. После этого скачиваем файл с JSON-ключом.
3. Устанавливаем node.js. Выбираем приложение, подходящее под установленную операционную систему, и устанавливаем. После этого необходимо скачать с GitHub скрипт для массовой отправки URL через node.js. Открываем терминал или командную строку со скриптом (команда cd *полный путь до папки*) и выполняем 3 команды: npm install requests, npm audit fix, npm audit fix —force. Если все выполнено правильно в папке со скриптом появится папка node_modules.
4. Через Google Indexing API отправляем URL. Для этого нужно зайти в папку node_modules, открываем файл service_account.json и копируем в него JSON-ключ. Добавляем URL, которые хотим проиндексировать, в файл urls.txt. После этого открываем командную строку или терминал, переходим в папку (команда cd *полный путь до папки*) и выполняем команду: node index. js.

На индексацию URL можно отправлять через плагины CMS. Однако для этого все равно нужно будет создать JSON-ключ.

В Google квота составляет 200 URL в сутки или 100 URL единоразово. Также как и InexNow, Indexing API не гарантирует мгновенной индексации. Ставится высокий приоритет индексации для Googlebot и остается только ожидать, когда URL начнут ранжироваться.

Приоритетная индексация страниц вручную

В Яндекс.Вебмастер для отправки страниц на индексацию вручную необходимо перейти в «Индексирование» и нажать «Переобход страниц».

Для индексации страниц в GSC в верхнюю строку проверки URL вводится адрес и нажимается кнопка «Запросить индексирование».

В BWT нужно перейти в раздел «Отправка URL-адреса» и нажать «Отправить URL-адреса».

Преимущества от быстрой индексации сайта

К преимуществам можно отнести быстрое обновление контента и удаление ненужных URL. А также важные money-страницы индексируются очень быстро.

Сводятся к минимуму проблемы с определением сайта-первоисточника и воровством контента.

Первичное массовое добавление страниц в индекс поможет быстро нарастить или увеличить трафик из поисковых систем.

Понравилось? Расскажите друзьям:

Все, что мы знаем об IndexNow на данный момент

Надеюсь, вы уже слышали об IndexNow.

Мы освещали его объявление в октябре, а в декабре я пригласил Фабриса Канеля, главного менеджера программы Microsoft Bing, на выставку SEJ Show, чтобы рассказать об этой революции в том, как поисковые системы обнаруживают новый и обновленный контент.

Но что это такое, и что вам нужно знать об этом для SEO?

Вот что нам известно на данный момент.

Зачем нам нужен IndexNow

Поисковые системы уже давно находят контент одним и тем же способом.

Еще в 1993 году JumpStation стал первым инструментом поиска в Интернете, который отправлял ботов для перехода (или обхода) ссылок с веб-сайта на веб-сайт и создания карты контента или индекса.

В течение следующих нескольких лет другие поисковые системы переняли этот процесс как способ поиска нового контента.

Этот процесс был включен в алгоритм, который также учитывал содержание, релевантность и другие факторы — так родилась поисковая оптимизация, какой мы ее знаем.

Вскоре опытные в поисковой оптимизации веб-издатели осознали важность индексации для обеспечения высокого рейтинга в поисковых системах. Фактически, без проиндексированного контента веб-сайт не будет генерировать органический трафик.

Но в этом и заключается загвоздка: если вы не крупный веб-сайт с высокой посещаемостью, могут пройти дни или даже недели, прежде чем поисковая система просканирует ваш сайт и проиндексирует новые страницы. Черт возьми, даже если вы являетесь крупным сайтом электронной коммерции или торговой площадкой, движкам могут потребоваться недели, чтобы найти новые поступления или продукты, которых нет в наличии, особенно когда вы зависите от возможности обнаружения с помощью базового сканирования.

Тем временем вы, возможно, потеряли важный трафик из-за конкурентов.

Чтобы упростить этот процесс, в октябре 2021 года Microsoft Bing выпустила новую инициативу под названием IndexNow.

Так что же такое IndexNow?

IndexNow — это протокол с открытым исходным кодом, который позволяет издателям веб-сайтов мгновенно индексировать участвующие поисковые системы, обновляя результаты на основе последних изменений контента.

Проще говоря, это простая проверка связи, которая уведомляет поисковые системы о том, что URL-адрес и его содержимое были добавлены, обновлены или удалены.

Устраняя необходимость в поисковом сканировании, IndexNow стремится повысить общую эффективность Интернета.

Как работает IndexNow?

Поисковые системы получают данные индекса двумя разными способами: по запросу и по запросу.

Индексация по запросу происходит, когда поисковая система посещает ваш сайт для запроса веб-страниц и собирает данные с сервера.

Так традиционно работают поисковые системы.

Принудительное индексирование — это когда веб-издатель или система управления контентом уведомляет поисковую систему о добавлении или удалении страниц или о других изменениях.

Это то, что действительно является революционным в IndexNow — он позволяет всем URL-адресам, отправленным в любую поисковую систему с поддержкой IndexNow, одновременно отправляться во все другие поисковые системы, использующие протокол.

Подробнее о технических аспектах работы IndexNow можно прочитать здесь.

Какие поисковые системы используют IndexNow?

На момент публикации Bing и Яндекс используют IndexNow.

По сообщениям неназванного эксперта, несколько человек тестируют протокол.

До сих пор DuckDuckGo не объявляла о своих планах внедрить IndexNow.

Однако стоит отметить, что поисковая система, ориентированная на конфиденциальность, использует до 400 источников в дополнение к использованию собственного поискового робота DuckDuckBot при составлении результатов поиска.

Учитывая, что Bing и Яндекс входят в число этих источников, вы можете видеть, что обновленный контент появляется в DuckDuckGo быстрее благодаря IndexNow.

Даже крупнейший конкурент Bing, Google, главная из всех поисковых систем, подтвердила, что будет тестировать протокол IndexNow.

И хотя они еще не объявили, примут ли они его на вооружение, тот факт, что они экспериментируют с ним, свидетельствует о признании его возможностей.

Основные опасения Google по поводу IndexNow, по-видимому, связаны с устойчивостью и эффективностью.

Google в настоящее время использует HTTP/2, эффективный фундаментальный протокол передачи данных для более чем половины всех сканирований, и в конечном итоге может решить, что он лучше подходит для их нужд.

Или они могут решить создать свою собственную альтернативу, если решат, что подход на основе API необходим — и не факт, что они это сделают.

Но не все на борту.

В сообществе SEO есть много людей, которые не видят необходимости в этом протоколе, вместо этого заявляя, что XML-карты сайта уже выполняют то, что пытается сделать IndexNow.

Подробнее о дебатах можно прочитать здесь.

Как вы используете IndexNow?

Уведомление поисковых систем об обновлениях вашего веб-контента с помощью IndexNow — это простой процесс:

1. Создание ключа API . Он отправляется вместе с URL-адресами, чтобы гарантировать право собственности на домен. Вы можете сделать это с помощью онлайн-инструмента генератора ключей, такого как найденный здесь.
2. Ключ API хоста — ваш ключ API размещен в корневом каталоге в формате txt.
3. Отправка URL-адресов с параметрами . Вы можете отправлять URL-адреса по отдельности или массово. Отправьте ключевое местоположение в качестве параметра.
4. Проверка отправленных материалов . Используя портал инструментов Bing для веб-мастеров, вы можете проверить, какие URL-адреса были отправлены и обнаружены.

Примеры и более подробные инструкции можно найти на сайте IndexNow.

Более продвинутые пользователи могут использовать Python для массовой индексации и автоматизации отправки URL-адресов.

Для этого требуется базовое понимание синтаксиса Python и знакомство с библиотеками и пакетами Python.

У нас есть удобное пошаговое руководство, которое поможет вам пройти этот процесс здесь.

Какие инструменты синхронизируются с IndexNow?

Любой разработчик веб-сайта может использовать описанный здесь процесс, чтобы воспользоваться преимуществами IndexNow, но что действительно интересно, так это то, что вам не нужно знать HTML из HDMI, чтобы воспользоваться преимуществами.

Ряд крупных компаний, включая LinkedIn, MSN и GitHub, планируют переход на IndexNow.

Кроме того, другие поставщики поисковых решений, такие как Botify, OnCrawl, Onely и Yext, находятся в процессе принятия этого протокола.

Системы управления контентом (CMS) также запрыгивают на борт.

WordPress уже предлагает плагин IndexNow. Duda поддерживает этот упреждающий подход к веб-сканированию, и Wix планирует интегрировать его в ближайшее время.

Bing недавно объявил об интеграции Rank Math и All In One SEO для IndexNow.

Сети доставки контента (CDN), поддерживающие IndexNow, включают Cloudflare и Akamai.

Через их прокси-серверы это ускорит доставку данных и приблизит их к пользователям.

Каковы преимущества использования IndexNow?

Основным преимуществом IndexNow для издателей является не только акцент на эволюции индексации от извлечения к принудительной рассылке, но и сокращение времени между внесением обновлений и их обнаружением поисковыми системами.

Благодаря тому, что веб-мастера могут уведомлять все участвующие URL-адреса с помощью одного вызова API, поиск контента упрощается, что, в свою очередь, делает Интернет более эффективным.

Это выгодно владельцам сайтов, так как растущие требования к серверу снижаются.

Поисковые роботы больше не должны выполнять исследовательское сканирование, чтобы определить, была ли страница обновлена.

Это позволяет серверам работать более эффективно без необходимости избыточной нагрузки на сайт, что, в свою очередь, снижает потребление энергии.

В отличие от XML-карты сайта, которая перенаправляет поисковые роботы только на страницы вашего веб-сайта, IndexNow позволяет информировать поисковые системы о страницах с кодом состояния, отличным от 200.

IndexNow Часто задаваемые вопросы

Что происходит после отправки URL?

IndexNow передает ваши изменения поисковым системам, которые, в свою очередь, применяют их к рейтингу страниц.

Использование IndexNow не гарантирует, что веб-страницы будут просканированы или проиндексированы, и для отражения изменений может потребоваться время.

Сколько URL-адресов можно отправить с помощью IndexNow?

Вы можете предоставить поисковым системам список до 10 000 URL-адресов с помощью одного вызова API.

Повысится ли мой рейтинг в результатах поиска, если я быстрее проиндексирую свой контент?

Да, чем раньше ваши страницы будут проиндексированы, тем быстрее они смогут начать конкурировать за высокие места в поисковых системах.

Что все это значит?

Технологии неумолимы.

И поскольку это жизненно важная часть современного мира, вполне естественно, что изменения в Интернете и, в частности, в поисковых системах, будут их частью.

Сместив процесс индексации сайтов с процесса сканирования на что-то более быстрое и эффективное, IndexNow, похоже, находится на пороге революции.

И тот факт, что к ним присоединяются такие компании, как MSN, GitHub и WordPress, намекает на то, что этот протокол скоро станет нормой.

Дополнительные ресурсы:

• Bing объявляет о комплексной интеграции SEO и IndexNow
• IndexNow вызывает неоднозначную реакцию, включая скептицизм
• Расширенное техническое SEO: полное руководство

---

Рекомендуемое изображение: ra2 studio/Shutterstock

Категория SEO

Инструмент веб-сайта Ping / индексатор Google

Чтобы использовать prepostseo Google Indexer / Ping Urls , вставьте до 50 URL-адресов в поле ввода, указанное ниже, и нажмите кнопку Ping Urls .

Выберите категорию:

ИскусствоАвтомобилестроениеБизнесОдежда и аксессуарыКомпьютеры и электроникаОбразованиеРазвлеченияСемьяФинансовые услугиЕда и напиткиБесплатные услугиИгры и игрушкиПодарки и цветыЗдоровье и красотаХобби и коллекционированиеДом и садИнформацияИнтернет и онлайн-маркетингОфисДругоеНа открытом воздухеФотографияПоисковая оптимизацияПокупкиСпорт и фитнесТелекоммуникацииСоветы и рекомендацииПутешествияИнструменты веб-сайта

Вставьте до 10 URL-адресов для онлайн-пинга:

РЕКЛАМА

Пинг сейчас

РЕКЛАМА

Содержание:

• Массовая отправка URL-адресов в поисковые системы
• Почему важны сканирование и индексирование?

Полезен ли этот инструмент?

 Да Нет Возможно  

Как мы можем это улучшить? Минимальное количество символов 10

Ping Bulk/Mass URLs to Search Engines

Prepostseo ping Инструмент веб-сайта широко используется веб-мастером для отправки сайта в поисковые системы. Во многих случаях очень важно отправлять URL-адреса ваших веб-сайтов в поисковую систему. Это поможет вам быстро отправить сайт в Google. Google или любая другая поисковая система не сможет узнать об изменениях или обновлениях, которые вы внесли на свой сайт. Поэтому этот шаг очень важен. Это относится не только к изменению, но и к тому, что новый URL-адрес или веб-страница также могут быть пропингованы для Google для обновления базы данных. Поисковым системам обычно требуется время, чтобы распознать и проиндексировать ваши данные без проверки связи. Например, вы написали статью и обновили ее в своей ссылке, но не отправили ее в Google. Теперь, что может случиться? Он может быть украден кем-то еще до того, как Google доберется до него, и он или она сможет опубликовать его как свой собственный уникальный контент и проиндексировать его из Google. Куда это вас приведет? Что ж, ваш контент будет рассматриваться как плагиат, если вы попытаетесь пропинговать его позже. Так что пингуйте свой контент или новые URL-адреса, потому что это чрезвычайно важно.

100% бесплатно : Со всеми премиальными функциями, наш инструмент ping urls позволяет отправлять неограниченное количество веб-страниц один клик

Массовая отправка : Массовая проверка сайтов означает, что вы можете добавить до 10 URL-адресов одновременно, чтобы добавить эти веб-страницы в поисковые системы.

Не ждите, пока поисковые системы распознают изменения на вашем веб-сайте. Вы должны отправить веб-страницы в Google, Bing и Yahoo как можно скорее. Читайте следующие причины, по которым вам следует быстро проверить URL-адреса блога Google

• Чтобы проиндексировать ваш новый контент как можно скорее, прежде чем кто-то другой захватит этот контент и использует его на любом другом веб-сайте.
• Свежий контент улучшает ваш рейтинг в поисковых системах, так зачем ждать.
• Этот инструмент может отправить 650 (10×65) ping-запросов URL-адресов за один раз, что сэкономит вам много времени.

---

Почему важны сканирование и индексирование?

Сканирование и индексирование — это способ Google приветствовать вас в клубе. Это означает, что как только вы окажетесь в базе данных Google, он начнет показывать вас в результатах поиска. Если качество вашего контента отличное и вы соответствуете общему определению достойного веб-сайта, вы можете получать оплату через AdSense. Но это все возможно только в том случае, если вы появитесь в поисковой системе Google. И индексация — единственный способ появиться в поисковой системе Google.

---

Как использовать Google Indexer Tool:

PrePostSEO Google Index Tool поможет вам в этом вопросе. Просто скопируйте/вставьте URL-адреса и нажмите кнопку ping blog, чтобы мгновенно их пропинговать. Этот онлайн-инструмент проверки связи может отправлять запросы до 650 (65 * 10) за один раз. Использовать этот инструмент очень просто, и, следовательно, он сэкономит вам много времени. Кроме того, вы можете вставить до 10 URL-адресов за один раз.