Пошаговая инструкция по настройке Google Indexing API — массовая индексация страниц в Google

Содержание

Что такое Google Indexing API?

Когда может потребоваться Indexing API?

Что необходимо для освоения Indexing API?

Пошаговая инструкция настройки Google Indexing API

1. Создание сервисного аккаунта и JSON-ключа

Шаг 1: Создание сервисного аккаунта

Шаг 2: Назначение роли для аккаунта

Шаг 3. Создание нового JSON-ключа

Шаг 4. Скачивание JSON-ключа

2. Настройка сканирующего скрипта

3. Связь скрипта с панелью Google Search Console

4. Установка библиотеки

5. Запуск скрипта

Какие могут возникнуть ошибки?

Кейсы

Сайт услуг

Интернет-магазин

Размер текста:

Что такое Google Indexing API?

Indexing API — это инструмент поисковой системы Google, который позволяет владельцу сайта напрямую отправлять уведомление поисковому роботу о добавлении или удалении страниц со своего ресурса.

Когда может потребоваться Indexing API?

При продвижении сайта SEO-специалист может столкнуться с проблемой, когда новые продвигаемые страницы, создаваемые на сайте, по тем или иным причинам продолжительное время не попадают в индекс поисковой системы Google.

Indexing API позволяет ежедневно отправлять на сканирование и последующую индексацию до 200 страниц (максимум 100 страниц за одну итерацию), что значительно ускоряет процессы от создания страниц до получения первых результатов в органической выдаче.

Что необходимо для освоения Indexing API?

1. Подключить Indexing API к панели Google Search Console.
2. Создать новый JSON-ключ.
3. Установить и настроить скрипт node.js.
4. Запустить скрипт.

Все настройки потребуется выполнить один раз, затем вы просто обновляете файл urls.txt и запускаете скрипт для отправки новых страниц.

Пошаговая инструкция настройки Google Indexing API

Предлагаем детально рассмотреть каждый шаг настройки сервиса и в конце убедимся на конкретном примере, что эта схема ускорения индексации действительно работает.

1. Создание сервисного аккаунта и JSON-ключа

На первом этапе необходимо настроить доступы в консоли Indexing API. Для этого вам нужно перейти на страницу Google Cloud Platform и создать сервисный аккаунт.

Шаг 1: Создание сервисного аккаунта

На этом этапе вы можете ввести любое название проекта, либо оставить предлагаемое системой. Местоположение также можем оставить без изменений.

Переходим к следующему этапу — перед вами должны быть доступна следующая информация (название проекта другое):

Здесь необходимо ввести еще одно произвольное название латинскими буквами и назначить роль:

Шаг 2: Назначение роли для аккаунта

Назначаем роль нового аккаунта: «Owner» («Владелец»):

Пункт: «Предоставление пользователям доступа к сервисному аккаунту» оставляем без изменений. Нажимаем на «Done» («Готово»).

Шаг 3. Создание нового JSON-ключа

Теперь нам нужно кликнуть на «Действия», справа от созданного аккаунта:

И выбрать: «Manage keys» («Управление ключами»).

В открывшемся окне кликаем на: «ADD KEY» («Добавить ключ») и выбираем пункт: «Create new key» («Создать новый ключ»):

В новом окне выбираем пункт «JSON» и жмем на «CREATE» («Создать»):

Шаг 4. Скачивание JSON-ключа

Скачиваете ключ себе на компьютер.

2. Настройка сканирующего скрипта

Скачанный на компьютер ключ необходим для дальнейшего запуска сканирующего скрипта (скачиваем скрип Github).

Скрипт будет доступен на ПК в виде папки с несколькими файлами, один из которых: «service_account.json»:

Теперь нам нужно заменить содержимое файла «service_account.json» на содержимое скачанного ранее JSON-ключа. После проведения процедуры по замене содержимого файла он должен выглядеть примерно так:

3. Связь скрипта с панелью Google Search Console

Чтобы привязать скрипт к панели Google Search Console продвигаемого сайта, необходимо назначить полным владельцем client_email из JSON-ключа:

Назначить владельца ресурса можно через настройки панели Google Search Console:

• Настройки —> Пользователи и разрешения —> Управление владельцами ресурса.

Когда вы убедились, что в списке пользователей присутствует сервисный аккаунт (client_email) и он имеет статус владельца сайта, можете переходить к подключению и использованию Index API на продвигаемом проекте.

Для этого необходимо перейти в Google Cloud Platform, выбрать сервисный аккаунт и включить API:

Скрипт готов к использованию!

4. Установка библиотеки

На этом этапе нам необходимо настроить файл node.js и установить библиотеку, которая будет принимать такие запросы. Скачать файл node.js можно здесь.

После установки библиотеки переходим в папку со скриптом, запускаем «PowerShell» («Терминал») и выполняем следующие команды:

• npm install requests
• npm audit fix
• npm audit fix —force

После выполнения команд в папке со скриптом должна появится новая папка node_modules:

Это говорит о том, что библиотека установлена и готова к работе.

5. Запуск скрипта

Для запуска скрипта необходимо:

1. В папке скрипта (который был скачан из Github) найти файл urls. txt.
2. Открываете его и добавляете нужные URL-адреса (не более 100 URL за одну итерацию).
3. Вызываете «Терминал» (нажатием клавишы Shift + правой кнопки мышки в окне скрипта) и переходите в папку. Чтобы узнать, где вы находитесь прямо сейчас, нужно ввести команду [ls]:

Если нам требуется перейти в папку «Dropbox» (см. скриншот выше), необходимо ввести команду [cd]:

• cd Dropbox

Команда вводится без использования лишних символов с точным сохранением регистра папки.

Необязательно вводить полное название папки, достаточно ввести 1-2 первые буквы и нажать клавишу [Tab].

Когда вы перешли в нужную папку, где располагается скрипт, необходимо ввести команду [node] с указанием целевого файла:

• node index.js

Через несколько секунд после ввода должен появиться код «200 ОК»:

Все настроено и готово к работе. Вы можете использовать этот скрипт ежедневно, достаточно только вносить изменения в файл urls.

txt.

Какие могут возникнуть ошибки?

1. Одна из распространенных ошибок, которую вы можете увидеть на последнем этапе — это код «403» вместо «200 ОК». Это значит, что в панели Google Search Console сервисному аккаунту был предоставлен не доступ владельца. Вам нужно вернутся на несколько шагов назад и убедиться, что вы все сделали именно так, как указано в инструкции:
2. Если после установки и запуска скрипта все работает корректно, но по той или иной причине вам потребовалось изменить расположение папки со скриптом на своем компьютере, он уже не запустится. Вам необходимо повторно пройти процедуру установки библиотеки (войти в папку со скриптом через «Терминал» и выполнить все необходимые команды еще раз).

   Перед настройкой скрипта рекомендуется сразу продумать расположение папки на своем компьютере.

Кейсы

Сайт услуг

На начальном этапе продвижения одного из сайтов мы столкнулись с проблемой, когда на протяжении длительного времени новые страницы не попадали в индекс поисковой системы Google:

Ситуация кардинально изменилась, когда мы провели работы по настройке и подключению Indexing API. Буквально в 2 итерации нам удалось добавить в индекс все важные для достижения KPI по проекту страницы:

Интернет-магазин

Сервис определенно будет полезен и при продвижении интернет-магазина. В отличие от сайтов услуг с небольшим количеством страниц, здесь потребуется чуть больше времени, с учетом ограничения количества URL для отправки (100 за итерацию, 200 в сутки).

На одном из проектов меньше чем за месяц нам удалось значительно повысить полноту индексации в Google — с 330 до 1040 URL:

Автор

Сергей

Как быстро проиндексировать страницы в Google через API — SEO на vc.ru

{«id»:13959,»url»:»\/distributions\/13959\/click?bit=1&hash=3e504f7b176350354538806b2b3c72f263e69d5504c520ebf447170dc4ee79ed»,»title»:»\u0422\u0430\u0431\u043b\u0438\u0447\u043a\u0438 \u0441 \u043f\u0430\u0440\u043e\u043b\u044f\u043c\u0438 \u2014 \u044d\u0442\u043e \u043f\u0440\u043e\u0448\u043b\u044b\u0439 \u0432\u0435\u043a»,»buttonText»:»\u041f\u043e\u0447\u0435\u043c\u0443?»,»imageUuid»:»9133a6f2-4291-5bdb-b75d-c389dca92e58″}

Здравствуйте, меня зовут Андрей и SEO специалист вебстудии Webimpulse. В этой статье попытаюсь рассказать, как бороться с плохой индексацией страниц в поиске Google.

7847 просмотров

При создании сайта, Google очень неохотно индексирует новосозданные страницы, даже при отправке карты сайта (sitemap) в аккаунте Google search console, вебмастера не получают желаемого эффекта. Сразу сделаю оговорку, способ который я опишу – больше подходит для больший сайтов, в частности интернет-магазинов – с большим количеством генерируемых страниц-товаров, так как для маленьких сайтов, подойдет и ручная отправка страниц на индексацию через кнопку «Запросить индексацию».

Способ для отправки на индексацию страниц массово состоит в использовании Indexing API разработки Google. Описывать я буду настройку для сайтов на WordPress, но Вы можете использовать его для любого сайта на любой платформе, отличаться будет незначительно. Итак, начнем:

1. Вам понадобится создать сервисный аккаунт Google https://console.cloud.google.com/projectselector2/iam-admin/serviceaccounts?supportedpurview=project

Название проекта пишем любое, как Вам удобно.

2. Как создадите проект, увидите такое окно:

Нажимайте кнопку «Создать сервисный аккаунт»

В поле имя можно вводить все что угодно, я ввожу название проекта.

Далее, обязательно нужно выбрать роль нового аккаунта, это очень важно. Выбирайте «Владелец» либо если у вас так же на английском языке, как у меня, — “Owner”.

Далее все пропускаем и нажимайте готово.

3. Созданную почту куда-нибудь скопируйте, она еще понадобится.

4. Справа есть кнопка с действиями и выберете управление ключами

Нужно создать новый ключ. Выбираем JSON

6. Ключ автоматически скачивается на ваш компьютер. Откройте его блокнотом или другим редактором кода. Скопируйте содержимое.

7. Далее заходим в админку вашего сайта на WordPress. Нам нужно установить плагин Instant Indexing for Google, автор Rank Math. Плагин маленький и бесплатный.

8. В настройках плагина вставьте код из файлика json в поле.

9. Далее в настройках Google Search Console вашего сайта нужно добавить нового владельца сайта – это будет ваш созданный сервисный аккаунт.

Для этого переходим Настройки-Пользователи и разрешения – Добавить пользователя. ВАЖНО! Обязательно выберете статус нового пользователя «Владелец».

10. Последний шаг включение Indexing API для вашего проекта. Переходим по этой ссылке: https://console.developers.google.com/apis/api/indexing.googleapis.com/overview

И нажимаем Enable.

Все готово. API Google подключена к Вашему сайту. В настройках плагина в админке можно настроить какие страницы, записи будет индексировать, при обновлении и создании.

Чтобы это ускорить и не ждать обновления страниц, заходим в Google Search Console во вкладку «Покрытие» и выбираем исключенные страницы, собираем список страниц, непредставленных в поиске Google. Вставляем скопированные URL страниц в нужное поле и нажимаем Отправить в API.

Мои результаты пользования API:

Данный график показывает, какие страницы проиндексированы и находятся в поиске. Как видим, резкий скачок страниц — это время начала использования плагина и Google API.

Стоит сделать оговорку, следует отправлять страницы на индексацию через API, если уверены в их наполнении контентом, в противном случае, пустые страницы Google так же не проиндексирует, да и в этом нет смысла.

И еще немного насчет сайтов, не на WordPress. Для Вас шаги аналогичные, только Вам не нужно искать плагин, а скачать данный скрипт из GitHub. В файлике service_account.json вставляйте код вашего ключа, а в файлик urls.txt url страниц для индексации и запускайте скрипт.

Это все что я хотел рассказать про улучшении индексации в Google через API. Приятной вам погоды за окном и удачных проектов!

Verbessern Sie die Google-Indexierung | WordPress

Sie können die folgenden Schritte ausführen, um sicherzustellen, dass Ihre WordPress-Website gecrawlt, indiziert und ordnungsgemäß angezeigt werden kann, um ein optimals SEO-Ranking zu ermöglichen.

Bestätigen Sie, dass Ihre WordPress-Website indexiert werden kann

1. Bei WordPress anmelden
2. Gehen Sie zu Einstellungen > Lesen.
3. Stellen Sie sicher, dass die Einstellung deaktiviert ist, damitsuchmaschinen diese Website nicht indizieren können.

Vergewissern Sie sich, dasssuchmaschinen alle Seiten ordnungsgemäß indizieren können

1. Besuchen Sie diese Website .
2. Geben Sie Ihre Домен в das Feld Веб-сайт-URL ein.
3. Klicken Sie auf Проверка!

Bestätigen Sie, dasssuchmaschinen Ihren Website-Titel richtig anzeigen. Дайзер шляпа лучше всего работает в Pixel.

1. Rufen Sie Ihre Website auf, click Sie mit der rechten Maustaste auf Ihre Startseite und click Sie auf
   Seitenquelle anzeigen .
2. Копирование текстовых тегов Title-Tags ( title >).
3. Besuchen Sie diese Веб-сайт .
4. Fügen Sie den kopierten Text in das Vorschau-Tool für das Titel-Tag ein
5. Stellen Sie sicher, dass der Text in der Vorschau nicht abgeschnitten wird. Wenn es abgeschnitten wird, sollten Sie den Titel kürzen, bis dies nicht mehr der Fall ist.

Wenn Ihr Titel zu lang ist, müssen Sie ihn möglicherweise zuschneiden und wenn Sie noch Platz haben, können Sie ihm Schlüsselwörter hinzufügen.

Installieren Sie ein SiteMap-Plugin

1. Bei WordPress anmelden
2. Gehen Sie zu Плагины .
3. Überprüfen Sie, ob Sitemap-Plugins installiert und aktiviert sind.
4. Wenn keine Sitemap-Plugins installiert und aktiviert sind, click Sie auf Neu hinzufügen .
5. Такой нах « Yoast SEO »
6. Klicken Sie auf Jetzt installieren .
7. Klicken Sie auf Aktivieren .
8. Нажмите на WordPress-Dashboard с ссылками на SEO.
9. Klicken Sie auf das Register Features.
10. Aktivieren Sie Erweiterte Einstellungen .
11. Sehen Sie in der linken Разделите SEO-навигацию и нажмите Sie на XML-Sitemaps .
12. Vergewissern Sie sich, dass die Sitemap-Funktion aktiviert ist.

Fügen Sie eine Beschreibung für Ihre Seiten hinzu.

1. Bei WordPress anmelden
2. Wenn Sie das Yoast SEO Plugin noch nicht installiert haben, gehen Sie wie oben beschrieben vor.
3. Bearbeiten Sie die einzelnen Seiten, für die Sie eine Beschreibung wünschen, und fügen Sie über diese Seiten im Yoast SEO-Bereich eine Beschreibung hinzu.
4. Es ist ratsam, diesen Schritt zumindest für Ihre Startseite durchzuführen.

Bestätigen Sie, dass die Bilder Beschreibungen enthalten.

1. Rufen Sie Ihre Website auf, click Sie mit der rechten Maustaste auf Ihre Startseite und click Sie auf Seitenquelle anzeigen .
2. Nach einem Bild-Tagsuchen ( img >).
3. suchen Sie im Tag nach dem Attribut «alt» und bestätigen Sie, dass es einen Wert hat (zB alt = «Beispielschlüsselwort»).
4. Der Wert sollte etwas sein, das das Bild beschreibt. Ein Bild-Tag für einen Sonnenuntergang kann beispielsweise das alt-Attribute aufweisen: alt = «закат» .
5. Wenn es Bilder gibt, für die das alt-Attribut keine Werte enthält, gehen Sie in Ihrem WordPress-Dashboard zu Median , щелкните Sie на das zu beitende Bild und fügen Sie den Text ins alt-Feld hinzu.

• Wenn Sie die Indexierung Ihrer Website nicht verbessern möchten, kann unser WordPress Premium Support Team das für Sie tun.

Google Indexing Issues & Solutions by PaperStreet

Мы помогаем клиентам проиндексировать страницы своего веб-сайта в Google

Google уже много лет предупреждает, что каждому сайту нужен отличный, ценный естественный контент с качественными обратными ссылками. Если Google определит, что на вашем веб-сайте отсутствует качественный контент, он может не индексировать ваши веб-страницы. Страницы, которые не проиндексированы, не будут отображаться в результатах поиска. Не существует быстрого решения для ранжирования критических страниц. Однако у нас есть конкретные решения, которые помогут улучшить ваш сайт и его индексацию.

Обновления алгоритма 2021 и 2022 гг. Затронули индексацию

В своих последних обновлениях алгоритма Google скорректировала частоту и тщательность сканирования содержания сайтов своими поисковыми ботами. Этот анализ в основном определяется общей стоимостью всего веб-сайта по сравнению с конкурентами. Google может замедлить индексацию вашего сайта после того, как рассчитает ценность вашего сайта по сравнению с остальной частью Интернета и вашими конкурентами.

---

---

Какие факторы могут повлиять на индексацию?

«После 30 статей действительно трудно назвать сайт авторитетным, и особенно если вы прекратили публиковаться на какое-то время, я вижу, как Google может быть немного более консервативным в отношении индексации большего количества статей.» — Джон Мюллер , Search Advocate в Google

• Небольшие сайты до 30 страниц
• Прерывание в ведении блога/публикации
• Контент до 500 слов для подстраниц или 1000 слов для главных страниц
• Общий контент, который напрямую не поддерживает тему страницы
• Проблемы с длинным URL-адресом
• Проблемы с покрытием в Google
• Проблемы со страницей / Core Web Vitals
• Отсутствие полномочий домена и профилей обратных ссылок
• Отсутствие социальных сетей и внешних ссылок
• Плохой пользовательский опыт
• Медленный сайт

---

Как продвигать полную индексацию сайта

• Регулярные публикации . Регулярно публикуйте основной новый высококачественный контент на своем сайте.
• Уникальный контент — Публикация авторитетного уникального контента, который читается и которым делятся.
• Авторитетный веб-сайт — Защитите профиль обратных ссылок с упором на качество. Это может быть, помимо прочего, гостевая публикация, юридические каталоги и другие тактики построения ссылок.
• Быстро и безопасно — Убедитесь, что ваш сайт быстро загружается и поддерживает 70+ баллов с помощью Google PageSpeed ​​Insights

---

А как насчет Bing, DuckDuckGo и других поисковых систем?

Проблемы с индексацией обычно не затрагивают другие поисковые системы. Кроме того, Bing использует протокол IndexNow, который позволяет быстрее индексировать веб-сайты. Google еще не реализовал это (хотя мы все еще можем запросить индексацию страницы в Google Search Console).

Бюджет сканирования Google

У Google есть бюджет сканирования, но если на вашем сайте более 100 000 страниц, это не должно быть проблемой.

---

Общие ошибки или проблемы с исключенным покрытием

Существует пять распространенных проблем с индексацией.

1. Просканировано – в настоящее время не проиндексировано (Проблема качества)
2. Дублирующийся контент – (проблема с архитектурой сайта)
3. Обнаружено – в настоящее время не проиндексировано (Бюджет сканирования/проблема качества)
4. Soft 404 – (Проблема архитектуры сайта)
5. Проблема сканирования – (Бюджет сканирования/техническая проблема)

Вот полный список других проблем с индексированием Google:

• Ошибка
  • Ошибка перенаправления
  • Отправленный URL-адрес не найден
• Исключено
  • Просканировано — в настоящее время не проиндексировано (проблема качества)
  • Обнаружено — в настоящее время не проиндексировано
  • Страница с перенаправлением
  • Исключено тегом NoIndex
  • Не найдено (404)
  • Альтернативная страница с правильным тегом Canonical
  • Дублировать без выбранного пользователем канонического
  • Дубликат отправленного URL-адреса не выбран в качестве канонического
  • Дубликат, Google выбрал другой канонический, чем пользователь
  • Заблокирован из-за другой проблемы 4xx
• Карта сайта
  • Состояние указано не проиндексировано или ошибка

---

Как проверить, проиндексирован ли мой сайт?

Просто зайдите в Google и введите веб-адрес для: yourcoolddomain. com. Это скажет вам, какие страницы всего проиндексированы на вашем сайте. Вы также можете посетить Google и выполнить поиск на сайте: yourcooldomain.com/example-page/, чтобы узнать, проиндексирована ли конкретная страница в Google.

Вы также можете ввести конкретные страницы, чтобы узнать, проиндексированы ли они, например:

https://www.paperstreet.com/portfolio/law-firm/

Если поиск дает результат, значит, вы проиндексированы. Если нет, вам нужно войти в консоль поиска Google, чтобы убедиться, что ваша карта сайта загружена, и увидеть все ошибки/исключения.

---

Как PaperStreet может помочь

Наша команда проведет всесторонний анализ и определит, какие факторы нуждаются в улучшении. Мы можем помочь с такими вопросами, как:

• Исследование индексации — Обзор того, какие страницы включены в список, а какие нет.
• Проблемы индексации – Выяснение того, почему некоторые страницы не индексируются.
• Задержки индексирования — Анализ того, почему определенные страницы не отображаются в списке.
• Исключение из списка — Проблемы с удалением контента.
• Исключено в сравнении с Действительным — Рассмотрение проблем покрытия для исключенных страниц и их причин.
• Ошибки — Просмотр ошибок Google Search Console и их устранение.
• Технический — Обновления для Google Search Console и Analytics.
• Разработка — Изменения на веб-сайте для повышения скорости, индексации и кода.
• Контент – Редактирование или запись контента для помощи.
• Контент-маркетинг – Создание целостной стратегии для помощи в публикации.
• SEO – Обновления всего вышеперечисленного плюс обратные ссылки для повышения вашего авторитета.
• Социальные сети — анализ ваших текущих усилий в социальных сетях и составление плана действий.