Добавить сайт для индексации сайта в яндексе: Что сделать, чтобы мой сайт видели поисковые системы

alexxlab

Содержание

Как ускорить индексацию сайта в Google и Яндекс – nikoltun

В статье я расскажу как добавить сайт в поисковые системы Яндекс и Google. Сегодня есть множество как бесплатных, так и платных методов ускорения процесса индексации веб-ресурса. Чтобы получить желаемый результат, необходимо подходить к решению вопроса комплексно.

🪶 Что такое индексация
🪶 Почему не индексируется сайт
🪶 Как ускорить процесс индексации сайта
🪶 Как добавить сайт в Яндекс
🪶 Как добавить сайт в поиск Google
🪶 Что такое IndexNow и зачем нужен

Что такое индексация

Индексация сайта — это добавление его страниц в базу поисковых систем. Чтобы проиндексировать веб-страницы, поисковики отправляют на обход специальных роботов. Они анализируют HTML-код сайтов и регулярно посещают страницы ресурса. Периодичность зависит от того, как часто меняется контент, от количества страниц и объема трафика.

В результате проверки роботы индексируют сайт, и он начинает отображаться в поисковой выдаче.

🪶 Совет. Поддерживайте качество сайта. Чем больше полезных для посетителей страниц робот находит и загружает в базу, тем больше вероятность, что они начнут отображаться в результатах поиска.

Почему страницы долго не появляются в поиске

Есть множество причин, почему сайт не индексируется, но важно помнить, что индексация занимает некоторое время. Поэтому, если страницы нет в индексе, иногда это может значить, что роботы поисковых систем не успели до нее дойти. Убедитесь, что:

  • страницы доступны для робота;

  • информация о страницах есть в файле Sitemap;

  • на страницы ведут доступные ссылки с ранее проиндексированных страниц сайта;

  • директивы Disallow, noindex, а также HTML-элемент noindex закрывают от индексирования только служебные и дублирующие страницы.

Страницы вообще не индексируются

Если роботы и Яндекса, и Google игнорируют страницы сайта, нужно убедиться, что ботам не запретили обход. Проверьте, что не установлен запрет на обход сайта роботами в robots.txt, настройках хостинга или в метатегах robots.

Не индексируются одним из поисковиков

Когда либо Google, либо Яндекс не индексируют страницы сайта, проблема может быть в санкциях от этого поисковика. Нужно определить, какие санкции лежат на сайте, и исправить ошибки. Помогут материалы о санкциях Яндекса и фильтрах Google.

Индексируются, но долго

Зачастую причина — в низкой частоте обновления контента на сайте, и робот просто реже его посещает. Также проблема может крыться в плохой SEO-оптимизации, некачественном контенте и сайте в целом.

Как ускорить индексацию страниц

Давайте разберем способы ускорения индексирования сайта поисковиками.

Создать карту сайта Sitemap

Карта сайта помогает поисковым ботам понять структуру ресурса и обнаруживать обновления контента. Для ускорения индексации карту можно сделать динамической, то есть по мере создания новых страниц она сама будет обновляться.

А для проектов, например, на Tilda, карта по умолчанию динамическая, для CMS есть плагины и отдельные сервисы. К примеру, на WordPress с этой задачей справится All in One SEO Pack.

После создания карты пропишите в robots.txt строку для указания роботу пути к файлу: Sitemap: https://site.ru/sitemap.xml

Укажите путь в панелях для вебмастеров:

  • Яндекс Вебмастер – в разделе Инструменты → Анализ файлов Sitemap:

  • Google Search Console – в разделе Индекс → Файлы Sitemap:

Добавить HTML карту сайта

Создайте отдельную страницу, с которой будут идти ссылки на все значимые страницы ресурса. Это полезно не только для посетителей, но и для индексации роботами, а также является одним из способов перелинковки.

🪶Важно! HTML и XML-карта — не одно и то же. HTML-карта располагается на сайте, ее видят пользователи, а XML-карта нужна только поисковикам.

Разрешения в robots. txt

В файле robots.txt прописаны рекомендации для поисковых ботов Яндекса и Google. Можно запретить ботам посещать некоторые страницы, для этого есть директива «disallow», «nofollow», можно использовать мета-тег «noindex». Тогда при следующем посещении сайта бот увидит запрет и может к нему прислушаться. А может и нет.

🪶Файл robots.txt — это всего лишь рекомендации, а не прямое указание.

Отправить страницу на переобход

Можно дополнительно обратить внимание поисковиков на конкретные URL. В вебмастерах отправьте нужные URL на индексацию. Яндекс Вебмастер: Индексирование → 

Переобход страниц. Google консоль: Инструмент проверки URL.

Ответы сервера

Сервер при обращении поискового робота должен отдавать код 200 (если страница существует) и код 404 (если страницы не существует). Кроме того, время ответа не должно превышать 1,5-2 с — в противном случае робот может не дождаться и покинуть сайт. Проверить ответ сервера можно в Яндекс Вебмастере в разделе Инструменты → Проверка ответа сервера.

Правильная структура и перелинковка

Если на страницу не ведут ссылки с других страниц, поисковикам сложнее определить ее релевантность и неоткуда перейти на нее для сканирования. Для того, чтобы поисковый бот понял, что на новую страницу стоит зайти, поставьте ссылки на нее с уже проиндексированных страниц.

Также проверьте расположение страницы в структуре сайта и количество кликов до нее с главной. Чем оно меньше, тем важнее считается страница, и тем больший приоритет она получит с точки зрения бота. Идеальный вариант – не более трех кликов от главной.

Взять за правило обновлять контент

Поисковики любят «живые» сайты. Регулярно обновляющийся сайт бот будет чаще сканировать.

🪶Можно добавлять на страницу видео с Youtube, если больше нечего. Поведенческие улучшатся за счет просмотра видео, а на странице появится новый формат контента.

Публиковать ссылки в соцсетях и на других площадках

Найдите сторонние сайты по вашей тематике, где можно оставлять ссылки или публиковать посты, и размещайте таким образом ссылки на новые материалы. Вы можете договориться о партнерстве с площадкой, близкой вам по тематике, и обмениваться ссылками. Главное, что размещения ссылок должны выглядеть естественными и подходить по теме. Ищите справочники, форумы, другие соцсети, отзовики, сервисы FAQ и другие площадки для размещения. Например, размещайте анонсы ваших новых материалов в социальных сетях.

Использовать почтовую рассылку

Рассылка также позволяет быстро индексировать сайт, если пользователи будут посещать сайт через ссылки в почте. Для этого рекомендую воспользоваться любым сервисом для ведения рассылок.

Как добавить сайт в Яндекс Вебмастер

Перейдите на страницу Яндекс Вебмастера → Нажмите «+»  → Введите адрес сайта → Нажмите Добавить. Далее подтвердите права на сайт. Сделать это можно через: Метатег, HTML-файл или DNS-запись.

Как добавить сайт в поиск Google

Чтобы добавить сайт в поисковую систему Google, перейдите в Google Search Console → Введите адрес сайта в блоке Доменный ресурс → Нажмите Продолжить → Готово. Если права подтверждены корректно, вы увидите соответствующее уведомление.

Что такое IndexNow и зачем нужен

IndexNow – это свежее и довольно простое решение для быстрой индексации контента, размещаемого на сайтах. Это протокол, при помощи которого поисковая система сможет в режиме реального времени узнавать обо всех изменениях на сайте. Получив уведомление через IndexNow API, Яндекс и Bing сразу сканируют обновленную страницу и вносят соответствующие изменения в свой индекс и результаты поиска практически моментально.

Технически реализовать IndexNow можно при помощи API или плагинов для популярных CMS. Перед тем, как передавать URL, нужно будет сформировать и разместить на сайте специальный ключ, который подтвердит, что сайт принадлежит вам. Подробная инструкция по использованию протокола — в Справке Вебмастера.

Индексация сайта в поисковых системах

Что такое индексация в поисковых системах

Индексирование сайта — это процесс, в ходе которого поисковые системы получают и обрабатывают информацию о страницах ресурса. Эти данные хранятся в базе, которая называется поисковым индексом. Таким образом Яндекс, Google и другие поисковики узнают, что сайт существует и наполнен каким-то контентом. Индексация необходима для того, чтобы юзеры могли быстро найти страницы при поиске, а на формирование результатов выдачи уходили всего доли секунды.

Индексация контента — основная часть работы по продвижению ресурса. Лишь позже добавляются все остальные элементы по оптимизации сайта. Если у веб-страницы есть проблемы с индексированием, бизнес не получит клиентов с сайта и, соответственно, будет нести убытки.

Для индексирования поисковик — Яндекс или Google — отправляет на сайт роботов, которые считывают код, а впоследствии регулярно посещают страницы ресурса. Периодичность зависит от того, с какой частотой меняется контент, от количества страниц и объема трафика.

Упорядочивание и учет: индексация позволяет создать “БД” для последующего моментального поиска по заранее известным данным.

Как происходит индексация

Рассмотрим, как происходит процесс индексирования страниц сайта.

  1. Поисковый робот (краулер) обходит ресурс и находит на нем новую страницу.
  2. Данные анализируются: проводится очистка контента от ненужной информации, формируется список лексем. Лексема — совокупность всех значений и грамматических форм слова в языке.
  3. Вся информация упорядочивается, лексемы расставляются по алфавиту. Одновременно с этим происходит обработка данных, поисковая машина относит информацию к соответствующим темам.
  4. Формируется индексная запись.

Это стандартный процесс индексации документов для поисковых систем. При этом у Яндекса и Google есть некоторые отличия в технических моментах.

Сканирование страниц

Сканирование страниц — это главная задача поискового робота. Когда он попадает на новую страницу, то получает два набора данных:

  1. Содержание, информацию о сервере и служебные данные.
  2. Основные метаданные и Robots Meta (команды для робота)
  3. Список ссылок на страницах.

После этого робот передает данные в обработку, а затем сохраняет их в базе. Наиболее простой способ индексации страниц в рамках домена — создание карты сайта sitemap.xml.

Подробнее о XML карте вы можете прочитать в отдельной статье

Чтобы Google и Яндекс могли увидеть ваш сайт, нужно в первую очередь добавить его в сервисы, а после этого прикрепить ссылку на файл Sitemap в Google Search Console и Яндекс.Вебмастере. Это специальные сервисы для вебмастеров, которые помогают работать с индексацией и отслеживать ошибки на сайте.

Чтобы добавить файл Sitemap в Google Search Console, нужно зайти в сервис, добавить свой сайт и перейти в раздел «Индекс». В пункте «Файлы Sitemap» нужно выбрать «Добавить файл Sitemap» и вставить ссылку на файл Sitemap.

Добавление карты сайта в Search Console

В Яндекс.Вебмастере путь примерно такой же: зайдите в аккаунт, выберите нужный сайт. После этого в левом меню нажмите на раздел «Индексирование» и выберите вкладку «Файлы Sitemap». В строку «Добавить файл Sitemap» нужно вставить ссылку файла и нажмите «Добавить». Кстати, если вы внесли какие-либо в карту сайта, просто отправьте карту на перепроверку, нажав на стрелки рядом с файлом Sitemap.

Добавление XML карты в Вебмастер

Обработка страниц

После сбора роботами информация будет обработана, а затем попадет в базу данных. Это важно для ускорения дальнейшего поиска.

Сначала программа формирует страницу со всем содержимым: скрипты, эффекты, стили. Очень важно, чтобы робот имел полный доступ ко всем файлам, поскольку без них индексатор не сможет точно увидеть структуру.

Вы можете посмотреть, одинаково ли отображается страница для пользователей и поискового робота. Для этого нужно зайти в Google Search Console и выбрать отчет «Посмотреть как Googlebot» в разделе «Сканирование».

После этого робот анализирует текст страницы: упрощает слова и определяет частоту упоминания ключевого слова, проверяет уникальность. Если размещенный контент уже индексировался в интернете, у страниц будет низкая уникальность. Следовательно, робот может не добавить их в поисковый индекс. Поэтому важно наполнять свой сайт преимущественно уникальным и полезным контентом

Технологии и алгоритмы индексации

Важно понимать, что точные алгоритмы индексирования — это строго закрытая коммерческая информация. Поисковые системы тщательно охраняют эти данные.

«Яндекс» при индексации ориентируется преимущественно на файл robots.txt, а Google — на файл sitemap.xml.

Google

Главным отличием считается использование технологии Mobile-first. Она предполагает первоочередное сканирование и индексацию мобильной версии сайта. В индексе хранится именно мобильная версия. Получается, если страница сайта при показе на мобильных устройствах будет содержать мало важной информации или в целом проигрывать основной версии по качеству, высок риск, что в индекс она не попадет.

Кроме этого, Google подтверждает наличие «краулингового бюджета» — регулярности и объема посещения сайта роботом. Чем больше краулинговый бюджет, тем быстрее новые страницы будут оказываться в индексе. Увы, точных данных о способах расчета данного показателя в компании не раскрывают. По наблюдениям специалистов, в этом случае существенное влияние оказывают возраст сайта и частота обновлений.

«Яндекс»

В «Яндексе» главной версией сайта считается десктопная, поэтому в первую очередь сканироваться будет именно она. Официально краулингового бюджета нет, поэтому индексирование проводится вне зависимости от траста и других показателей ресурса. Еще влиять может количество выложенных в сеть страниц. Речь идет о страницах, которые конкуренты и другие пользователи публикуют одновременно с вами.

Приоритет при индексации имеют сайты с большей посещаемостью. Чем выше посещаемость, тем быстрее новая страница будет отображаться в поисковой выдаче.

Отдельно отметим, что Яндекс не индексирует документы с весом более 10 Мб. Это следует учитывать при создании страниц сайта.

Как эффективно проиндексировать сайт

Чтобы сайт начал как можно быстрее индексироваться поисковыми системами, его следует добавить в базу поисковиков через инструменты для вебмастеров.

Добавьте сайт в Яндекс.Вебмастер

Для начала нужно зайти в личный кабинет в сервисе и добавить сайт в главном меню.

Добавление нового сайта в Вебмастер

На следующем шаге нужно скопировать код подтверждения и добавить его в исходный код страниц сайта в раздел <head>.

Код подтверждения в конце тега <head>

Для повышения точности данных нужно привязать Яндекс. Метрику к сайту в пункте Настройки -> Привязка к Яндекс.Метрике. Информацию из Метрики робот будет использовать во время обходов.

Привязка к Яндекс.Метрике

Чтобы проверить, проиндексированы ли те или иные страницы на текущий момент, нужно перейти в меню Индексирование -> Проверить статус URL.

В том же меню можно увидеть информацию о том, когда и с каким результатом робот обходил страницы, какие из них присутствуют в поиске. Там же есть функция добавления Sitemap, запуска переобхода и настройки скорости обхода.

Добавьте сайт в Google Search Console

Нужно перейти на https://search.google.com/search-console/welcome и войте в учётную запись. Добавьте сайт в систему.

Добавление сайта в Google Search Console

Как и в Яндекс.Вебмастере, инструмент предлагает большое количество отчетов о состоянии индексации сайта. Можно увидеть, какие страницы проиндексированы и добавлены в поиск, какие есть внутренние и внешние ссылки и многое другое.

Если Яндекс автоматически обнаруживает файлы Sitemap и имеет довольно гибкие настройки переиндексации, то у Google Search Console с этим могут возникнуть проблемы. Иногда он не может увидеть файлы Sitemap — тогда их следует загрузить вручную. Настройки повторного обхода страниц после обновлений не столь удобны — в первую очередь необходимо проверить конкретный URL, а лишь после этого появится кнопка “Запросить индексирование”.

Добавление сайта в прочие поисковые системы

В российском сегменте интернета доля поисковых систем, кроме Яндекса и Google, близка к нулю. Тем не менее, пренебрегать ими не стоит, если сайт является важным имиджевым элементом крупной компании или проекта.

  1. Рамблер. Этот поисковик основан на тех же данных индексации, которые собирает Яндекс — в этом случае дополнительные настройки не нужны.
  2. Mail.ru. У него есть свой кабинет для вебмастеров — https://webmaster.mail.ru/. В нём предлагается минимальный набор инструментов для управления и отслеживания индексации в системе.
  3. Yahoo и Bing. В определённый момент Bing, который принадлежит Microsoft, поглотил поисковый движок Yahoo, объединив их сервисы для вебмастеров — https://www.bing.com/toolbox/webmaster/.

Как проверить индексацию

Есть три способа проверки того, отображается ли сайт в поисковиках: запрос в поисковой системе, использование бесплатных сервисов для автоматической проверки, а также специальные сервисы для веб-мастеров.

Поисковая строка

Наиболее простой и быстрый способ проверки индексации. Яндекс и Google поддерживают оператор site, который отображает проиндексированные страницы. Базовый синтаксис использования: site:sitename.com

Например: site:mosreg.ru

Однако поисковые системы могут ограничить работу этих операторов для снижения нагрузки. Поэтому лучше использовать дополнительные способы проверки.

Бесплатные плагины

Можно использовать бесплатные сервисы, например, BE1 и PR-CY. Для проверки нужно ввести адрес сайта в специальную строку и нажмите «Проверить». Обычно такие сервисы, кроме количества страниц в индексе популярных поисковиков, предоставляют еще много полезных и интересных данных.

Анализ показателей сайта через сервис Be1, в том числе количество проиндексированных страниц

Как ускорить индексацию сайта

Современные поисковые роботы достаточно быстро собирают информацию о ресурсе: обычно новые страницы появляются в индексе уже через 20–40 минут. Но так бывает не всегда, поскольку может произойти сбой или другая нештатная ситуация, и страница будет индексироваться очень долго.

Стоит учесть, что появление адреса в списке проиндексированных страниц «Яндекс.Вебмастера» не совпадает с реальным моментом индексации. На практике URL оказывается в индексе намного раньше, а в кабинете — лишь при очередном апдейте.

При этом есть ситуации, когда индексирование важно ускорить:

  1. Сайт выходит из-под фильтров.
  2. Молодой ресурс обладает небольшим краулинговым бюджетом.

В обоих случаях можно и нужно “подтолкнуть” поисковых роботов. Отметим, что для «Яндекса» и Google подход будет отличаться.

Начнем с российской поисковой системы. Заходим в «Яндекс.Вебмастер» и в меню слева, во вкладке «Индексирование», находим ссылку «Переобход страниц». Переходим по ней.

На следующей вкладке нужно ввести URL новой страницы, а затем нажать кнопку «Отправить». Отследить статус заявки можно в списке ниже.

Яндекс.Вебмастер — «Переобход страниц»

То же самое можно делать не только с новыми страницами, но и с уже имеющимися, если в них были изменения. Нужно помнить, что количество отправок в сутки ограничено, и все зависит от возраста и траста сайта.

В самом «Вебмастере» для ускорения индексирования рекомендуется подключать переобход по счетчику «Яндекс.Метрики». Это не самое хорошее решение. Все потому, что поисковый робот может ходить по всем страницам — даже тем, которые не требуется индексировать, причем в приоритете будут наиболее посещаемые документы. Может возникнуть ситуация, когда старые страницы робот обошел, а новые — не увидел. Или вовсе в поиск попадут технические страницы: например, страница авторизации или корзина интернет-магазина.

У Google ускорение индексации состоит из двух этапов. Сначала нужно перейти в Search Console, где на главной странице вверху можно увидеть поле «Проверка всех URL». В него следует вставить адрес страницы, которую требуется проиндексировать. Далее нажимаем на клавиатуре «Enter».

Ждем около минуты. Некоторое время поисковая машина будет проверять, можно ли проиндексировать адрес. Если все прошло успешно, Google сообщит, что страница отправлена на индексирование. Остается лишь дождаться результатов.

При отправке на индексирование страниц сайта важно помнить, что Google до сих пор очень ценит ссылки. Поэтому есть и другой способ ускорения индексации — Twitter. Сразу после публикации страницы можно отправиться в Twitter и сделать твит с нужным адресом. Буквально через полчаса URL будет уже в индексе Google.

Лучше всего использовать эти способы совместно — так надежнее.

Как закрыть сайт от индексации

Закрыть сайт от индексации — значит, запретить поисковым роботам доступ к сайту, к некоторым его страницам, части текста или изображению. Как правило, это делается, чтобы скрыть от публичного доступа определенную секретную информацию, технические страницы, сайты на уровне разработки, дублированные страницы и проч.

Сделать это можно несколькими способами:

1. С помощью robots.txt можно запретить индексацию всего сайта или определенных страниц. Для этого в корне веб-сайта нужно создать текстовый документ, в котором будут указаны правила для роботов поисковых систем. Они состоят из двух частей: первая (User-agent) указывает на адресата, а вторая (Disallow) запрещает индексацию того или иного объекта.

Например, запрет индексации всего сайта для всех поисковых ботов выглядит так:

User-agent: *

Disallow: /

2. При помощи мета-тега robots, который считается наиболее правильным для закрытия одной конкретной страницы от индексирования. Теги noindex и nofollow помогут запретить роботам любых поисковых систем индексировать сайт, страницу или часть текста.

Запись для запрета индексации всего документа будет выглядеть так:

<meta name=»robots» content=»noindex, nofollow»/>

Можно создать запрет для определенного робота:

<meta name=»googlebot» content=»noindex, nofollow»/>

Что делать, если сайт не индексируется

Есть большое количество причин, почему сайт не индексируется. Условно их можно разделить на технические и контентные.

Технические причины

Сайт может быть случайно закрыт от сканирования роботами, например, из-за ошибки разработчиков. Это можно обнаружить, если проверить:

  1. Директиву Disallow в файле robots.txt. Она, как мы говорили ранее, закрывает конкретные страницы от индексации.
  2. Мета-теги в разделе <head> HTML-документа, например, <meta name=»robots» content=»noindex» />. Они помогают определить отношение к сканированию контента в документе.
  3. HTTP-заголовок X-Robot-Tag — информация о запрете или разрешении индексации сайта в HTTP-заголовках ответа сервера.
  4. Код ответа сервера. В индекс попадают лишь доступные страницы с кодом ответа сервера 200 Ок, а ресурсы с другими кодами ответа удаляются. Изменение кода ответа — один из способов управления индексацией.
  5. Настройки сервера. Для разных IP адресов, User-agent и иных параметров серверная часть ресурса может регулировать как скорость, так и саму отдачу информации о странице и ее содержимом.
  6. Отсутствие входящих внутренних или внешних ссылок (так называемые страницы-сироты). Индекс может исключать их.
  7. Низкий трафик. Это может быть следствием недостаточно полезной страницы или отсутствием семантического спроса со стороны пользователей по конкретному контенту.

Контентные причины

Стоит помнить, что индексация всегда занимает определенное время. Поэтому, если страницы нет в индексе, иногда это может говорить о том, что роботы поисковых систем просто не успели до нее дойти. Также есть риск, что присутствуют ошибки в контентном наполнении страниц:

  1. Отсутствие индексируемого контента. Контент может быть реализован на технологии, которую поисковые системы не способны считывать или плохо воспринимают к индексации. Так векторная графика, например, Flash, не индексируется.
  2. Контент без пользы или вредный для пользователей. Сюда относятся спам, малый по объему контент, устаревшая информация, которая не будет пользоваться популярностью, наличие вирусов или фишинга.
  3. Дублирующийся контент. Поисковые системы обычно не индексируют или удаляют из выдачи страницы, которые содержат одинаковую информацию.

Иные причины

Более редкие случаи неиндексации бывают связаны, например, с фильтром «для взрослых».

Возможен редкий случай неиндексации — «плохая история» домена. В этом случае, например, был куплен домен, на котором ранее был поисковый спам, плохие ссылки, adult-контент. Также он мог быть ранее замечен в других черных способах продвижения, поэтому сайт сразу окажется под фильтром. Поэтому перед покупкой домена стоит проверить его историю.

Выводы

Индексация страниц сайта проводится, как правило, достаточно быстро. При правильной настройке документы могут попадать в индекс поиска уже спустя полчаса после размещения.

Настройка сводится к созданию правильных конфигурационных файлов, а также удобных условий для поискового робота для перехода по страницам сайта. Вот какие шаги следует предпринять для правильной индексации:

  • Создать и правильно настроить файл robots.txt.

Подробнее о robots.txt вы можете прочитать в другом материале

  • Создать файл sitemap.xml.
  • Зарегистрировать сайт в сервисах Google Search Console и «Яндекс. Вебмастер».
  • Каждый раз после размещения новой статьи или страницы отправлять URL на проверку.
  • Использовать дополнительные инструменты: размещение ссылок в Twitter и на других трастовых ресурсах.
  • Проводить контроль качества HTML верстки. Большое количество ошибок в HTML коде часто приводит к некорректной индексации документа.
  • Проводить проверку внутренней оптимизации: перелинковка страниц
  • Проводить работы над уникальностью контента на страницах. Яндекс часто исключает страницы с неуникальным контентом из индекса и помечает их как “малополезные”.

После этого вероятность возникновения проблем с индексированием будет минимальной. Теперь можно переходить к наращиванию позиций в топе, но это уже тема другой статьи.

Как использовать IndexNow Позвольте Bing, Yandex и другим поисковым системам мгновенно сканировать и индексировать ваш контент

IndexNow — это простой способ для владельцев веб-сайтов мгновенно информировать поисковые системы о последних изменениях контента на их веб-сайте. В двух словах, IndexNow — это простая проверка связи, позволяющая поисковым системам знать, что URL-адрес и его содержимое были добавлены, обновлены или удалены, что позволяет поисковым системам быстро отражать это изменение в своих результатах поиска.

Вы знаете, что поисковым системам может потребоваться от нескольких дней до нескольких недель, чтобы обнаружить, что содержание изменилось, поскольку поисковые системы не часто сканируют каждый URL. Благодаря IndexNow поисковые системы сразу узнают «измененные URL-адреса, что помогает им расставить приоритеты при сканировании этих URL-адресов и тем самым ограничивает органическое сканирование для обнаружения нового контента».

Поисковые системы с поддержкой IndexNow

IndexNow предлагается в соответствии с условиями лицензии Creative Commons Attribution-ShareAlike и поддерживается Microsoft Bing, Яндекс.

Таким образом, пионерами поисковых систем, поддерживающих IndexNow, являются Bing и Яндекс.

У поисковых систем есть конечные точки для отправки URL:

• Microsoft Bing 

https://www. bing.com/indexnow?url=url-changed&key=your-key

• Яндекс

https://yandex.com/indexnow?url=url-changed&key=your-key

IndexNow начнет работу в ноябре 2021 г.

Документация

Отправка одного URL-адреса HTTP-запрос (замените URL-адресом, предоставленным поисковой системой), отправьте запрос на следующий URL-адрес:

https:///indexnow?url=url-changed&key=your-key

• url-changed — это URL-адрес. вашего веб-сайта, который был добавлен, обновлен или удален. URL-адрес должен быть экранирован и закодирован, и убедитесь, что ваши URL-адреса соответствуют RFC-39.86 для URI.

• Ваш ключ должен состоять не менее чем из 8 и

из 128 шестнадцатеричных символов. Ключ может содержать только следующие символы: символы нижнего регистра (a-z), символы верхнего регистра (A-Z), цифры (0-9) и тире (-).

Например, если вы хотите уведомить поисковые системы об обновлении https://www.example.org/product.html и хотите использовать этот ключ c59ff45687024cfb83c1cc6abbb0515c

https:///indexnow?

url=https://www. example.org/product.html&

key=c59ff45687024cfb83c1cc6abbb0515c

Вы можете выполнить HTTP-запрос, используя браузер, wget, curl или любой другой механизм по вашему выбору. Успешный запрос вернет код ответа HTTP 200; если вы получаете другой ответ, убедитесь, что вы не отправляете слишком часто, что ключ и URL-адрес действительны, и повторно отправьте запрос. Код ответа HTTP 200 указывает только на то, что поисковая система получила ваш URL.

How to Summit URLs

Чтобы отправить набор URL-адресов с помощью HTTP-запроса, отправьте запрос POST JSON на URL-адрес, предоставленный поисковыми системами. Замените на имя хоста поисковой системы.

POST /IndexNow HTTP/1.1

Content-Type: application/json; charset=utf-8

Хост:

{

  «host»: «www.example.org»,

  «key»: «c59ff45687024cfb83c1cc6abbb0515c»,

9 0002   «Список URL»: [

      «https://www.example.org/url1»,

      «https://www. example.org/folder/url2″,

      «https://www.example.org/url3»

]

}

Вы можете отправлять до 10 000 URL-адресов на одно сообщение, при необходимости смешивая URL-адреса http и https.

Вы можете выполнить HTTP-запрос, используя wget, curl или другой механизм по вашему выбору. Успешный запрос вернет код ответа HTTP 200; если вы получили другой ответ, вы должны проверить свой запрос и, если все в порядке, повторно отправить запрос. Код ответа HTTP 200 указывает только на то, что поисковая система получила ваш набор URL-адресов.

Рекомендуемый способ — автоматизировать отправку URL-адресов сразу после добавления, обновления или удаления содержимого до определенного предела; ознакомьтесь с рекомендациями по работе с пользовательским контентом в разделе «Часто задаваемые вопросы».

Как подтвердить право собственности с помощью ключа

Вам необходимо подтвердить свое право собственности на хост, для которого отправляются URL-адреса. Для этого вам нужно разместить хотя бы один текстовый файл на хосте. Как только вы передадите свои URL-адреса поисковым системам, поисковые системы просканируют файл ключа, чтобы подтвердить ваше право собственности, и использовать ключ для индексации ваших URL-адресов, пока вы не измените ключ. Третье лицо не должно знать ключ и местонахождение файла ключа, кроме вас и поисковых систем.

Как подтвердить право собственности

IndexNow предлагает два метода подтверждения права собственности на ваш сайт

Чтобы отправить URL-адреса, вы должны «подтвердить» право собственности на хост, для которого отправляются URL-адреса, разместив хотя бы один текстовый файл в хозяин. Как только вы отправите свои URL-адреса в поисковые системы, поисковые системы будут сканировать файл ключа, чтобы подтвердить право собственности, и использовать ключ, пока вы не измените ключ. Только вы и поисковые системы должны знать ключ и местоположение ключа вашего файла.

Вариант 1

Размещение файла текстового ключа в корневом каталоге вашего хоста.

Вы должны разместить текстовый ключевой файл {your-key}.txt в кодировке UTF-8, в котором указан ключ в файле, в корневом каталоге вашего веб-сайта.

Например, для предыдущих примеров вам потребуется разместить файл ключа UTF-8 по адресу https://www.example.org/c59ff45687024cfb83c1cc6abbb0515c.txt, и этот файл должен содержать ключ c59ff45687024cfb83c1cc6abbb0515c

Вариант 2

Размещение файла текстового ключа на вашем хосте.

Вы также можете разместить от одного до нескольких файлов текстовых ключей в кодировке UTF-8 в других местах на том же хосте, и вы должны сообщать поисковым системам местоположение этого файла текстовых ключей в каждом уведомлении IndexNow, указав местоположение с помощью переменной keyLocation.

Если вы отправляете URL-адрес, укажите расположение файла ключа в качестве значения параметра URL-адреса расположения ключа.

https://<поисковая система>/indexnow?

url=http://www.example. org/product.html&

key=c59ff45687024cfb83c1cc6abbb0515c&

keyLocation=http://www.example.org/myIndexNowKey63638.txt

9 0002 Если вы отправляете набор URL-адресов, укажите местоположение файла ключа в качестве ключевой переменной Location в содержимом JSON.

POST /IndexNow HTTP/1.1

Content-Type: application/json; charset=utf-8

Хост:

{

  «host»: «www.example.org»,

  «key»: «c59ff45687024cfb83c1cc6abbb0515c»,

  «keyLocation»: «https://www.example.org/myIndexNowKey63638.txt»,

  «urlList»: [

      «https://www.example.org /url1»,

      «https://www.example.org/folder/url2»,

      «https://www.example.org/url3»

      ]

}

В этом варианте 2, расположение файла ключа определяет набор URL-адресов, которые могут быть включены в этот ключ. Файл ключа, расположенный по адресу http://example.org/catalog/key12457EDd.txt, может включать любые URL-адреса, начинающиеся с http://example. org/catalog/, но не может включать URL-адреса, начинающиеся с http://example.org/help/. .

• http://example.com/catalog/show?item=23

• http://example.com/catalog/show?item=233&user=3453

URL-адреса не считаются действительными в http://example .com/catalog/sitemap.xml включает:

• http://example.com/image/show?item=23

• http://example.com/image/show?item=233&user=3453

• https://example.com/catalog/page1.php

URL-адреса, которые не считаются действительными в варианте 2, могут не рассматриваться для индексации. Настоятельно рекомендуется использовать вариант 1 и поместить ключ файла в корневой каталог вашего веб-сервера.

ПРИМЕЧАНИЕ.  IndexNow syas: «Использование IndexNow гарантирует, что поисковые системы будут в курсе изменений на вашем веб-сайте. Использование IndexNow не гарантирует, что веб-страницы будут просканированы или проиндексированы поисковыми системами. Может потребоваться время, чтобы изменения отразились в поисковых системах».

Для начала посетите IndexNow

Главная | Tampermonkey

Tampermonkey является одним из самых популярных расширений браузера с более чем 10 миллионами пользователей . Это доступно для Chrome , Microsoft Edge , Safari , Opera Next и Firefox .

Позволяет пользователям настраивать и расширять функциональность ваших любимых веб-страниц . Пользовательские скрипты — это небольшие программы JavaScript, которые можно использовать для добавления новых функций или изменения существующих на веб-страницах. С Tampermonkey вы можете легко создавать, управлять и запускать эти пользовательские скрипты на любом веб-сайте, который вы посещаете.

Например, с Tampermonkey вы можете добавить новую кнопку на веб-страницу, которая позволит вам быстро поделиться ссылкой в ​​социальных сетях или автоматически заполнить форму с вашей личной информацией. Это особенно полезно в эпоху оцифровки, когда веб-страницы часто используются в качестве пользовательских интерфейсов для доступа к широкому спектру услуг и приложений.

Кроме того, Tampermonkey упрощает поиск и установку пользовательских скриптов, созданных другими пользователями . Это означает, что вы можете быстро и легко получить доступ к обширной библиотеке настроек и улучшений для ваших любимых веб-страниц, не тратя часы на написание собственного кода.

Являетесь ли вы веб-разработчиком, желающим добавить новые функции на свой сайт, или просто обычным пользователем, стремящимся улучшить работу в Интернете , Tampermonkey — отличный инструмент, который должен быть в вашем наборе инструментов.

Easy Script Access

Всплывающее окно Tampermonkey полезно для быстрого и простого управления установленными пользовательскими скриптами. В некоторых браузерах вам нужно вручную закрепить значок, чтобы он постоянно отображался. Это позволяет пользователям включать или отключать сценарии, просматривать состояние сценариев и запускать проверку обновлений, не покидая текущую страницу. Это позволяет пользователям легко контролировать поведение своих установленных пользовательских скриптов и настраивать свой опыт просмотра. Кроме того, количество запущенных скриптов отображается в виде небольшого числа прямо на значке расширения рядом с адресной строкой. (