настраиваем мгновенную индексацию сайта в Яндекс, Google, Bing — SEO на vc.ru

В этой статье я расскажу как автоматически передавать информацию о новом, изменившемся или удаленном контенте поисковым системам, и сделать индексацию сайта практически мгновенной.

1351 просмотров

Настройка IndexNow

Яндекс и Bing используют протокол с открытой лицензией для быстрого уведомления поисковых систем об изменениях на сайте. Перед отправкой запросов необходимо подтвердить права на сайт через специальный ключ. В дальнейшем обмен данными будет происходить через API.

Да, в Bing Webmaster Tools (BWT) желательно зарегистрировать свой сайт и пользоваться быстрой индексаций. В некоторых нишах в рунете из Bing есть трафик и конверсии.

Процесс настройки идентичен для обеих поисковых систем:

• Сгенерировать ключ. Это случайный набор символов исключительно из диапазонов a-z, A-Z , 0-9. Длина ключа находится в диапазоне от 8 до 128 символов. Пример: 76934bb5f78b405dac82129a90a6ec51.
• Создать файл с ключом и положить в корень сайта. Создаем txt файл в кодировке UTF-8. В качестве названия и содержимого используем ключ. Пример: 76934bb5f78b405dac82129a90a6ec51.txt. Заливаем файл в корневой каталог, где располагаются все файлы сайта. Файл должен быть доступен по адресу https://site.ru/76934bb5f78b405dac82129a90a6ec51.txt. Тем самым подтверждаются права на сайт. Можно разместить файл в конкретной категории сайта. Тогда отправка запросов на быструю индексацию будет осуществляются для URL только из этой категории.
• Отправляем URL на индексацию в Яндекс. Пример запроса: https://yandex.com/indexnow?url=https://site.ru/new-page&key=76934bb5f78b405dac82129a90a6ec51.
• Отправляем URL на индексацию в Bing. Пример запроса: https://www.bing.com/indexnow?url=https://site.ru/new-page&key=76934bb5f78b405dac82129a90a6ec51.
  
  

Настроить сканирование через IndexNow также можно через плагины для популярных CMS:

• 1С-Битрикс — Picom, Reindex;
• WordPress — IndexNow;
  
• UMI.CMS — IndexNow;
  
• Moguta.CMS — IndexNow.
  

В одном запросе можно отдавать на приоритетную индексацию до 10 000 URL. Спамить не стоит, поисковые системы могут ограничить квоту.

Старые страницы также не рекомендуется отправлять, особенно если они уже есть в индексе. Это влечет нерациональное использование мощностей поисковых систем.

Стоит отметить, что использование протокола IndexNow не гарантирует 100% попадания в индекс той или иной страницы. Это всего лишь указывает поисковым роботам на приоритезацию индексирования URL, и не отменяет требований к качеству страницы и контента.

Несколько лет назад у Яндекса с этим были проблемы, он неохотно индексировал новые URL и обновлял старые через протокол IndexNow. Сейчас на практике качественные страницы довольно быстро попадают в индекс Яндекса и Bing и начинают ранжироваться в течении суток.

Настройка Google Indexing API

Indexing API позволяет отправлять новые, обновленные или удаленные URL на приоритетную индексацию в Google. Данный метод работает намного быстрее, чем автоматическое обновление через sitemap.xml.

Робот Google не часто сканирует sitemap.xml на наличие изменений, поэтому новые страницы могут не ранжироваться месяцами.

Процесс настройки состоит из следующих блоков: создание сервисного аккаунта, получение JSON-ключа, подключение Indexing API к GSC, установка node.js и отправка URL на индексацию.

• Создаем сервисный аккаунт. Переходим на Google Cloud Platform и нажимаем Create Project. Вводим произвольное название проекта. Затем нажимаем Create Service Account с ролью Owner.
• Получаем JSON-ключ. Нажимаем на три точки в столбце Actions и выбираем Manage keys, затем Add key -> Create new key. Скачиваем файл с JSON-ключом.
• Связываем Indexig API и GSC. В GSC заходим в Настройки -> Пользователи и разрешения, жмем Добавить пользователя. Берем e-mail сервисного аккаунта и предоставляем полный доступ. Переходим обратно в GCP и включаем Indexing API через кнопку Enable.
• Устанавливаем node.js. Качаем под свою OS тут и устанавливаем. Затем качаем скрипт массовой отправки URL через node.js с GitHub. Далее нужно открыть командную строку или терминал, перейти в папку с скриптом (команда cd *полный путь до папки*) и выполнить 3 команды: npm install requests, npm audit fix, npm audit fix —force. После успешного выполнения в папке с скриптом появится папка node_modules.
• Отправляем URL через Google Indexing API. Заходим в папку с скриптом из пункта выше, Открываем файл service_account.json и копируем в него содержимое JSON-ключа из пункта выше. В файл urls.txt добавляем наши URL, которые хотим проиндексировать. Далее нужно открыть командную строку или терминал, перейти в папку с скриптом (команда cd *полный путь до папки*) и выполнить команду: node index.js.

Отправлять URL на индексацию также можно через плагины для CMS. Их существует довольно много. Для этого все равно придется создать сервисный аккаунт и получить JSON-ключ.

Квота в Google составляет 200 URL в сутки и 100 URL за одну выгрузку. Также, как и в IndexNow, данный метод не гарантирует 100% индексации в эту же секунду. Мы всего лишь ставим самый высокий приоритет индексации для Googlebot, а дальше он действует на свое усмотрение.

На скриншоте ниже показан пример использования Indexing API для небольшого сайта.

Статус индексации в GSC

По мере добавления контента все новые URL сразу отправлялись на индексацию через Indexing API.

Приоритетная индексация страниц вручную

• Яндекс.Вебvастер — перейти в Индексирование -> Переобход страниц.
• GSC — в верхнюю строку проверки URL ввести адрес и нажать Запросить индексирование.
• BWT — перейти в раздел Отправка URL-адреса, нажать Отправить URL-адреса.

Бонусы от быстрой индексации сайта

• Важные money-страницы быстрее попадают в индекс, быстрее обновляется контент, быстрее удаляются ненужные URL.
• Минимизируются проблемы с определением сайта-первоисточника и воровством контента.
• Массовое первичное добавление страниц в индекс позволяет быстро нарастить трафик из поисковых систем.

Другие статьи:

Как проиндексировать сайт в Яндекс и Гугл

Привет уважаемые читатели seoslim.ru! На своем опыте знаю, что для молодых сайтов очень важно, чтобы новые статьи максимально быстро попадали в индекс поисковых систем.

Это я к тому, что вопрос о ворованном контенте будет еще долго волновать вебмастеров, ведь никто не хочет, чтобы статья на другом сайте была проиндексирована раньше чем у  первоисточника и ранжировалась выше его.

Тот, кто привык копировать чужой материал будет его и дальше копировать, а нам лишь останется использовать все возможные средства защиты контента, и о самых респектабельных я рассказал в статье «Как защитить текст от копирования на блоге или сайте».

Сегодня я решили обновить очередной пост, поэтому в продолжении темы поделюсь одним методом, благодаря которому мне удается индексировать страницы сайта в Яндекс и Гугл в максимально быстрые сроки. загнать статью в индекс Google за считанные минуты.

Если раньше только Gogole позволял в один клик приводить быстророботов на сайт, то теперь и Яндекс добавил похожую опцию в панель для вебмастеров, но обо всем с самого начала.

Этапы индексирования страниц сайта

Вы задавались вопросом, что из себя представляет поисковик? Лично в моем понимании это сайт, содержащий базу URL адресов, которая может быть вызвана пользователем по запросу.

Логично предположить для того чтобы в сети ваш сайт могли отыскать другие пользователи нужно дождаться, пока поисковик внесет адрес страницы сайта к себе в базу.

Для этого созданы специальные поисковые машины и программы, а в просто народе они называются «роботами», которые усердно перелопачивают горы информации в сети, дабы обновить или дополнить свою базу сайтов, картинок и других сервисов с которыми работает та или иная поисковая машина (Яндекс, Google, Mail, Nigma, Bing и др.).

Например, Google имеет в своем арсенале множество роботов:

• Основной Googlebot, отвечающий за содержание страниц поиска
• Ряд специализированных, где на каждого возложена отдельная задача. Кто-то индексирует рекламу Adsense, кто-то картинки и RSS-ленту.

Если говорить про всеми любимый Яндекс, то здесь на помощь основному роботу приходит быстроробот Orange, задачей которого заключается в индексации свежих материалов, появившихся на сайте.

Из этого следует, что после написания очередного интересного поста, вебмастеру стоит позаботиться о том, чтобы Googlebot и Orange (быстроробот) оказались на странице в кротчайшие сроки.

Как загнать статью в индекс Google и Яндекс

Может кто-то об этих способах уже знает и активно их использует, но для самых новеньких уверен они пригодятся.

Решение от Гугл

Сейчас я покажу вам работающий на все 99% метод попадания страницы сайта в поисковую базу Гугла.

Для этого нам потребуется панель инструментов для вебмастера Google. Если вы еще не добавили туда свой сайт, то обязательно это сделайте.

Теперь переходим во вкладку «Сканирование» и выбираем «Просмотреть как Googlebot».

Далее надо указать адрес ссылки, которая будет сканироваться системой, и нажать кнопку «Сканировать».

Если такая страница присутствует на сайте и нет никаких сбоев, то статус ссылки изменится на «Запросить индексирование».

Кликаем по нему и выбираем одну из задач:

• Если хотите, чтобы Googlebot сканировал только указанный адрес без перехода по ссылкам —
  выбираем первый вариант;
• Если в тексте есть ссылки на другие связанные страницы — выбираем второй вариант.

Если операция прошла успешно, увидите вот такое сообщение напротив добавляемой ссылки.

Через пару минут, при условии, что нет сбоев на стороне Google, ваша статья будет занесена в индекс зарубежной поисковой машины.

Решение от Яндекс

Если разработчики Гугл позаботились о вебмастерах еще несколько лет назад, то с обновлением панели для вебмастеров от Яндекс русский поисковик наконец-то разработал схожую функцию по ускорению индексации страниц сайта.

Все что нужно сделать, это в панели управления выбрать раздел «Индексирование» и перейти в подраздел «Переобход страниц».

Далее вводите адреса тех страниц, которые нужно проиндексировать в приоритетном порядке.

Только учтите, что в день можно отправлять на индексацию не более 10 страниц, возможно в будущем этот лимит будет и увеличен.

Далее смотрите на статус заявки по каждой из страниц, которая может быть «В очереди», «Робот обошел» и «Ошибка».

• «В очереди» — страница передана роботу для обхода.
• «Робот обошел» — страница посещена роботом.
• «Ошибка» — робот не смог посетить страницу.

После того как робот посетит страницу она появится в индексе Яндекс с последующими обновлениями поисковой базы.

Но проще всего уповать на быстроробота, который со временем поселится на сайте и сам будет отслеживать появление нового контента. Но так будет только в том случае, если сайт постоянного пополняется новым материалом.

Я уже не раз рассказывал по все возможные способы заставить Orange обратить внимание на новые посты с помощью социальных сетей, каталогов, аддурилки и т.д., подробно о всех способах прочитаете в статьях:

• 10 проверенных способов индексации сайта
• Автопостинг новых постов в твиттер
• Как добавить сайт в индекс через аддурилку

Все способы работают по принципу получения обратных ссылок с сайтов, где быстроробот живет постоянно. Поэтому если робот, посетив известную ему страницу, видит, что появилась новая ссылка, он добавляет ее в свою базу, тем самым расширяя список страниц, которые подлежат индексации.

Настоятельно рекомендую молодым площадкам помогать роботам ПС узнавать о страницах сайта за счет других площадок. Для этого достаточно прикупить в любой линко-бирже тройку ссылок с высоко трастовых новостных сайтов.

А все знают, что новостники обновляются постоянно, тем самым располагая к себе внимание робота от Yandex.

Лично я приобретаю только вечные ссылки в таких биржах как Gogetlinks и Miralinks что будет хорошо сказываться, как на индексации всего сайта в целом, так и на его позициях в ТОП выдаче. Однако здесь нужно грамотно отнестись к выбору донора, чтобы не выкинуть деньги на ветер и не получить фильтр Пингвин.

На этом у меня все, буду рад узнать в комментариях о других методах ускорения индексации страниц сайта, пока!

Призыв к Google активизировать деиндексацию, поскольку исследование показывает распространенность подделок в результатах поиска | WTR

• До 60% результатов поиска связывают пользователей с контрафактной и вредной продукцией
• Google будет деиндексировать веб-сайты только на основании жалобы на торговую марку по решению суда
• Incopro призывает компанию создавать масштабируемые решения совместно с правообладателями

Новое исследование Incopro выявило, что сайты, продающие подделки, регулярно включаются в результаты поиска Google. В настоящее время компания призывает гиганта поисковых систем выполнять запросы на деиндексацию таких сайтов и работать с правообладателями над созданием масштабируемого процесса, обеспечивающего удаление поддельных местоположений в масштабе.

В исследовании «Поисковые системы: время действовать» были проанализированы результаты поиска по пяти отраслям: фармацевтика, автозапчасти, товары для детей, оборудование для обеспечения безопасности и бытовая техника. Что касается результатов, то было обнаружено, что до 60% фармацевтических поисков антибиотика Бактрим связаны с сайтами, которые, вероятно, продают подделки. Треть поисков товаров для детей также приводила к потенциально опасным продуктам. Что касается бытовой техники, то потребители регулярно перенаправлялись на сайт по продаже подделок, а седьмой по популярности результат в поиске Яндекса по запросу «подушки безопасности» ведет на сайт, продающий потенциально опасные товары. Кроме того, ряд возвращенных веб-сайтов действовали как каталоги для таких торговых площадок, как Aliexpress и оптовых китайских сайтов, продающих поддельные велосипедные шлемы.

Компания Optify обнаружила, что в 2017 году на первый результат поиска приходилось 44,64 % всех кликов по результатам исследования. Поскольку люди явно отдают предпочтение первым результатам, важно отметить, что 26 % потенциально опасных сайтов оказались в первой тройке результатов.

Не менее важно отметить, что исследование проводилось в нескольких поисковых системах, включая Bing, Baidu и Яндекс. Однако, поскольку Google владеет 92,42% доли мирового рынка, основная часть исследований и рекомендаций была сосредоточена на ее практике, в частности, на ее подходе к деиндексации.

В этом отношении позиция Google ясна. В разговоре с Incopro компания заявила: «В настоящее время Google не деиндексирует URL-адреса или веб-сайты из своего поискового индекса в Интернете на основании товарных знаков по запросу». Это отличается от деиндексации веб-сайтов, идентифицированных как спам, фишинг, вредоносное ПО или нарушение авторских прав.

Конечно, ответственность поисковых систем уже давно является горячей темой, и хотя интернет-платформы, такие как Amazon и Alibaba, все более активно подходят к проблеме наличия подделок на своих сайтах, поисковые системы не рассматриваются автоматически как хостинговые платформы в так же.

Инкопро надеется, что изменения в законодательстве побудят Google занять более добровольную позицию в отношении деиндексации. Саймон Бэггс, генеральный директор и соучредитель Incopro, прокомментировал WTR: «Incopro встретилась с Google по поводу проблем, выявленных в Белой книге. Мы хотели бы верить, что Google выберет добровольное изменение, которое включает деиндексацию поддельных сайтов Google — Белая книга была опубликована, чтобы представить доказательства и правовую основу для изменения подхода. На этом фоне Incopro сосредоточится на создании межотраслевого сотрудничества, чтобы помочь поддержать единый голос, представить правительствам необходимость регулирования в отсутствие добровольного изменения».

На данный момент у правообладателей есть несколько вариантов. Один из них — получить судебные постановления в отношении определенных сайтов или потребовать от Google деиндексировать сайт. Это не беспрецедентно. Например, окружной суд Парижа ранее распорядился о деиндексации веб-сайтов AlloStreaming посредниками. Верховный суд Канады оставил в силе постановление Google о деиндексации веб-сайтов, управляемых Datalink. В Австралии в декабре 2018 года вступило в силу законодательство, расширяющее сферу действия судебных запретов в отношении посредников и позволяющее правообладателям добиваться судебного запрета в отношении поисковой системы.

Со своей стороны, Google заявила, что выполнит судебные приказы против третьих лиц о «добровольном удалении контента» из их результатов веб-поиска. Тем не менее, он также подтвердил, что будет продолжать «искать защиты от приказов против него». Поиск такого приказа для каждого предполагаемого случая нарушения, вероятно, станет потенциально длительной и дорогостоящей судебной тяжбой, которая не понравится широкому кругу правообладателей.

Если правообладатель хочет эффективно деиндексировать потенциально вредоносное объявление в Google, у него есть варианты вне суда. Учитывая нежелание реагировать на уведомления о товарных знаках, Бэггс рекомендует попробовать другие пути: «Использует ли контрафактный сайт изображения, защищенные авторскими правами? Нарушает ли сайт санитарно-эпидемиологические нормы? Нарушает ли сайт собственную политику Google в отношении мошенничества и т. д.? Это вопросы, которые правообладатели должны задать себе в настоящее время, когда думают об удалении поисковых систем».

Тем не менее, в Белой книге Incopro содержится призыв к Google сотрудничать с правообладателями и компаниями, занимающимися защитой торговых марок, для создания масштабируемого процесса, обеспечивающего удаление поддельных местоположений в масштабе.

___

Читать статью в WTR здесь

Веб-индексация — ROMI center

Что такое веб-индексация

Алгоритмы поисковых систем помогают индексировать страницы сайтов в поисковых системах. Они учитывают перекрестные ссылки, релевантность контента и тематические разделы сайта. Поисковым ботам необходимо понимать, насколько ценна информация для пользователя, введшего поисковый запрос. Индексация сайта позволяет обнаружить все это.

Мы расскажем, как настроить ваш сайт, чтобы улучшить результаты поиска и проверить все показатели.

Как работает индексация сайта

Со времени появления Интернета поисковые системы вынуждены фильтровать результаты поиска. Это были времена, когда пришла индексация сайта по ключевым словам. Такой односторонний метод оценки привел к тому, что первые результаты поиска оказались бесполезными веб-страницами, просто заполненными необходимыми ключевыми словами.

С тех пор многое изменилось, и поисковые роботы научились оценивать сайты сразу по нескольким параметрам для получения достоверной информации. Сейчас индексация сайта бесплатна, а поисковый рейтинг сайта зависит исключительно от его качества.

Для улучшения индексации большинства сайтов достаточно учесть требования алгоритма глобальной поисковой системы — Google. Добавление нового веб-сайта может быть сделано автоматически или вручную. Рассмотрим самые распространенные вопросы об индексации сайта.

Как работает автоматическая проверка веб-сайтов

Автоматическая индексация веб-сайтов в поисковых системах осуществляется поисковыми роботами, которые самостоятельно находят веб-сайт и анализируют его содержание, релевантность информации, ссылки, посещаемость, время, затраченное пользователем, и многие другие параметры. Наличие обратных ссылок на сайт на других веб-страницах помогает начать такую ​​проверку.

Веб-индексация Google: как сделать это вручную

Просто зарегистрируйте веб-сайт в Google Search Console.

Как проверить количество проиндексированных страниц

Чтобы узнать, сколько веб-страниц находится в индексе Google, нужно ввести в адресной строке браузера значение «сайт: ваш URL». Пример –  ‘site:mysite.com’.

Индексация сайта Google: что важно учитывать

Помимо регистрации в Google Search Console необходимо проверить карту сайта и указать необходимые параметры индексации в файле Robots.txt.

Сколько времени занимает веб-индексация

Это зависит от поисковой системы. Google — самый быстрый движок, который управляет веб-индексацией примерно за неделю.

Указанные временные рамки вполне номинальны, так как скорость зависит от многих параметров. Например, быстрее обрабатывать дополнительные страницы уже проиндексированного сайта.

Что означает переиндексация сайта?

Переиндексация — это повторный анализ веб-страницы, выполняемый алгоритмами поисковых систем. Как часто происходит этот процесс? Во многом это зависит от частоты обновления сайта. Чем чаще на сайте появляется новый контент, тем больше внимания поисковый робот уделяет поиску новостей.

Как проверить запрещенный сайт

Google может временно или навсегда удалить сайты из своего индекса. Проблемы с веб-индексацией могут возникнуть, когда Google проиндексировал веб-сайт, и вам необходимо быстро решить эту проблему, чтобы веб-страницы были успешно проиндексированы и перечислены в результатах поиска.

Google Search Console содержит разделы, в которых можно увидеть все найденные проблемы. Например, система может запретить индексацию веб-страниц из соображений безопасности или из-за непроверенного домена.

Некоторые запрещенные страницы веб-сайта из веб-индексации повлияют на отображение их в результатах поиска. Пользователь не увидит их при вводе целевого поискового запроса.

Как скрыть некоторые веб-страницы от поисковой индексации

Иногда необходимо отключить веб-индексацию некоторых страниц. Это можно сделать, указав их имена в файле robots.txt. Вот возможные случаи, когда это необходимо сделать:

1. Дублированные страницы;
2. Страницы техобслуживания;
3. Технические разделы, которые нужно скрыть.

Используя определенные метатеги в файле robots.txt, вы также можете отключить веб-индексирование любого файла или папки: 

User-agent: *

Disallow: /folder/file.php

Disallow : /folder/

Также с тегами noindex и nofollow поисковые роботы не будут индексировать контент. Таким образом, указание этих тегов — второй способ скрыть контент.

Как полностью заблокировать индексацию сайта

В некоторых случаях может потребоваться удалить весь сайт из баз данных поисковых систем. Чтобы сделать это, вам нужно написать следующую строку в файле ‘robots.txt’:

пользователь-агент: *
Diswalling: /

Как проверить индексацию вашего веб-сайта в поисковых системах

Вы можно проверить индексацию сайта с помощью:

1. В адресной строке браузера введите URL-адрес домена и «сайт:» перед ним.
2. Используйте встроенные инструменты Google Search Console.
3. Используйте онлайн-сервисы, такие как RDS Bar или XSEO.in.

Как ускорить веб-индексацию

Веб-индексация — это целый ряд процессов, и, улучшая качество веб-сайта, вы можете влиять на него. Как проверить, достаточно ли хорош сайт для поискового робота?

• Поисковые боты ценят частые обновления контента. Новости нужно публиковать регулярно.
• Правильно заполните файлы sitemap.xml и robots.txt.
• Краеугольным камнем SEO является индексация ссылок. Внутренние ссылки должны быть включены
• и добавлены внешние ссылки.
• Необходимо проверить наличие ошибок на сайте.
• Удобство использования в Интернете и качественный контент позволяют выполнять веб-индексацию наилучшим образом.
• Просмотрите содержимое веб-сайта и включите ключевые слова для любого целевого запроса, чтобы отобразить его.
• Удалить или скрыть повторяющийся контент от веб-индексации.

Подпишитесь на нашу рассылку: Получайте советы и лайфхаки, дайджесты интересных статей и новостей об интернет-маркетинге и веб-аналитике:

Вы успешно подписались на рассылку.

Читайте также

Как приумножить продажи с помощью услуг центра ROMI?

Закажите презентацию у нашего эксперта. Он проверит состояние вашего маркетинга, продаж и даст рекомендации по реальному улучшению и увеличению продаж с помощью решений ROMI center.

Запланировать презентацию сервиса

Попробуйте наши услуги:

• Импорт расходов и доходов в Google Analytics

  Настройте сквозную аналитику в Google Analytics самостоятельно и без программиста.