Как сделать индексацию сайта на яндексе: Как переиндексировать сайт — Вебмастер. Справка

Практическое руководство по настройке мгновенной индексации сайта в Яндекс, Google, Bing

Как сделать индексацию сайта практически мгновенной и автоматически передавать информацию о новом, изменившемся или удаленном контенте поисковым системам, мы расскажем в этой статье.

Как настроить InexNow

Для быстрого уведомления поисковых систем об изменениях на сайте в Bing и Яндекс применяют протокол с открытой лицензией.

Чтобы пользоваться быстрой индексацией, нужно зарегистрировать сайт в Bing Webmaster Tools (BWT). В рунете для некоторых ниш Bing предусмотрены конверсии и трафик.

Инструкция по настройке Bing и Яндекс (процесс одинаков для обоих поисковиков):

  1. Сгенерировать ключ. Придумывается случайный набор символов в диапазонах 0 – 9, A – Z, a – z. Длина ключа должна быть не меньше 8 и не больше 128 символов.
  2. Создать файл с ключом и положить в корень сайта. В кодировке UTF-8 создается txt файл. Вместо названия файла используем ранее сгенерированный ключ. В корневой каталог, где находятся все файлы сайта, загружаем новый файл. Этот файл должен быть доступен по адресу: https://site.ru/ваш ключ.txt. Этим подтверждаются права на сайт. Также можно разместить файл в определенной категории сайта. В этом случае, отправка запросов на быструю индексацию будет осуществляться для URL только из данной категории сайта.
  3. Отправляем на индексацию URL в Яндекс и Bing, используя ссылки для этих поисковиков.

Кроме этого, сканирование через InexNow можно настроить с помощью плагинов популярных CMS:

  • WordPress — IndexNow;
  • 1С-Битрикс — Picom, Reindex;
  • Moguta.CMS — IndexNow;
  • UMI.CMS — IndexNow.

На приоритетную индексацию в одном запросе можно отдавать до 10 000 URL. Существующие страницы тоже лучше всего не отправлять, ведь они уже есть в индексе.

В этом случае мощности поисковых систем будут использоваться нерационально.

Использование протокола InexNow не дает 100% гарантию попадания в индекс определенной страницы. Это только указывает поисковым роботам на приоритет индексирования URL. Что не отменяет требований к качеству контента и страницы.

У Яндекса с быстрым индексированием несколько лет назад были проблемы. Индексация новых страниц выполнялась слишком долго, также медленно через InexNow обновлялись существующие страницы. На сегодняшний день качественные страницы попадают в индекс Яндекс и Bing и начинают ранжироваться в течение суток.


Настройка Google Indexing API

Отправлять обновленные, новые или удаленные страницы на приоритетную индексацию в Google можно при помощи Indexing API. Этот способ работает быстрее, чем автоматическое обновление sitemap.xml. Google редко индексирует sitemap.xml на наличие изменений, и новые страницы могут не ранжироваться достаточно долго, иногда несколько месяцев.

Этапы настройки Indexing API:

  1. Создаем сервисный аккаунт. Для этого потребуется перейти на Google Cloud Platform и нажать Create Project. Затем необходимо ввести название проекта , нажать на Create Service Account, предварительно выбрав Owner.
  2. Получение JSON-ключа. В столбце Actions нажимаем на 3 точки и выбираем Manage keys, затем нажимаем последовательно Add key Create new key. После этого скачиваем файл с JSON-ключом.
  3. Устанавливаем node.js. Выбираем приложение, подходящее под установленную операционную систему, и устанавливаем. После этого необходимо скачать с GitHub скрипт для массовой отправки URL через node.js. Открываем терминал или командную строку со скриптом (команда cd *полный путь до папки*) и выполняем 3 команды: npm install requests, npm audit fix, npm audit fix —force. Если все выполнено правильно в папке со скриптом появится папка node_modules.
  4. Через Google Indexing API отправляем URL. Для этого нужно зайти в папку node_modules, открываем файл service_account.json и копируем в него JSON-ключ. Добавляем URL, которые хотим проиндексировать, в файл urls.txt. После этого открываем командную строку или терминал, переходим в папку (команда cd *полный путь до папки*) и выполняем команду: node index.js.

На индексацию URL можно отправлять через плагины CMS. Однако для этого все равно нужно будет создать JSON-ключ.

В Google квота составляет 200 URL в сутки или 100 URL единоразово. Также как и InexNow, Indexing API не гарантирует мгновенной индексации. Ставится высокий приоритет индексации для Googlebot и остается только ожидать, когда URL начнут ранжироваться.

Приоритетная индексация страниц вручную

В Яндекс.Вебмастер для отправки страниц на индексацию вручную необходимо перейти в «Индексирование» и нажать «Переобход страниц».

Для индексации страниц в GSC в верхнюю строку проверки URL вводится адрес и нажимается кнопка «Запросить индексирование».

В BWT нужно перейти в раздел «Отправка URL-адреса» и нажать «Отправить URL-адреса».

Преимущества от быстрой индексации сайта

К преимуществам можно отнести быстрое обновление контента и удаление ненужных URL. А также важные money-страницы индексируются очень быстро.

Сводятся к минимуму проблемы с определением сайта-первоисточника и воровством контента.

Первичное массовое добавление страниц в индекс поможет быстро нарастить или увеличить трафик из поисковых систем.


Секреты быстрой индексации в Яндекс и Google

Пожалуй, самый волнующий вопрос всех вебмастеров это как ускорить индексацию сайта в поисковых системах. Причем если Google индексирует быстро и не надо прилагать особых усилий, то индексация в Яндексе иногда затягивается надолго. Поэтому, рассматривая сегодня вопрос ускорения, мы будем в первую очередь подразумевать ускорение индексации сайта в Яндексе. Ускорить процесс индексации можно как платными методами, так и бесплатными. Для получения гарантированного результата желательно использовать сразу несколько перечисленных ниже способов.

Преимущества быстрой индексации

Соответственно, это позволяет повышать позиции сайта в целом. Но этот критерий, опять же, не столь важен. Продвижение сайта в значительной степени зависит от внешних факторов и индексация ничем в этом не способствует их увеличению.

А вот в защите прав на контент скорость индексации все-таки помогает. Дело в том, что если сайт индексируется редко, то другие вебмастера попросту могут украсть контент, который не был проиндексирован, разместить на своем сайте и поисковая система будет считать первоисточником не ваш сайт, а сайт вора. И так делают очень многие. В этом случае скорость индексации помогает в защите авторских прав.

А чем чаще обновления, тем выше скорость индексации. Сайты с высокой скоростью обновления и низким трастом тоже очень часто индексируются, так что — это ни о чем не говорит.

Как ускорить индексацию сайта?

Следует отметить, что скорость индексации устанавливается самой поисковой системой.

Чтобы ускорить скорость индексации сайта, в инструментах вебмастера в поисковой системе можно указать рекомендуемую скорость индексации, но здесь учитывается нижняя планка. То есть, эта возможность существует, чтобы снизить нагрузку на сервер сайта, чтобы поисковой робот заходил не чаще указанного периода. А вот верхняя планка скорости определяется поисковой системой самостоятельно и зависит это от скорости обновления контента на сайте. Чем чаще происходят обновления на сайте, тем чаще робот будет его индексировать.

Другими словами, чтобы ускорить индексацию сайта, нужно выполнять простое действие – как можно чаще обновлять контент. Нужно постоянно добавлять новые материалы и модифицировать старые.

Дело в том, что робот просматривает еще и старые страницы, и если на сайте произошли какие-то изменения, то сохраненная в индексе копия обновляется.

Поэтому в ускорении индексации помогают и комментарии, ведь за их счет выполняется обновление старых страниц. Чем выше активность в комментариях, чем чаще появляются новые сообщения, тем чаще будет заходить на сайт поисковый робот для проверки на наличие нового контента.

Поисковые роботы каждую секунду сканируют сотни, тысячи разных сайтов, постоянно обновляя свой индекс. И можно воспользоваться этим, разместив внешние ссылки на стороннем ресурсе, где скорость индексации очень высокая.

Когда робот в очередной раз зайдет на такой сайт, он перейдет по ссылке и просканирует ваш сайт. Лучше всего для этих целей подходят социальные сети. Здесь очень часто обновляется контент, появляются новые сообщения, а поисковые роботы очень часто заглядывают сюда.

К тому же, разместить свои ссылки в социальных сетях не так уж сложно.

Во многом скорость индексации зависит и от структуры сайта. Дело в том, что поисковые системы сильно ограничены в производительных мощностях и вынуждены экономить. Поэтому, если сайт очень сложный, структура запутана и непонятна, то поисковые системы могут заглядывать сюда не так часто, как хотелось бы.

Чтобы исключить это, нужно провести грамотную внутреннюю перелинковку и создать карту сайта. Это упрощает работу поискового робота и способствует повышению скорости индексации.

Еще помогает регистрация в трастовых каталогах, таких как DMOZ и Яндекс Каталог.

Но это не обязательно. Основной способ увеличения скорости индексации заключается в постоянных обновлениях.

При этом нужно не только постоянно размещать новый контент, но и обновлять старые статьи. Это легко достигается за счет комментариев, как это было описано выше. Если подводить итог, то можно выделить следующее, чтобы ответить на вопрос » как ускорить индексацию сайта», необходимо совершать следующие действия:

  • Больше размещать качественного контента.
  • Писать статьи, которые вызывают эмоции и комментарии со стороны читателей.
  • Покупать ссылки на посещаемых ресурсах.
  • Постить ссылки в социальных сетях.
  • Проделать внутреннюю перелинковку сайта.
  • И постараться зарегистрировать сайт в каталогах.

Проблемы индексации в Яндексе мучают оптимизаторов постоянно. Мы дадим несколько советов о том, как повлиять индексацию, но предоставить гарантии быстрого попадания в индекс, все же, не можем. Многое зависит от самого сайта, качества текстов, специфики. Так что, опять вспоминаем о перелинковке и внутренней оптимизации, а потом переходим к советам.

Быстрая индексация сайта в Яндексе и Google

  1. Структура сайта. Продумайте и постройте структуру своего сайта так, что бы поисковый робот без труда добрался до любой страницы. Очень желательно сделать вложения страниц не более трех кликов от морды. В противном случае индексация может затянуться.
  2. Внутренняя перелинковка сайта. О пользе внутренней перелинковки я уже писал. Как раз одна из ее задач это ускорение индексации ресурса. Мы помним, что бот ходит по ссылкам внутри сайта, чем больше ссылок ведут на разные страницы. Тем быстрее бот их найдет и включит в индекс.
  3. Карта сайта (sitemap). Это должен быть неотъемлемый элемент любого веб-сайта. Ее основная и единственная задача — это ускорение нахождения роботом всех страниц сайта. Показать Google и Яндексу карту сайта, можно через панель вебмастера. Так же путь к ней указывается в файле robots.txt. Так же будет полезным сделать html вариант карты сайта, которая будет доступна в одном клике т главной. Все сомнений, что карта сайта хорошо помогает ускорить индексацию внутренних страниц сайта.
  4. Добавление сайта в панель вебмастера Яндекса и Google. Панели вебмастера дают широкие возможности по контролю за разными параметрами сайта. И если для хороший сайтов это плюс, то для откровенных ГС будет минусом. Если у вас СДЛ то смело добавляйте.
  5. Добавление в адурилки ПС. Можно добавить как новый сайт, так и новые страницы на сайте непосредственно в саму ПС через специальную форму addurl. Подробно про это читайте в статье добавление сайта на индексацию.
  6. Добавление сайта в популярные рейтинги. Такие широко известные рейтинги как Рейтинг@Майл, Рамблер ТОП100 и LiveInternet часто посещаются поисковыми ботами. Соответственно если они найдут там ссылку на ваш сайт, то перейдут на него.
  7. Регистрация в трастовых каталогах. Не поленитесь и отправьте заявки на добавление сайта в трастовые каталоги. Они есть у всех популярных поисковиков: На Яндексе это Яндекс.Каталог (с 2018 года не принимают новые сайты), у Googla это DMOZ (закрылся в 2017 году) и Каталог Майла. На самом деле регистрация в них нужна не для индексации а для набора траста сайта. Ведь попасть в каталог, даже если ваш сайт туда примут можно в лучшем случае через три месяца (для Я.Каталога). В дмоз же вообще можно прождать год, там жуткая нехватка модераторов и сайт будет висеть на рассмотрении до посинения…8) Прогон по каталогам. Речь идет про регистрацию в куче низкосортных каталогов. Вручную делать это безумие, нужно пользоваться специальными сервисами. Например, я раньше пользоваться сервисом 1PS. Он мне очень нравился тем, что в ночное время можно было работать с сервисом совершенно бесплатно. В то время каждая копейка была на счету. Сейчас этот сервис предоставляет большое количество услуг, не только прогоны.
  8. Публикация статей в каталогах статей. По сути, это тоже самое, что пункт выше, только там мы размещаем ссылки, а тут статьи. В сети есть большое количество таких каталогов, а так же сервисы рассылок по ним. Прогон по каталогам статей для ускорения индексации нового сайта так же можно сделать через упомянутый выше сервис.
  9. Использование социальных закладок. Социальные закладки хорошо индексируются поисковиками. Вы можете сделать прогон по социальным закладкам или вручную добавить ссылки на страницы своего сайта. Отличие от прогона по каталогам в том, что в каталоги можно добавить только главные страницы, а в закладки еще и внутренние.
  10. Размещение анонсов и пресс-релизов на трастовых сайтах. Процесс полностью ручной и очень трудоемкий. Я собрал свою базу трассовых сайтов через один сервис, который сейчас загнулся.
  11. Используем сервисы вопросов и ответов. Сервисы вопросов и ответов очень любят поисковые боты, наравне с пользователями, которые там тусуются. Там тоже можно оставить ссылку на свой сайт, как самому, так и найти исполнителя через адвего. Если у вас нет прокаченной репы, то вашу ссылку, скорее всего, удалят модераторы. Они там очень злые))). Поэтому лучше найти хорошего исполнителя и работать с ним. Google прикрыл свой сервис, теперь там можно только читать, а вот на Mail.ru еще можно.
  12. Комментарии в тематических блогах. Качественные блоги, которые не завалены рекламой, часто обновляются и имеют постоянных читателей так же часто посещаются поисковыми роботами. Такие блоги тоже можно использовать для ускорения индексации. Конечно, если будете спамить толку не будет, админы будут удалять ваши ссылки. Просто добавляйте ссылку в предназначенное для этого поле. Найти такие блоги легко, можно воспользоваться одним из Интернет-рейтингов, спросите в Яндексе «рейтинг блогов».
  13. RSS-трансляция. Если на вашем сайте есть такая возможность, можно организовать RSS-трансляцию в специальные RSS-каталоги. Анонсы ваших новых материалов на других сайтах смогут привести поисковых ботов на ваш ресурс. Рекомендую добавить трансляцию в эти каталоги: Feedreader.ru, Feedburner.com, Newsread.ru, LiveRSS.ru, Rssreader.ru, Plazoo.com.
  14. Используйте популярные форумы. Хороший способ ускорить индексацию сайта это ссылка в профиле популярного форума (если профиль открыт к индексации) и ссылка в подписи. Найдите топовые форумы по вашей тематике и зарегистрируйтесь в них. Боты любят форумы с большим количеством новых ежесуточных сообщений. Участвуйте в «горячих» диалогах на форуме и бот найдет вашу ссылку в подписи. Помимо индексации такие ссылки еще дадут и трафик на сайт, пусть не большой, но все же.
  15. Пингование. Популярные движки для сайтов, типа WordPress обладают функцией пингования. Т.е. они посылают сигнал ПС о новой странице на сайте. Если у вашей CMS есть такая функция — почему бы не воспользоваться ей.
  16. E-mail рассылка. Доказанный факт, что быстрая индексация сайта возможна при почтовых рассылках. Особенно если люди будут переходить на рекламируемый сайт по ссылкам из почты. Самый популярный сервис для e-mail рассылки Subscribe.ru. Вам нужно там зарегистрироваться и организовать выпуск рассылки.
  17. Блоги на бесплатных блогохостингах. Блоги на бесплатных хостингах LiveJournal.com (он же ЖЖ), Blogger.com, Liveinternet.ru, Blogs.Mail.ru и т.д. тоже могут помочь нам в индексации нового сайта. Заводим там себе новый блог и ставим ссылки на нужный сайт. Боты любят эти сервисы и обязательно заметят появление нового блога. Что бы ускорить этот процесс, можно завести «дружбу» с другими блогерами этого сервиса.
  18. Социальные сети. Я оставил это на закуску. В данный момент это один из лучших способов ускорения индексации сайта. Особенно твиттер. Обязательно заведите себе твиттер аккаунт. Прокачайте его как следует, и это будет незаменимая вещь для индексации новых страниц сайта. Буквально через минуты, после публикации ссылки в прокаченном твиттере, станицы появляются в выдаче Яндекса. Раскрутить твиттер можно этим софтом20) Свои сайты в помощь. Если у вас уже есть другой сайт, который в индексе — поставьте с него сквозную ссылку на новый сайт. Бот найдет ее и перейдет для изучения нового сайта.
  19. Через систему автоматического продвижения SeoPult. Делается проект и закупаются ссылки на нужные вам страницы, например на карту сайта, главную и страницы разделов.

Вот мы и рассмотрели все возможные бесплатные способы повлиять на скорость индексации нового сайта или страниц. Существуют и платные способы, но они все однотипны — это размещение ссылки на чужом веб-сайте. Лично я, когда мне это нужно, иду в биржу sape делаю там проект, и покупаю 2-3 ссылки на крупных новостных сайтах.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *