Как узнать правильную дату индексации страницы?

#Оптимизация сайта #Индексация

#47

Ноябрь’17

18

Ноябрь’17

18

В процессе сканирования сайта поисковыми системами можно выделить четыре ключевые даты для страниц:

1. Дата первой индексации, она определяет возраст страницы.
2. Дата последнего обхода поисковым роботом.
3. Дата последней индексации страницы, которая выложена в индекс.
4. Дата формирования сохраненной копии страницы (не всегда совпадает с датой индексации страницы при построении индекса).

Первая дата обхода

Два метода получения даты первой индексации страницы перестали работать:

• оператор date работает некорректно;
• добавление к строке запроса параметра &how=tm перестало отображать даты индексации.

Но эту информацию все еще можно получить через Яндекс XML. Для этого необходимо перейти по ссылке https://xml.yandex.ru/test/ и в поле «&query» ввести запрос вида url:%page%, где %page% — адрес страницы. Далее нажимаем на «Найти» и в полученном результате ищем тег , который и укажет дату первой индексации страницы.

Дата обхода поисковым роботом и статуса в поисковой базе

Чтобы узнать дату последнего обхода страницы и информацию о том, какая версия находится при построении поисковой выдачи, необходимо в сервисе Яндекс.Вебмастер в разделе «Индексирование» выбрать «Проверить статус URL». Далее указываем необходимый адрес и получаем данные. Этот способ работает лишь для подтвержденного сайта.

Дата формирования сохраненной копии

Чтобы узнать дату формирования сохраненной копии, необходимо в поисковой выдаче кликнуть на выпадающее меню (рядом с название адреса страницы).

Просмотр сохраненных копий в поисковых системах Bing и Mail позволит показать старые версии страниц, поскольку они переиндексируют их медленнее, чем поисковые роботы Яндекс и Google.

Вывод

1. Как показано на примере выше, не всегда сохраненная копия страницы используется для построения базы индекса. Но, зачастую, это действительно так.
2. Кроме того, если вы внесли какие-либо правки на странице и ждете, когда эти изменения переиндексируются, то не стоит делать вывод о том, что правки учтены, по дате последнего обхода поисковым роботом.

Похожее

Оптимизация сайта Индексация

Атрибут rel=canonical

Оптимизация сайта Индексация

Индексация ссылок

Оптимизация сайта Индексация

#133

Атрибут rel=canonical

Январь’23

11961

23

Оптимизация сайта Индексация

#119

Индексация ссылок

Апрель’19

4627

30

Оптимизация сайта Индексация

#111

Описание и настройка директивы Clean-param

Апрель’19

9359

24

Оптимизация сайта Индексация

#104

Как привлечь быстроробота Яндекс

Февраль’19

2271

21

Оптимизация сайта Индексация

#94

Проверка индекса сайта. Как найти мусорные или недостающие страницы

Декабрь’18

9469

28

Оптимизация сайта Индексация

#86

Как закрыть ссылки и текст от поисковых систем

Ноябрь’18

5944

22

Оптимизация сайта Индексация

#82

Почему Яндекс удаляет страницы из поиска

Ноябрь’18

3193

19

Оптимизация сайта Индексация

#60

Правильная индексация страниц пагинации

Февраль’18

8110

19

Оптимизация сайта Индексация

#46

Какие страницы надо закрывать от индексации

Ноябрь’17

10586

18

Оптимизация сайта Индексация

#38

Как удалить страницу из индекса Яндекса и Google

Ноябрь’17

13969

20

Оптимизация сайта Индексация

#37

Как добавить страницу в поиск Яндекса и Google

Апрель’17

19651

19

Оптимизация сайта Индексация

#7

Как закрыть сайт от индексации

Ноябрь’17

9710

17

Оптимизация сайта Индексация

#2

Как проверить индексацию сайта в поисковых системах

Ноябрь’17

17541

27

Оптимизация сайта Индексация

#1

Как ускорить индексацию сайта

Ноябрь’17

5778

29

Индексирование и сканирование сайта | SEO-портал

Что такое индексирование сайта?

Индексация (индексирование) сайта — процесс добавления информации о страницах <div class="seog-tooltip-more-link"><a href="/terminy/sajt">Подробнее</a></div> »>сайта в индексную базу данных поисковых систем. Решение об индексировании той или иной страницы принимается при её обходе (сканировании) поисковым роботом. Также следует понимать, что индексация веб-страницы предшествует её попаданию в поисковую выдачу.

Что такое сканирование сайта?

Сканирование сайта — процесс обхода страниц сайта поисковыми роботами на соответствие SEO-факторам.

Зачем поисковые системы индексируют веб-страницы?

Все результаты поиска по тому или иному запросу формируются из индексной базы данных поисковой системы, которая содержит копии предварительно просканированных страниц. Таким образом, индексация нужна для того, чтобы ускорить формирование поисковой выдачи на основании имеющихся в ней данных.

Зачем настраивать индексацию и сканирование?

Настраивать и контролировать процессы индексирования и сканирования следует для того, чтобы:

• ускорить попадание в выдачу нужных страниц,
• улучшить ранжирование обновлённых страниц,
• исключить попадание в выдачу ненужных страниц,
• снизить создаваемую роботами нагрузку на сервер,
• экономить ресурсы поисковых систем (краулинговый бюджет).

Управление индексацией позволит ускорить попадание и продвижение важных страниц сайта в результатах поиска, в то же время при попадании в индекс неактуальных страниц, дублей, страниц со спамным контентом возможна пессимизация сайта в поисковой выдаче.

Как проверить индексацию сайта?

Есть ряд способов узнать о том, какие страницы сайта проиндексированы, а какие — нет:

Сервисы для веб-мастеров поисковых систем

Поисковые системы предоставляют веб-мастерам не только информацию об общем количестве проиндексированных и непроиндексированных страниц, но также сообщают о причинах исключения или непопадания страниц в индекс. Яндекс.Вебмастер → Страницы в поискеGoogle Search Console → Покрытие

Поисковый оператор site:

Для проверки в поисковой строке Google или Яндекс введите site:[доменное имя сайта], в результатах поиска будут присутствовать только страницы указанного сайта. Обратите внимание на общее число результатов — это и есть количество проиндексированных страниц. Количество страниц сайта в ЯндексКоличество страниц сайта в Google

Специальные плагины для браузера

Например, плагин для браузера RDS Bar будет отображать число, которое выводится в результатах поиска при применении оператора site:. Количество проиндексированных страниц в RDS Bar

Специальные программы и сервисы

Чтобы проверить индексацию сайта по ключевым словам, можно воспользоваться специальными сервисами (allpositions.ru, topvisor.ru) или программами (Key Collector), а также сервисами поисковых систем. Проверка индексирования по запросу в ТопвизорПроверка индексирования по запросу в Key Collector

Сколько времени занимает индексация сайта?

На основании информации из баз данных формируются результаты поисковой выдачи.<div class="seog-tooltip-more-link"><a href="/baza/indeksatsiya">Подробнее</a></div> »>Индексирование веб-страницы в Google может занимать от нескольких минут до одной недели, в Яндекс — от недели до четырех недель. Скорость зависит от ряда факторов и может отличаться.

Как часто происходит сканирование сайта?

Поисковые боты постоянно равномерно сканируют страницы сайта, обновляя их в индексе: Google обновляет индекс в постоянном режиме, Яндекс — во время апдейтов поисковой базы, примерно раз в три дня. Googlebot чаще остальных сканирует важные страницы, чтобы учитывать важные изменения на них при ранжировании. К важным в глазах поисковых систем страницам относятся главная и страницы высокого уровня в зависимости от их содержания. Такие страницы сканируются чаще остальных – каждые несколько дней или даже чаще, в зависимости от масштабов и частоты обновления сайта.

Что затрудняет индексацию сайта?

Мешать поисковым роботам быстро и правильно индексировать сайт могут следующие факторы:

• Большое количество страниц на сайте.
• Большое количество «битых» (ведущих на несуществующие страницы) ссылок.
• Дубликаты страниц (пример: seoportal.net и www.seoportal.net).
• Некорректная обработка несуществующих страниц.
• Некорректные ответы сервера (HTTP-статусы).
• Ошибки в файле robots.txt или его отсутствие.
• Ошибки в файле Sitemap или его отсутствие.
• Неправильное применение мета-тега Robots.
• Санкции поисковых систем.

Как ускорить индексирование веб-страниц?

Быстрому и корректному индексированию способствуют:

• установленные счетчики веб-аналитики Яндекс.Метрика и Google Аналитика,
• полноценный динамический файл Sitemap в формате XML, о котором знают поисковые системы,
• грамотно настроенный файл robots. txt,
• склейка дублей веб-страниц,
• грамотная внешняя и внутренняя перелинковка.

Кроме этого ускорить индексирование новых или обновлённых страниц сайта можно с помощью соответствующих возможностей в сервисах поисковых систем:

Яндекс.Вебмастер → Переобход страницGoogle Search Console → Проверка URL

Как запретить индексирование веб-страниц?

Запретить индексацию можно посредством:

• запрещающих сканирование директив в файле robots.txt,
• мета-тега robots со значением noindex,
• склейки дубликатов страниц посредством редиректов,
• тега <link> с атрибутом rel="canonical" и ссылкой на канонический URL в атрибуте href.

Как удалить страницу из индекса?

Чтобы поисковая система самостоятельно удалила страницу из индексной базы можно использовать следующие способы:

• Физически удалить страницу, чтобы при её запросе сервер возвращал статус 404 Not Found.
• Использовать на странице мета-тег Robots с директивой noindex.

Ускорить удаление страницы из индекса можно в сервисах поисковых систем:

Google Search Console → УдаленияЯндекс.Вебмастер → Удаление страниц из поиска

3 способа индексации вашего магазина Google — Блог GoMage

Быстрая и эффективная индексация сайта — главная составляющая успеха любого интернет-проекта. Давайте рассмотрим, как Google индексирует страницы, что такое «бот» и какие бывают их типы.

Общие сведения об индексации страниц

Бот — часть серверного программного обеспечения, основной целью которого является проверка вашего сайта на наличие обновлений, исследование всех страниц сайта, добавление их в базу данных и распространение информации о сайте среди результатов поиска в конкретной поисковой системе.

В поисковой системе Google есть несколько известных ботов: Adsensebot, Freshbot и DeepCrawl.

Adsensebot в основном предназначен для вебмастеров, которые используют контекстную рекламу Adsense на своих сайтах. В момент обновления сайта (добавлена ​​новая страница, товар, текст) JavaScript из кода Adsense отправляет сообщение Adsensebot, тот заходит на страницу в течение 10-15 минут и индексирует ее содержимое. Это действие необходимо для того, чтобы иметь возможность размещать на страницах сайта полезные поисковые объявления.

Freshbot — популярный бот. Он посещает самые популярные и посещаемые страницы определенного сайта. Количество его посещений может варьироваться в зависимости от частоты обновлений сайта и посещений клиентов. Например, такие гигантские платформы, как eBay или Amazon, Freshbot посещает каждые 10 минут или даже чаще. В среднем сайты с посещаемостью до 500 в сутки посещаются 1 раз в 4-10 дней. Этот бот проверяет все ссылки и страницы сайта и помещает их в базу поисковой системы, после чего их проверяет DeepCrawl.

DeepCrawl — самый сложный бот, он проверяет все данные, которые заносит в базу Freshbot, даже в его названии видно, насколько глубока эта проверка.

Это необходимо для того, чтобы поместить как можно больше сайтов в полный индекс Google. Он посещает сайт раз в месяц, иногда два раза, если это крупный интернет-магазин или новостной портал.

Иногда проверка сайта ботами осложняется так называемым «мусором» в результатах их работы. Например, Дополнительный фильтр может запретить страницу категории, результаты поиска и фильтрации. Это негативно влияет на рейтинг сайта и часто мешает ботам проверить сайт. Чтобы этого не произошло, вам нужно добавить несколько строк кода в файл robots.txt. Они следующие:

 Запретить: */тег/*

Запретить: */автор/*

Запретить: */страница/*
 

 

Вы также можете использовать расширение GoMage Advanced Navigation, которое позволяет скрыть фильтрацию продуктов и результаты поиска от индексации, что значительно уменьшает количество страниц, запрещенных Дополнительным фильтром.

Также обратите внимание на другие расширения для Magento®, которые помогут вам увеличить продажи в вашем магазине Magento®.

Связаться с нами

Заполните данные, используя учетные записи социальных сетей

Спасибо!

Мы свяжемся с вами в ближайшее время

Настройте свой магазин на рост во время экономического кризиса

Вадим Анцыферов

Популярные сообщения

Присоединяйтесь к 5 246 одержимым Magento читателям в нашем списке рассылки

Индексирование SEO: как оптимизировать ваш сайт для индексирования

Что такое индексирование в SEO?

Индексирование — это процесс, с помощью которого поисковые роботы Google сохраняют и классифицируют информацию и контент, которые они находят на веб-сайтах, готовые для отображения в поисковой выдаче.

Почему важно индексировать?

Оптимизация вашего веб-сайта для индексации имеет важное значение, поскольку от этого зависит, появится ли ваш веб-сайт в поисковой выдаче .

Если вы неправильно оптимизировали свой сайт, важные страницы могут быть не проиндексированы, или, наоборот, элементы вашего сайта, которые вы не хотите обнаруживать в поисковой выдаче, будут отображаться.

Это, в свою очередь, может привести к снижению посещаемости вашего сайта и снижению рейтинга. Или это может привести к тому, что дублированный контент и страницы-сироты будут видны.

Это негативно повлияет на UX (пользовательский опыт) и потенциально может быть истолковано как методы черной шляпы, что приведет к штрафам и снижению авторитетности веб-сайта.

Как работает индексация?

Индексирование происходит, когда Поисковые роботы Google переходят от ссылки к ссылке в поисках новых веб-страниц . Они используют либо карту сайта, либо предыдущие данные отслеживания для поиска контента и информации.

Затем они обрабатывают эту информацию и анализируют ее на основе ряда факторов, включая качество контента, ключевые слова, метатеги и количество слов на странице. Затем эта информация сохраняется для последующего отображения в поисковой выдаче.

Как оптимизировать сайт для индексации?

Важно максимально упростить работу поискового робота и не создавать препятствий, которые мешают индексации вашего сайта.

Вот некоторые рекомендации:

1. Используйте Google Search Console для проверки наличия проблем со сканированием и индексированием

Это хороший способ проверить, эффективно ли сканируются ваши страницы. Если вы обнаружите, что ваши страницы не сканируются, вы можете действовать соответствующим образом, чтобы обеспечить быстрое индексирование нужных страниц на вашем веб-сайте.

2. Создайте и отправьте карту сайта

Это позволит поисковым роботам найти нужные страницы на вашем веб-сайте и избежать тех, которые вы не хотите видеть. Здесь ключевое значение имеет использование метатега робота и канонических тегов. Это также поможет вам расставить приоритеты для наиболее важных страниц.

3. Блокируйте страницы, которые не должны индексироваться поисковыми роботами

Страницы низкого качества вредны для SEO. Они ослабляют UX, увеличивают показатель отказов и сокращают время ожидания. Поэтому блокируйте страницы с тегом no-index или переадресацией 301.