Проверка индексации страниц сайта

Инструменты

Инструмент проверяет, проиндексирована ли страница в поисковой системе Google или Яндекс.

Узнать стоимость сайта

Оценка сайта по объему трафика.

Создание Favicon

Из вашей картинки соберет набор иконок.

Генератор мета-тегов Open Graph

Создайте мета-теги для соц. сетей.

Анализ выдачи Яндекс и Google

Список доменов по запросам.

Анализ сайта

Контроль за сайтом: анализ, проверка позиций и аудит сайта.

SEO анализ страницы сайта

Проверка страницы на оптимизацию по ключевому слову.

Массовая проверка доменов

Проверка трафика и SEO параметров для списка доменов.

Антиплагиат проверка текста

Мощная антиплагиат проверка через поисковые системы.

Проверка моего IP

Покажем ваши данные браузера.

Проверка доверия к сайту

Подскажем можно ли покупать на сайте

Узнать возраст сайта

Определяем возраст по дате whois.

Проверка Canonical cтраницы

Проверьте правильность установки канонического адреса.

Проверка IP-адреса сайта

Быстрая проверка IP домена.

Найти похожие сайты

Поиск сайтов с похожим трафиком.

Узнать хостинг сайта

Проверяем дата-центр и хостера по IP.

Проверка индексации страницы

Проверка списка страниц на индексацию в Google & Яндекс.

Проверка скорости загрузки HTML

Быстрая проверка загрузки HTML страницы.

Сбор Wordstat

Проверка частотности слова без капчи.

Проверка x-Robots Tag

HTTP-заголовок для запрета от индексации.

Проверка заголовков h2

Покажет структуру заголовков на странице.

Ссылки на странице

Список всех ссылок на любой странице.

Подсчет длины текста

Быстрый подсчет числа символов с пробелами и без.

Анализ Ципфа

Распределения частотности слов.

Подсчет строк онлайн

Определит оличество строк в тексте или списке.

Сравнение текстов онлайн

Покажет различие в двух тестах.

HTML редактор онлайн

Редактирование текста онлайн.

Генератор UTM-меток

Для рекламных ссылок.

Узнать стоимость сайта

Оценка сайта по объему трафика.

Создание Favicon

Из вашей картинки соберет набор иконок.

Генератор мета-тегов Open Graph

Создайте мета-теги для соц. сетей.

Анализ выдачи Яндекс и Google

Список доменов по запросам.

Анализ сайта

Контроль за сайтом: анализ, проверка позиций и аудит сайта.

SEO анализ страницы сайта

Проверка страницы на оптимизацию по ключевому слову.

Массовая проверка доменов

Проверка трафика и SEO параметров для списка доменов.

Антиплагиат проверка текста

Мощная антиплагиат проверка через поисковые системы.

Проверка моего IP

Покажем ваши данные браузера.

Проверка доверия к сайту

Подскажем можно ли покупать на сайте

Узнать возраст сайта

Определяем возраст по дате whois.

Проверка Canonical cтраницы

Проверьте правильность установки канонического адреса.

Проверка IP-адреса сайта

Быстрая проверка IP домена.

Найти похожие сайты

Поиск сайтов с похожим трафиком.

Узнать хостинг сайта

Проверяем дата-центр и хостера по IP.

Проверка индексации страницы

Проверка списка страниц на индексацию в Google & Яндекс.

Проверка скорости загрузки HTML

Быстрая проверка загрузки HTML страницы.

Сбор Wordstat

Проверка частотности слова без капчи.

Проверка x-Robots Tag

HTTP-заголовок для запрета от индексации.

Проверка заголовков h2

Покажет структуру заголовков на странице.

Ссылки на странице

Список всех ссылок на любой странице.

Подсчет длины текста

Быстрый подсчет числа символов с пробелами и без.

Анализ Ципфа

Распределения частотности слов.

Подсчет строк онлайн

Определит оличество строк в тексте или списке.

Сравнение текстов онлайн

Покажет различие в двух тестах.

HTML редактор онлайн

Редактирование текста онлайн.

Генератор UTM-меток

Для рекламных ссылок.

Узнать стоимость сайта

Оценка сайта по объему трафика.

Создание Favicon

Из вашей картинки соберет набор иконок.

Генератор мета-тегов Open Graph

Создайте мета-теги для соц. сетей.

Инструмент бесплатно проверяет индексацию страниц в Яндексе и Google.

Если страница не проиндексирована, ее нет в результатах поиска, а значит она бесполезна для сайта. Пользователи смогут ее увидеть только по ссылкам с других страниц вашего проекта.

Советуем регулярно проверять наличие важных страниц в индексе, поскольку даже ранее проиндексированные URL могут вылететь из базы.

Как проверить индексацию страниц сайта в бесплатном инструменте от PR-CY:

1. Введите список URL в поле.

2. Выберите поисковую систему.

3. Запустите проверку.

4. Посмотрите результаты: инструмент оценит состояние страниц и отметит галочкой проиндексированные.

Как проверить индексацию сайта в поисковых системах

Как подготовиться к проверке индексации сайта Как проверить индексацию в Яндекс Вебмастере Как проверить индексацию в Google Search Console Как проверить индексацию без доступа к сайту Как проверить индексацию отдельных страниц Как контролировать процесс индексации

Мы в Telegram

В канале «Маркетинговые щи» только самое полезное: подборки, инструкции, кейсы.

Не всегда на серьёзных щах — шуточки тоже шутим =)

Подписаться

Станьте email-рокером 🤘

Пройдите бесплатный курс и запустите свою первую рассылку

Подробнее

Индексация — добавление информации о сайте и его страницах в поисковые системы — один из первых шагов в SEO. Не всегда можно полностью довериться Яндексу и Google в этом вопросе — за процессом индексирования нужно следить, иначе можно упустить время и потерять ценный трафик из поиска.

Есть несколько способов отследить то, как индексируется сайт: свой или чужой. Проверять можно сразу все страницы или каждую по отдельности.

Владелец сайта может добавить его в инструменты для вебмастеров от Яндекса и Google. Там можно получить самую полную и достоверную информацию об индексировании, а также узнать об ошибках.

Если доступа к управлению сайтом нет, вы можете проверить индексацию вручную в поисковой выдаче или автоматически — с помощью специальных сервисов и программ.

Теперь давайте обо всем по порядку.

Как подготовиться к проверке индексации сайта

Чтобы оценить, как хорошо индексируется сайт, нужно узнать, сколько на нем страниц.

Для этого пригодится карта сайта — главный помощник поискового робота. В ней указаны все страницы, которые должны быть проиндексированы. Файл находится в корневой папке сайта и называется sitemap.xml (например, site.ru/sitemap.xml).

Если вы используете WordPress с установленным SEO-плагином (например, Yoast), то карта сайта, как правило, генерируется автоматически.

Также можно использовать бесплатную программу Xenu, которая сканирует все страницы сайта. Но чтобы в список не попадало все подряд, ее нужно предварительно настроить.

Как проверить индексацию в Яндекс Вебмастере

Общие сведения об индексации отображаются на главной странице панели — в краткой сводке по сайту в правом столбике.

Плюс Яндекс предлагает целый список отчетов и инструментов в разделе «Индексирование».

В «Статистике обхода» можно узнать, как робот Яндекса исследует сайт, и не столкнулся ли он с проблемами во время сканирования. Здесь два отчета: по последним событиям и по страницам. Если вас интересует, какие изменения произошли недавно, откройте первый отчет.

В следующем подразделе «Все страницы» перечислены все просканированные URL сайта, начиная с последних.

Напротив каждого URL указан код ответа сервера, который получил робот. В идеале это 200. Ответов с кодом 500 на правильно работающем сайте быть не должно. 404-е ошибки встречаются, когда страница была удалена. Если она переехала в другое место, нужно настроить переадресацию.

Страницы, которые находятся в индексе, можно посмотреть в разделе «Страницы в поиске». Во вкладке «Последние изменения» — самая актуальная информация об URL, участвующих в поисковой выдаче Яндекса.

Здесь же можно посмотреть исключенные из поиска страницы.

В подразделе «Все страницы» можно скачать таблицу с информацией об индексации страниц сайта, которые присутствуют в файле sitemap. Напротив каждого URL также будет показан код ответа сервера и статус. Таблица в виде отдельного файла — не самый удобный способ представления данных. Но если напротив страницы указано слово searchable, это означает, что она находится в поиске.

Еще одна полезная опция для проверки индексации — «Мониторинг важных страниц». Чтобы не искать нужные страницы в списке проиндексированных, составьте список (до 100 URL) и добавьте его в специальное поле.

После настройки уведомлений поисковая система будет оповещать вас об изменениях, связанными с выбранными страницами.

Если необходимо, чтобы Яндекс быстрее находил новые страницы и чаще мониторил сайт, не забудьте включить обход по счетчикам. Для этого, конечно же, к сайту должен быть привязан счетчик Метрики.

Как проверить индексацию в Google Search Console

Узнать подробную информацию об индексации в Google Search Console можно в разделе «Покрытие».

Общая информация об индексировании представлена на графике. Все страницы поделены на четыре категории:

1. Без ошибок (нужно стремиться, чтобы важные страницы сайта были именно в этом списке).
2. С ошибками.
3. Без ошибок, но с предупреждениями (как правило, предупреждения можно игнорировать).
4. Исключенные.

Если количество страниц сайта совпадает с количеством страниц в зеленой и желтой зоне, все хорошо. В желтую зону часто попадают страницы, которые проиндексированы, несмотря на запреты в robots.txt.

Под графиком можно получить подробную информацию о страницах — по какой причине Google отнес их к той или иной категории.

Как проверить индексацию без доступа к сайту

Если вы не являетесь владельцем сайта, — и не имеете доступа к инструментам Google и Яндекса для вебмастеров, — индексацию можно проверить прямо в поисковике и с помощью специальных сервисов. У таких способов есть свои преимущества и недостатки.

Поисковые операторы

Самый быстрый и простой способ узнать количество проиндексированных страниц — заглянуть в поисковую выдачу. Чтобы проверить, есть ли в поиске страницы с конкретного сайта, есть специальный оператор — site. Он работает как в Яндексе, так и в Google.

В инструментах поиска можно отфильтровать результаты: например, отобразить только недавно проиндексированные страницы.

В Яндексе все работает аналогично, только количество проиндексированных страниц отображается справа. Так как Google и Яндекс — поисковики для разных стран, каждый со своим алгоритмом, то количество проиндексированных страниц в разных поисковых системах может отличаться.

В Яндексе тоже есть фильтры, которые можно применить к результатам поиска. Посмотреть недавно добавленные страницы здесь также очень просто. Только вариантов фильтрации всего три: за сутки, за 2 недели и за месяц.

Перемещаясь по страницам поиска, вы сможете посмотреть, какие URL вашего сайта есть в поиске, начиная с самых важных.

Минус такого способа проверки не только в том, что он отнимает больше времени — данные выдачи могут не совпадать с реальностью. Особенно часто этим грешит Яндекс. 

Например, при проверке моего сайта с помощью оператора site выяснилось, что в поиске всего 164 страницы. А в панели Яндекс Вебмастера (раздел «Страницы в поиске») отображаются все 330 страниц. Вебмастер дает более точную информацию, поэтому верить все же стоит ему, а не данным в выдаче.

SEO-сервисы и утилиты

Проверять по отдельности индексацию в каждом из поисковиков не всегда удобно. Иногда хочется получить информацию быстро, без погружения в подробности. Для этого существуют специальные онлайн-сервисы и программы, которые позволяют за несколько секунд проверить индексацию в обеих поисковых системах.

Существуют SEO-комбайны, предлагающие целый набор инструментов для поисковой оптимизации (например, «Топвизор», Netpeak и др.). Но эти сервисы и программы я рассматривать не буду, так как они обычно платные и предназначены для тех, кто вплотную занимается SEO.

Остановимся на бесплатных помощниках оптимизатора, которые способны проверять индексацию отдельных страниц и всего сайта.

Серпхант. Онлайн-сервис с возможностью бесплатной проверки индексации 50 страниц в Яндексе и Google.

Через какое-то время (в зависимости от количества страниц) сервис выдаст результат в виде таблицы. Данные можно скачать отдельным файлом.

SEO Magic. Это браузерное расширение для быстрой проверки основной информации о сайте, в том числе количества проиндексированных страниц. Перейдите на интересующий вас сайт, кликните на значок расширения, и через пару секунд появится краткий отчет.

Если вы делаете сразу много проверок, Яндекс может принять вас за робота, поэтому в результатах проверки появится undefined. Но если кликнуть по ссылке (все показатели кликабельны) — откроется выдача поисковика с уже введенным оператором site и данными о количестве проиндексированных страниц. Правда, сперва придется пройти проверку на ботов.

RDS Bar. Еще одно полезное расширение для SEO-специалистов. В разных браузерах работает по-разному. Лучше всего — в Firefox. В Chrome и Opera некоторые данные могут не отображаться, но их можно посмотреть, перейдя по ссылкам.

Данные об индексировании довольно подробные, но не всегда правдивые. Например, в данном примере расширение показывает, что страница не проиндексирована в Google. Но если нажать «Нет», откроется выдача, в которой эта страница присутствует. Расширение в целом удобное, но данные лучше перепроверять — для этого достаточно перейти по ссылкам.

И не забывайте, что данные в поиске тоже неточные (особенно в Яндексе). Если вы мониторите собственный сайт, лучше пользуйтесь отчетами Google Search Console и Яндекс Вебмастера.

Как проверить индексацию отдельных страниц

Иногда нужно узнать, проиндексирована ли конкретная страница в Google или Яндексе. Это тоже можно сделать прямо в поиске или в инструментах вебмастера.

Google Search Console. Строка ввода URL для проверки отображается в самом верху панели. Этим инструментом можно воспользоваться в любой момент — независимо от того, в каком отчете вы находитесь.

Если страница проиндексирована, вы получите ответ с зеленой галочкой. Чтобы отправить робота на страницу для сканирования (первичного или повторного), нажмите «Запросить сканирование».

Яндекс Вебмастер. Аналогичный инструмент называется «Проверить статус URL» и находится в том же разделе «Индексирование».

Также наличие страницы в индексе можно проверить в поисковой выдаче с помощью того же оператора site. Только теперь после двоеточия вместо домена нужно указать URL страницы (без пробелов).

Как контролировать процесс индексации

Это нужно, чтобы страницы быстро попадали в поиск и приносили трафик. Мало проверить индексацию, важно облегчить поисковым роботам их работу. 

Вот краткий список рекомендаций:

Добавьте сайт в Яндекс Вебмастер и Google Search Console. Так вы будете получать информацию об индексировании, посещаемости и техническом состоянии сайта из первых рук и сразу узнавать об ошибках, которые поисковые роботы могут выявить на вашем ресурсе.

Составьте карту сайта в формате xml. Если вы пользуетесь WordPress, ее можно создать автоматически с помощью плагина и его базовых настроек. Также карту можно сгенерировать в специальных онлайн-сервисах. Лучше, чтобы она была динамической и отображала дату последнего изменения страниц и файлов сайта (Last-Modified). Также полезно добавить карту в панели вебмастера (оба поисковика предлагают такую возможность).

Создайте файл robots.txt. Он необходим для того, чтобы разрешать или запрещать обход определенных страниц сайта. Если у вас большой сайт с огромным количеством служебных страниц, их индексацию нужно запретить — так роботы Яндекса и Google не будут тратить краулинговый бюджет на ненужные страницы и быстрее проиндексируют то, что действительно важно.

Если важные страницы долго не индексируются, запросите их сканирование вручную. Это не всегда помогает, но не так сложно сделать запрос в Вебмастере или GSC, чтобы поисковый робот быстрее посетил новый URL.

Следите за актуальностью контента и регулярно обновляйте ресурс. Чем чаще на сайте публикуется что-то новое, тем активнее его исследуют поисковики. Если тематика сайта позволяет, заведите блог или придумайте другой способ публикации контента. Не забывайте запрашивать переобход измененных страниц у роботов Яндекса и Google.

Не оставляйте «страниц-сирот». На каждую страницу должна вести хотя бы одна ссылка, иначе поисковый робот никогда не найдет ее самостоятельно. В блоге я уже подробно разбирала, как сделать перелинковку на сайте.

Это самые базовые рекомендации, но их выполнение поможет избежать ошибок в индексировании и быстро «загнать» страницы в поиск.

Поделиться

СВЕЖИЕ СТАТЬИ

Другие материалы из этой рубрики

Не пропускайте новые статьи

Подписывайтесь на соцсети

Делимся новостями и свежими статьями, рассказываем о новинках сервиса

«Честно» — авторская рассылка от редакции Unisender

Искренние письма о работе и жизни. Свежие статьи из блога. Эксклюзивные кейсы и интервью с экспертами диджитала.

Оставляя свой email, я принимаю Политику конфиденциальности

Наш юрист будет ругаться, если вы не примете 🙁

Как запустить email-маркетинг с нуля?

В бесплатном курсе «Rock-email» мы за 15 писем расскажем, как настроить email-маркетинг в компании. В конце каждого письма даем отбитые татуировки об email ⚡️

*Вместе с курсом вы будете получать рассылку блога Unisender

Оставляя свой email, я принимаю Политику конфиденциальности

Наш юрист будет ругаться, если вы не примете 🙁

Как проверить индексацию сайта в поисковых системах

Как подготовиться к проверке индексации сайта Как проверить индексацию в Яндекс Вебмастере Как проверить индексацию в Google Search Console Как проверить индексацию без доступа к сайту Как проверить индексацию отдельных страниц Как контролировать процесс индексации

Мы в Telegram

В канале «Маркетинговые щи» только самое полезное: подборки, инструкции, кейсы.
Не всегда на серьёзных щах — шуточки тоже шутим =)

Подписаться

Станьте email-рокером 🤘

Пройдите бесплатный курс и запустите свою первую рассылку

Подробнее

Индексация — добавление информации о сайте и его страницах в поисковые системы — один из первых шагов в SEO. Не всегда можно полностью довериться Яндексу и Google в этом вопросе — за процессом индексирования нужно следить, иначе можно упустить время и потерять ценный трафик из поиска.

Есть несколько способов отследить то, как индексируется сайт: свой или чужой. Проверять можно сразу все страницы или каждую по отдельности.

Владелец сайта может добавить его в инструменты для вебмастеров от Яндекса и Google. Там можно получить самую полную и достоверную информацию об индексировании, а также узнать об ошибках.

Если доступа к управлению сайтом нет, вы можете проверить индексацию вручную в поисковой выдаче или автоматически — с помощью специальных сервисов и программ.

Теперь давайте обо всем по порядку.

Как подготовиться к проверке индексации сайта

Чтобы оценить, как хорошо индексируется сайт, нужно узнать, сколько на нем страниц.

Для этого пригодится карта сайта — главный помощник поискового робота. В ней указаны все страницы, которые должны быть проиндексированы. Файл находится в корневой папке сайта и называется sitemap.xml (например, site.ru/sitemap.xml).

Если вы используете WordPress с установленным SEO-плагином (например, Yoast), то карта сайта, как правило, генерируется автоматически.

Также можно использовать бесплатную программу Xenu, которая сканирует все страницы сайта. Но чтобы в список не попадало все подряд, ее нужно предварительно настроить.

Как проверить индексацию в Яндекс Вебмастере

Общие сведения об индексации отображаются на главной странице панели — в краткой сводке по сайту в правом столбике.

Плюс Яндекс предлагает целый список отчетов и инструментов в разделе «Индексирование».

В «Статистике обхода» можно узнать, как робот Яндекса исследует сайт, и не столкнулся ли он с проблемами во время сканирования. Здесь два отчета: по последним событиям и по страницам. Если вас интересует, какие изменения произошли недавно, откройте первый отчет.

В следующем подразделе «Все страницы» перечислены все просканированные URL сайта, начиная с последних.

Напротив каждого URL указан код ответа сервера, который получил робот. В идеале это 200. Ответов с кодом 500 на правильно работающем сайте быть не должно. 404-е ошибки встречаются, когда страница была удалена. Если она переехала в другое место, нужно настроить переадресацию.

Страницы, которые находятся в индексе, можно посмотреть в разделе «Страницы в поиске». Во вкладке «Последние изменения» — самая актуальная информация об URL, участвующих в поисковой выдаче Яндекса.

Здесь же можно посмотреть исключенные из поиска страницы.

В подразделе «Все страницы» можно скачать таблицу с информацией об индексации страниц сайта, которые присутствуют в файле sitemap. Напротив каждого URL также будет показан код ответа сервера и статус. Таблица в виде отдельного файла — не самый удобный способ представления данных. Но если напротив страницы указано слово searchable, это означает, что она находится в поиске.

Еще одна полезная опция для проверки индексации — «Мониторинг важных страниц». Чтобы не искать нужные страницы в списке проиндексированных, составьте список (до 100 URL) и добавьте его в специальное поле.

После настройки уведомлений поисковая система будет оповещать вас об изменениях, связанными с выбранными страницами.

Если необходимо, чтобы Яндекс быстрее находил новые страницы и чаще мониторил сайт, не забудьте включить обход по счетчикам. Для этого, конечно же, к сайту должен быть привязан счетчик Метрики.

Как проверить индексацию в Google Search Console

Узнать подробную информацию об индексации в Google Search Console можно в разделе «Покрытие».

Общая информация об индексировании представлена на графике. Все страницы поделены на четыре категории:

1. Без ошибок (нужно стремиться, чтобы важные страницы сайта были именно в этом списке).
2. С ошибками.
3. Без ошибок, но с предупреждениями (как правило, предупреждения можно игнорировать).
4. Исключенные.

Если количество страниц сайта совпадает с количеством страниц в зеленой и желтой зоне, все хорошо. В желтую зону часто попадают страницы, которые проиндексированы, несмотря на запреты в robots.txt.

Под графиком можно получить подробную информацию о страницах — по какой причине Google отнес их к той или иной категории.

Как проверить индексацию без доступа к сайту

Если вы не являетесь владельцем сайта, — и не имеете доступа к инструментам Google и Яндекса для вебмастеров, — индексацию можно проверить прямо в поисковике и с помощью специальных сервисов. У таких способов есть свои преимущества и недостатки.

Поисковые операторы

Самый быстрый и простой способ узнать количество проиндексированных страниц — заглянуть в поисковую выдачу. Чтобы проверить, есть ли в поиске страницы с конкретного сайта, есть специальный оператор — site. Он работает как в Яндексе, так и в Google.

В инструментах поиска можно отфильтровать результаты: например, отобразить только недавно проиндексированные страницы.

В Яндексе все работает аналогично, только количество проиндексированных страниц отображается справа. Так как Google и Яндекс — поисковики для разных стран, каждый со своим алгоритмом, то количество проиндексированных страниц в разных поисковых системах может отличаться.

В Яндексе тоже есть фильтры, которые можно применить к результатам поиска. Посмотреть недавно добавленные страницы здесь также очень просто. Только вариантов фильтрации всего три: за сутки, за 2 недели и за месяц.

Перемещаясь по страницам поиска, вы сможете посмотреть, какие URL вашего сайта есть в поиске, начиная с самых важных.

Минус такого способа проверки не только в том, что он отнимает больше времени — данные выдачи могут не совпадать с реальностью. Особенно часто этим грешит Яндекс. 

Например, при проверке моего сайта с помощью оператора site выяснилось, что в поиске всего 164 страницы. А в панели Яндекс Вебмастера (раздел «Страницы в поиске») отображаются все 330 страниц. Вебмастер дает более точную информацию, поэтому верить все же стоит ему, а не данным в выдаче.

SEO-сервисы и утилиты

Проверять по отдельности индексацию в каждом из поисковиков не всегда удобно. Иногда хочется получить информацию быстро, без погружения в подробности. Для этого существуют специальные онлайн-сервисы и программы, которые позволяют за несколько секунд проверить индексацию в обеих поисковых системах.

Существуют SEO-комбайны, предлагающие целый набор инструментов для поисковой оптимизации (например, «Топвизор», Netpeak и др.). Но эти сервисы и программы я рассматривать не буду, так как они обычно платные и предназначены для тех, кто вплотную занимается SEO.

Остановимся на бесплатных помощниках оптимизатора, которые способны проверять индексацию отдельных страниц и всего сайта.

Серпхант. Онлайн-сервис с возможностью бесплатной проверки индексации 50 страниц в Яндексе и Google.

Через какое-то время (в зависимости от количества страниц) сервис выдаст результат в виде таблицы. Данные можно скачать отдельным файлом.

SEO Magic. Это браузерное расширение для быстрой проверки основной информации о сайте, в том числе количества проиндексированных страниц. Перейдите на интересующий вас сайт, кликните на значок расширения, и через пару секунд появится краткий отчет.

Если вы делаете сразу много проверок, Яндекс может принять вас за робота, поэтому в результатах проверки появится undefined. Но если кликнуть по ссылке (все показатели кликабельны) — откроется выдача поисковика с уже введенным оператором site и данными о количестве проиндексированных страниц. Правда, сперва придется пройти проверку на ботов.

RDS Bar. Еще одно полезное расширение для SEO-специалистов. В разных браузерах работает по-разному. Лучше всего — в Firefox. В Chrome и Opera некоторые данные могут не отображаться, но их можно посмотреть, перейдя по ссылкам.

Данные об индексировании довольно подробные, но не всегда правдивые. Например, в данном примере расширение показывает, что страница не проиндексирована в Google. Но если нажать «Нет», откроется выдача, в которой эта страница присутствует. Расширение в целом удобное, но данные лучше перепроверять — для этого достаточно перейти по ссылкам.

И не забывайте, что данные в поиске тоже неточные (особенно в Яндексе). Если вы мониторите собственный сайт, лучше пользуйтесь отчетами Google Search Console и Яндекс Вебмастера.

Как проверить индексацию отдельных страниц

Иногда нужно узнать, проиндексирована ли конкретная страница в Google или Яндексе. Это тоже можно сделать прямо в поиске или в инструментах вебмастера.

Google Search Console. Строка ввода URL для проверки отображается в самом верху панели. Этим инструментом можно воспользоваться в любой момент — независимо от того, в каком отчете вы находитесь.

Если страница проиндексирована, вы получите ответ с зеленой галочкой. Чтобы отправить робота на страницу для сканирования (первичного или повторного), нажмите «Запросить сканирование».

Яндекс Вебмастер. Аналогичный инструмент называется «Проверить статус URL» и находится в том же разделе «Индексирование».

Также наличие страницы в индексе можно проверить в поисковой выдаче с помощью того же оператора site. Только теперь после двоеточия вместо домена нужно указать URL страницы (без пробелов).

Как контролировать процесс индексации

Это нужно, чтобы страницы быстро попадали в поиск и приносили трафик. Мало проверить индексацию, важно облегчить поисковым роботам их работу. 

Вот краткий список рекомендаций:

Добавьте сайт в Яндекс Вебмастер и Google Search Console. Так вы будете получать информацию об индексировании, посещаемости и техническом состоянии сайта из первых рук и сразу узнавать об ошибках, которые поисковые роботы могут выявить на вашем ресурсе.

Составьте карту сайта в формате xml. Если вы пользуетесь WordPress, ее можно создать автоматически с помощью плагина и его базовых настроек. Также карту можно сгенерировать в специальных онлайн-сервисах. Лучше, чтобы она была динамической и отображала дату последнего изменения страниц и файлов сайта (Last-Modified). Также полезно добавить карту в панели вебмастера (оба поисковика предлагают такую возможность).

Создайте файл robots.txt. Он необходим для того, чтобы разрешать или запрещать обход определенных страниц сайта. Если у вас большой сайт с огромным количеством служебных страниц, их индексацию нужно запретить — так роботы Яндекса и Google не будут тратить краулинговый бюджет на ненужные страницы и быстрее проиндексируют то, что действительно важно.

Если важные страницы долго не индексируются, запросите их сканирование вручную. Это не всегда помогает, но не так сложно сделать запрос в Вебмастере или GSC, чтобы поисковый робот быстрее посетил новый URL.

Следите за актуальностью контента и регулярно обновляйте ресурс. Чем чаще на сайте публикуется что-то новое, тем активнее его исследуют поисковики. Если тематика сайта позволяет, заведите блог или придумайте другой способ публикации контента. Не забывайте запрашивать переобход измененных страниц у роботов Яндекса и Google.

Не оставляйте «страниц-сирот». На каждую страницу должна вести хотя бы одна ссылка, иначе поисковый робот никогда не найдет ее самостоятельно. В блоге я уже подробно разбирала, как сделать перелинковку на сайте.

Это самые базовые рекомендации, но их выполнение поможет избежать ошибок в индексировании и быстро «загнать» страницы в поиск.

Поделиться

СВЕЖИЕ СТАТЬИ

Другие материалы из этой рубрики

Не пропускайте новые статьи

Подписывайтесь на соцсети

Делимся новостями и свежими статьями, рассказываем о новинках сервиса

«Честно» — авторская рассылка от редакции Unisender

Искренние письма о работе и жизни. Свежие статьи из блога. Эксклюзивные кейсы и интервью с экспертами диджитала.

Оставляя свой email, я принимаю Политику конфиденциальности

Наш юрист будет ругаться, если вы не примете 🙁

Как запустить email-маркетинг с нуля?

В бесплатном курсе «Rock-email» мы за 15 писем расскажем, как настроить email-маркетинг в компании. В конце каждого письма даем отбитые татуировки об email ⚡️

*Вместе с курсом вы будете получать рассылку блога Unisender

Оставляя свой email, я принимаю Политику конфиденциальности

Наш юрист будет ругаться, если вы не примете 🙁

Как проверить индексацию сайта в поисковых системах

Как подготовиться к проверке индексации сайта Как проверить индексацию в Яндекс Вебмастере Как проверить индексацию в Google Search Console Как проверить индексацию без доступа к сайту Как проверить индексацию отдельных страниц Как контролировать процесс индексации

Мы в Telegram

В канале «Маркетинговые щи» только самое полезное: подборки, инструкции, кейсы.
Не всегда на серьёзных щах — шуточки тоже шутим =)

Подписаться

Станьте email-рокером 🤘

Пройдите бесплатный курс и запустите свою первую рассылку

Подробнее

Индексация — добавление информации о сайте и его страницах в поисковые системы — один из первых шагов в SEO. Не всегда можно полностью довериться Яндексу и Google в этом вопросе — за процессом индексирования нужно следить, иначе можно упустить время и потерять ценный трафик из поиска.

Есть несколько способов отследить то, как индексируется сайт: свой или чужой. Проверять можно сразу все страницы или каждую по отдельности.

Владелец сайта может добавить его в инструменты для вебмастеров от Яндекса и Google. Там можно получить самую полную и достоверную информацию об индексировании, а также узнать об ошибках.

Если доступа к управлению сайтом нет, вы можете проверить индексацию вручную в поисковой выдаче или автоматически — с помощью специальных сервисов и программ.

Теперь давайте обо всем по порядку.

Как подготовиться к проверке индексации сайта

Чтобы оценить, как хорошо индексируется сайт, нужно узнать, сколько на нем страниц.

Для этого пригодится карта сайта — главный помощник поискового робота. В ней указаны все страницы, которые должны быть проиндексированы. Файл находится в корневой папке сайта и называется sitemap.xml (например, site.ru/sitemap.xml).

Если вы используете WordPress с установленным SEO-плагином (например, Yoast), то карта сайта, как правило, генерируется автоматически.

Также можно использовать бесплатную программу Xenu, которая сканирует все страницы сайта. Но чтобы в список не попадало все подряд, ее нужно предварительно настроить.

Как проверить индексацию в Яндекс Вебмастере

Общие сведения об индексации отображаются на главной странице панели — в краткой сводке по сайту в правом столбике.

Плюс Яндекс предлагает целый список отчетов и инструментов в разделе «Индексирование».

В «Статистике обхода» можно узнать, как робот Яндекса исследует сайт, и не столкнулся ли он с проблемами во время сканирования. Здесь два отчета: по последним событиям и по страницам. Если вас интересует, какие изменения произошли недавно, откройте первый отчет.

В следующем подразделе «Все страницы» перечислены все просканированные URL сайта, начиная с последних.

Напротив каждого URL указан код ответа сервера, который получил робот. В идеале это 200. Ответов с кодом 500 на правильно работающем сайте быть не должно. 404-е ошибки встречаются, когда страница была удалена. Если она переехала в другое место, нужно настроить переадресацию.

Страницы, которые находятся в индексе, можно посмотреть в разделе «Страницы в поиске». Во вкладке «Последние изменения» — самая актуальная информация об URL, участвующих в поисковой выдаче Яндекса.

Здесь же можно посмотреть исключенные из поиска страницы.

В подразделе «Все страницы» можно скачать таблицу с информацией об индексации страниц сайта, которые присутствуют в файле sitemap. Напротив каждого URL также будет показан код ответа сервера и статус. Таблица в виде отдельного файла — не самый удобный способ представления данных. Но если напротив страницы указано слово searchable, это означает, что она находится в поиске.

Еще одна полезная опция для проверки индексации — «Мониторинг важных страниц». Чтобы не искать нужные страницы в списке проиндексированных, составьте список (до 100 URL) и добавьте его в специальное поле.

После настройки уведомлений поисковая система будет оповещать вас об изменениях, связанными с выбранными страницами.

Если необходимо, чтобы Яндекс быстрее находил новые страницы и чаще мониторил сайт, не забудьте включить обход по счетчикам. Для этого, конечно же, к сайту должен быть привязан счетчик Метрики.

Как проверить индексацию в Google Search Console

Узнать подробную информацию об индексации в Google Search Console можно в разделе «Покрытие».

Общая информация об индексировании представлена на графике. Все страницы поделены на четыре категории:

1. Без ошибок (нужно стремиться, чтобы важные страницы сайта были именно в этом списке).
2. С ошибками.
3. Без ошибок, но с предупреждениями (как правило, предупреждения можно игнорировать).
4. Исключенные.

Если количество страниц сайта совпадает с количеством страниц в зеленой и желтой зоне, все хорошо. В желтую зону часто попадают страницы, которые проиндексированы, несмотря на запреты в robots.txt.

Под графиком можно получить подробную информацию о страницах — по какой причине Google отнес их к той или иной категории.

Как проверить индексацию без доступа к сайту

Если вы не являетесь владельцем сайта, — и не имеете доступа к инструментам Google и Яндекса для вебмастеров, — индексацию можно проверить прямо в поисковике и с помощью специальных сервисов. У таких способов есть свои преимущества и недостатки.

Поисковые операторы

Самый быстрый и простой способ узнать количество проиндексированных страниц — заглянуть в поисковую выдачу. Чтобы проверить, есть ли в поиске страницы с конкретного сайта, есть специальный оператор — site. Он работает как в Яндексе, так и в Google.

В инструментах поиска можно отфильтровать результаты: например, отобразить только недавно проиндексированные страницы.

В Яндексе все работает аналогично, только количество проиндексированных страниц отображается справа. Так как Google и Яндекс — поисковики для разных стран, каждый со своим алгоритмом, то количество проиндексированных страниц в разных поисковых системах может отличаться.

В Яндексе тоже есть фильтры, которые можно применить к результатам поиска. Посмотреть недавно добавленные страницы здесь также очень просто. Только вариантов фильтрации всего три: за сутки, за 2 недели и за месяц.

Перемещаясь по страницам поиска, вы сможете посмотреть, какие URL вашего сайта есть в поиске, начиная с самых важных.

Минус такого способа проверки не только в том, что он отнимает больше времени — данные выдачи могут не совпадать с реальностью. Особенно часто этим грешит Яндекс. 

Например, при проверке моего сайта с помощью оператора site выяснилось, что в поиске всего 164 страницы. А в панели Яндекс Вебмастера (раздел «Страницы в поиске») отображаются все 330 страниц. Вебмастер дает более точную информацию, поэтому верить все же стоит ему, а не данным в выдаче.

SEO-сервисы и утилиты

Проверять по отдельности индексацию в каждом из поисковиков не всегда удобно. Иногда хочется получить информацию быстро, без погружения в подробности. Для этого существуют специальные онлайн-сервисы и программы, которые позволяют за несколько секунд проверить индексацию в обеих поисковых системах.

Существуют SEO-комбайны, предлагающие целый набор инструментов для поисковой оптимизации (например, «Топвизор», Netpeak и др.). Но эти сервисы и программы я рассматривать не буду, так как они обычно платные и предназначены для тех, кто вплотную занимается SEO.

Остановимся на бесплатных помощниках оптимизатора, которые способны проверять индексацию отдельных страниц и всего сайта.

Серпхант. Онлайн-сервис с возможностью бесплатной проверки индексации 50 страниц в Яндексе и Google.

Через какое-то время (в зависимости от количества страниц) сервис выдаст результат в виде таблицы. Данные можно скачать отдельным файлом.

SEO Magic. Это браузерное расширение для быстрой проверки основной информации о сайте, в том числе количества проиндексированных страниц. Перейдите на интересующий вас сайт, кликните на значок расширения, и через пару секунд появится краткий отчет.

Если вы делаете сразу много проверок, Яндекс может принять вас за робота, поэтому в результатах проверки появится undefined. Но если кликнуть по ссылке (все показатели кликабельны) — откроется выдача поисковика с уже введенным оператором site и данными о количестве проиндексированных страниц. Правда, сперва придется пройти проверку на ботов.

RDS Bar. Еще одно полезное расширение для SEO-специалистов. В разных браузерах работает по-разному. Лучше всего — в Firefox. В Chrome и Opera некоторые данные могут не отображаться, но их можно посмотреть, перейдя по ссылкам.

Данные об индексировании довольно подробные, но не всегда правдивые. Например, в данном примере расширение показывает, что страница не проиндексирована в Google. Но если нажать «Нет», откроется выдача, в которой эта страница присутствует. Расширение в целом удобное, но данные лучше перепроверять — для этого достаточно перейти по ссылкам.

И не забывайте, что данные в поиске тоже неточные (особенно в Яндексе). Если вы мониторите собственный сайт, лучше пользуйтесь отчетами Google Search Console и Яндекс Вебмастера.

Как проверить индексацию отдельных страниц

Иногда нужно узнать, проиндексирована ли конкретная страница в Google или Яндексе. Это тоже можно сделать прямо в поиске или в инструментах вебмастера.

Google Search Console. Строка ввода URL для проверки отображается в самом верху панели. Этим инструментом можно воспользоваться в любой момент — независимо от того, в каком отчете вы находитесь.

Если страница проиндексирована, вы получите ответ с зеленой галочкой. Чтобы отправить робота на страницу для сканирования (первичного или повторного), нажмите «Запросить сканирование».

Яндекс Вебмастер. Аналогичный инструмент называется «Проверить статус URL» и находится в том же разделе «Индексирование».

Также наличие страницы в индексе можно проверить в поисковой выдаче с помощью того же оператора site. Только теперь после двоеточия вместо домена нужно указать URL страницы (без пробелов).

Как контролировать процесс индексации

Это нужно, чтобы страницы быстро попадали в поиск и приносили трафик. Мало проверить индексацию, важно облегчить поисковым роботам их работу. 

Вот краткий список рекомендаций:

Добавьте сайт в Яндекс Вебмастер и Google Search Console. Так вы будете получать информацию об индексировании, посещаемости и техническом состоянии сайта из первых рук и сразу узнавать об ошибках, которые поисковые роботы могут выявить на вашем ресурсе.

Составьте карту сайта в формате xml. Если вы пользуетесь WordPress, ее можно создать автоматически с помощью плагина и его базовых настроек. Также карту можно сгенерировать в специальных онлайн-сервисах. Лучше, чтобы она была динамической и отображала дату последнего изменения страниц и файлов сайта (Last-Modified). Также полезно добавить карту в панели вебмастера (оба поисковика предлагают такую возможность).

Создайте файл robots.txt. Он необходим для того, чтобы разрешать или запрещать обход определенных страниц сайта. Если у вас большой сайт с огромным количеством служебных страниц, их индексацию нужно запретить — так роботы Яндекса и Google не будут тратить краулинговый бюджет на ненужные страницы и быстрее проиндексируют то, что действительно важно.

Если важные страницы долго не индексируются, запросите их сканирование вручную. Это не всегда помогает, но не так сложно сделать запрос в Вебмастере или GSC, чтобы поисковый робот быстрее посетил новый URL.

Следите за актуальностью контента и регулярно обновляйте ресурс. Чем чаще на сайте публикуется что-то новое, тем активнее его исследуют поисковики. Если тематика сайта позволяет, заведите блог или придумайте другой способ публикации контента. Не забывайте запрашивать переобход измененных страниц у роботов Яндекса и Google.

Не оставляйте «страниц-сирот». На каждую страницу должна вести хотя бы одна ссылка, иначе поисковый робот никогда не найдет ее самостоятельно. В блоге я уже подробно разбирала, как сделать перелинковку на сайте.

Это самые базовые рекомендации, но их выполнение поможет избежать ошибок в индексировании и быстро «загнать» страницы в поиск.

Поделиться

СВЕЖИЕ СТАТЬИ

Другие материалы из этой рубрики

Не пропускайте новые статьи

Подписывайтесь на соцсети

Делимся новостями и свежими статьями, рассказываем о новинках сервиса

«Честно» — авторская рассылка от редакции Unisender

Искренние письма о работе и жизни. Свежие статьи из блога. Эксклюзивные кейсы и интервью с экспертами диджитала.

Оставляя свой email, я принимаю Политику конфиденциальности

Наш юрист будет ругаться, если вы не примете 🙁

Как запустить email-маркетинг с нуля?

В бесплатном курсе «Rock-email» мы за 15 писем расскажем, как настроить email-маркетинг в компании. В конце каждого письма даем отбитые татуировки об email ⚡️

*Вместе с курсом вы будете получать рассылку блога Unisender

Оставляя свой email, я принимаю Политику конфиденциальности

Наш юрист будет ругаться, если вы не примете 🙁

Что такое индексация сайта и как её проверить — SEO на vc.

ru

Чем бы вы ни занимались, интернет-магазином, корпоративным порталом или лендингом, сделать сайт — лишь полдела. Дальше начинается самое интересное — продвижение. Индексация в этом деле — первый шаг на пути к топу поисковой выдачи. Рассказываем о том, как она происходит, как её проверить и ускорить.

35 477 просмотров

Как работает индексация

Продвижение начинается с попадания страниц сайта в индекс поисковых систем (ПС). В эти базы данных Яндекс, Google и другие сервисы заносят информацию о содержимом страниц: использованных на них ключевых словах, размещённом на них контенте и другую информацию. Затем, когда пользователь обращается к ПС с запросом, сервис анализирует собранные данные и подбирает наиболее подходящие варианты ответа из списка проиндексированных страниц.

Как попасть в индекс поисковых систем

Чтобы ваш сайт проиндексировали, о нём нужно сообщить поисковикам. Это можно сделать несколькими способами.

1. С помощью инструментов поисковых систем. Почти у всех поисковиков есть собственные сервисы для веб-мастеров. У самых популярных из них на территории СНГ — Google и Яндекс — это Search Console и Яндекс.Вебмастер. В последнем даже есть специальный инструмент, позволяющий отправлять от 20 ссылок в день на страницы, которые нужно проиндексировать в приоритетном порядке.

Однако когда речь заходит не о нескольких десятках страниц, а об индексации сайта в целом, более эффективным решением будет добавить его в Яндекс и Google, а затем указать ссылку на карту сайта (файл Sitemap) в Search Console и Яндекс.Вебмастер. Тогда поисковики начнут самостоятельно и регулярно посещать ваш сайт и его новые страницы, чтобы затем добавить их в индекс. О том, как составить карту сайта вы можете узнать в руководстве Google. Что касается скорости попадания в выдачу, она зависит от многих факторов, но в среднем занимает одну—две недели.

2. С помощью ссылок с других сайтов. Быстро обратить внимание поисковых систем на вашу новую страницу можно, разместив ссылки на неё на других порталах. Если один из них будет новостным, скорее всего, страница быстро попадёт в выдачу, так как поисковики часто проверяют такие сайты и ссылки на них считают полезными. В некоторых случаях индексирование может занять меньше суток.

Попадёт ли страница в поисковую выдачу, зависит от её содержимого. Если с ней всё в порядке, робот проиндексирует её и в скором времени она появится в поисковой выдаче.

Как проверить индексацию сайта

Есть несколько способов узнать были ли проиндексированы нужные вам страницы.

1. С помощью Яндекс.Вебмастера и Search Console. В первом для этого есть специальный инструмент — «Проверить статус URL». Достаточно добавить в него ссылку на нужную страницу, и в течение двух минут (иногда — нескольких часов) вы узнаете о статусе страницы в ПС.

Чтобы проверить статус страницы в Search Console, нужно ввести ссылку на неё в поисковой строке, которая отображается в верхней части экрана. На открывшейся форме вы узнаете, была ли страница проиндексирована поисковиком.

2. С помощью команды «site». Если вы не хотите добавлять сайт в сервисы для веб-мастеров, вы можете проверить сразу все попавшие в индекс поисковиков страницы с помощью специальной команды. Для этого введите в поиск Яндекс или Google запрос вида «site:mysite.ru» (без кавычек), и вы увидите все страницы, попавшие в выдачу.

3. С помощью сервисов. Самый простой способ проверить индексацию определённых страниц — воспользоваться для этого сторонними сервисами. Например, Серпхант позволяет проверить индексацию сразу 50 страниц в Яндекс и Google. Введите ссылки на них в специальную форму (не забудьте про http:// или https://) и нажмите «Начать проверку». Иногда инструмент долго выдаёт результаты проверки по одной—двум позициям, но существенно на функциональность это не влияет.

Ещё один сервис — плагин RDS Bar для Chrome, Firefox и Opera — позволяет получить подробную информацию о любой открытой в браузере странице, в том числе и о том, проиндексирована ли она.

Как ускорить индексацию

Чем быстрее поисковые системы внесут страницу в индекс, тем быстрее на неё попадут посетители. Чтобы сократить время ожидания, следуйте следующим рекомендациям:

• Обязательно добавьте сайт в ПС через сервисы для веб-мастеров.
• В Search Console и Яндекс.Вебмастере укажите ссылки на файлы Sitemap и robots.txt.
• Регулярно добавляйте на сайт новый уникальный контент.
• Не забывайте перелинковывать страницы между собой.
• Добавляйте ссылки на новые страницы в социальные сети и на другие сайты.

Как закрыть сайт от индексации

Не все страницы нравятся поисковым системам. Некоторым из них — например, служебным страницам и тем, которые пока что находятся в разработке, — не только нечего делать в выдаче, но и лучше вообще не попадаться на глаза поисковым роботам. Чтобы предотвратить попадание таких страниц в выдачу, лучше сразу запретить их индексацию. Сделать это также можно несколькими способами:

1. Использовать команду Disallow в файле robots.txt. В этом файле указываются правила для поисковых роботов: какие-то страницы в нём можно разрешить индексировать определённым ПС, а какие-то — запретить. Чтобы страница не попала в выдачу, используйте команду Disallow. Подробнее о работе с файлом robots.txt читайте в руководстве Яндекса.

2. Добавить тег noindex в HTML-код страницы. Наверное, самый простой способ, когда нужно запретить роботу индексацию конкретной страницы или страниц определённого типа. Чтобы воспользоваться им, достаточно добавить в раздел HTML-кода страницы директиву .

3. Использовать авторизацию. Некоторые страницы — например, личный кабинет и «черновики», находящиеся в разработке, — можно закрыть от роботов формой авторизации. Это самый надёжный способ, так как даже те страницы, индексация которых запрещена в robots.txt или директивой noindex, могут попасть в поисковую выдачу, если на них ведут ссылки с других страниц.

Как проверить индексацию сайта в Яндексе и Google

Сайт может быть совершенным с технической и дизайнерской точек зрения, но если о нем неизвестно поисковым системам, то его продвижение невозможно. Оно начинается с индексации – добавления поисковой системой в свою базу контента сайта. На практике используется несколько способов, как проверить индексацию сайта.

оглавление

1. Как посмотреть индексацию сайта
2. Этапы индексации сайта
3. Сканирование
4. Индексация
5. Как проверить индексацию сайта
6. С помощью сервиса Rush Analytics
7. С помощью поисковых операторов
8. С помощью сервисов и плагинов
9. Букмарклеты
10. Яндекс Вебмастера
11. 1 Вариант
12. 2 вариант
13. С помощью Google Search Console
14. Как ускорить индексацию сайта
15. Яндекс
16. Google Search Console
17. Ловец ботов
18. Соцсети
19. IndexNow Яндекс
20. Google Api индекс
21. Влияние домена на индексацию
22. Как закрыть сайт от индексации

Этапы индексации сайта

В справочной информации поисковых систем Google и Яндекс термин “индексация” используется в разных контекстах.

Сканирование

У каждого сайта есть свой краулинговый бюджет, который зависит от:

По той причине, что ресурсы поисковых систем ограничены, робот-планировщик составляет список очередности обхода страниц, отталкиваясь от критериев полезности контента, его востребованности и популярности среди пользователей. 

• скорости загрузки сайта; 
• соотношения полезных/мусорных страниц;
• наличия дублей контента;
• корректности реализации навигации на сайте;
• популярности страниц;
• и т.д.

Поисковой бот в бесконечном режиме скачивает страницы и помещает их в базу, заменяя старый контент на новый. 

Индексация

Далее поисковые системы выполняют следующие процессы:

1. Другой робот загружает страницы и разбивает их по следующим элементам: мета-теги, изображения, текст, видеоматериалы, микроразметка и другие данные.

2. Далее страница проверяется:

• открыта она к индексу или закрыта;
• наличие на странице тега canonical;
• оценивается качество контента;
• и т. д. по списку.

3. При успешном прохождении проверки, документ добавляется в индекс.

Как проверить индексацию сайта

Существует несколько способов с помощью инструментов ПС или сторонних сервисов.

С помощью сервиса Rush Analytics

1. Выбираете частоту проверки:

• ежедневная;
• еженедельная;
• ежемесячная;
• в ручном режиме;

2. Выбираете в какой поисковой системе хотите проверить наличие страниц в индексе

3. Загружаете URL

• списком;
• файлом;
• ссылкой на sitemap.xml

4. И через несколько минут получаете результат

С помощью  поисковых операторов

Операторами в данном случае называют особые сочетания символов, которые используются для уточнения параметров запросов. Как узнать индексацию сайта в Яндексе или Гугле с их помощью? Существует несколько методов:

• Оператор «site». В поисковой строке нужно ввести «site:адрес сайта». Необходимо учитывать, что если страниц много, информация может быть некорректной.

Оператор «host», работает по тому же принципу, что и «site», но область поиска сужается до конкретного домена, а поддомены в результатах показываться не будут.

С помощью сервисов и плагинов

• pr-cy.ru. Бесплатно можно проверить только 5 URL, плюс проверка проводится только в Google. 
• arsenkin.ru. Индексацию в Яндексе сервис проводит бесплатно, в Google – только по платной подписке.
• Плагин RDS Bar, предназначенный для браузеров Chrome, Firefox и Opera. Выдает информацию о любой странице, которая открыта в браузере. Как проверить индексацию страницы, число проиндексированных картинок, ссылки на страницу – ответы на эти вопросы можно получить с помощью плагина RDS Bar.

Букмарклеты

Термином «букмарклет» называют специальный скрипт, с помощью которого можно автоматизировать рутинные действия, связанные с продвижением, в том числе узнать, сколько страниц сайта в индексе Яндекса. Чтобы пользоваться ими, нужно предварительно добавить закладку в браузере.

Скрипты позволяют анализировать любой сайт, в том числе конкурента: при его открытии нужно нажать на закладку – и получить подробную информацию о том, насколько виден сайт в поисковых системах. 

Примеры таких скриптов:

• Как посмотреть индексацию сайта в Яндексе: 

javascript:void(window.open(‘https://yandex.ru/yandsearch?text=site:’ + location.host)) .

• Как проверить индексацию сайта в Google:

javascript:void(window.open(‘https://www.google.com/search?q=site:’ + location.host)).

С помощью Яндекс Вебмастера

Необходимо, в первую очередь, добавить сайт в панель Яндекс Вебмастера, подтвердить ваши права на сайт. 

1  Вариант

Переходим в раздел “Индексирование”  — “Проверить статус URL” .

В этом разделе мы можем увидеть информацию о странице, которая находится в базе Яндекса. 

2 Вариант

“Индексирование” — “Страницы в поиске” 

Это общая актуальная сводка о статусе страниц на сайте.  

• Можно посмотреть на исключенные страницы в разрезе причины исключени.
• Проанализировать историю структуры сайта.
• И конечно, понять что в индексе.

Также есть вариант выгрузки страниц в формате xls.

С помощью Google Search Console

Аналогичный инструмент для вебмастеров от Google — Google Search Console. Проиндексированные страницы отражены в разделе «Покрытие». В его верхнем углу есть кнопка «Нажать отчет», при нажатии на которую выдаются списки страниц с ошибками и без них. Необходимо выбрать страницы без ошибок, нажать кнопку «Сведения», после чего откроется подробный отчет по этим группам.

Как ускорить индексацию сайта

В первую очередь, необходимо сообщить поисковикам о новом сайте, только после этого имеет смысл задаваться вопросом, как проверить, сколько страниц в Яндексе или Гугле. 

Самое эффективное решение – добавить сайт в сервисы для вебмастеров, перечисленные выше. В них можно указать ссылку на Sitemap, после чего поисковые системы начнут самостоятельно регулярно заходить на сайт и добавлять в поиск новые страницы. Существует несколько способов, позволяющих сократить это время.

Яндекс Вебмастер

Сервис для вебмастеров от Яндекса не только дает ответ на вопрос, как узнать индексацию страницы, но и позволяет ускорить процесс попадания и поиск. Для этого существует два способа:

• Переобход страниц – такая функция есть в разделе «Индексирование». В окно вставляются ссылки на страницы, которые нужно проиндексировать, после чего надо нажать кнопку «Отправить».
• Файлы Sitemap также добавляется в разделе «Индексирование». Робот прочитает его и посетит страницы, на которых он еще не был.
• Обход по счетчикам — при помощи Яндекс Метрики. Для начала их нужно установить, подтвердив права на сайт, после чего найти в разделе «Индексирование» подраздел «Обход по счетчикам». Если разрешить обход нажатием соответствующей кнопки, то все страницы, на которые зайдут посетители, по сведениям Метрики, будут индексироваться роботом.

Google Search Console

Аналогично сервису Яндекса, Google Search Console позволяет не только узнать, как проверить индексацию сайта в Google, но и «помочь» боту быстрее заметить новые страницы. Ссылка вставляется в строку проверки, после чего нужно нажать кнопку «Запросить индексацию». Кроме того, в этом случае также целесообразно добавить в сервис файл Sitemap.

Ловец ботов

Инструмент для ускорения индексации страниц поисковыми системами – в SEO называется «Ловец Ботов».

При каждом посещении сайта ботом поисковой системы, на посещаемой странице в специальном блоке — ротаторе расположенном в футере, показываются ссылки на не проиндексированные страницы. Робот с большой вероятностью может перейти по этим ссылкам и проиндексировать целевые страницы.

Соцсети

Размещение ссылки на новые страницы в социальных сетях когда-то было рабочим и результативным инструментом, но сегодня его эффективность снизилась, поскольку переход на сайт осуществляется через редирект (переадресацию). Рассчитывать только на этот способ ускорения индексации не стоит, однако, даже несмотря на редирект, его можно использовать как дополнение к остальным.

Такой вариант подходит только тем, кто, помимо сайта, регулярно ведет соцсети. Если нет возможности это делать, можно использовать кросс-постинг. Он предполагает, что сразу после того, как материал публикуется на сайте, его лид (вступительный абзац) постится на страницу в социальной сети со ссылкой на материал.

IndexNow Яндекс

Позволяет автоматически сообщать поисковым системам об изменениях на сайте, включая появление новых страниц, обновление или удаление текущих. Как настроить https://yandex.ru/support/webmaster/indexing-options/index-now.html 

Google Api индекс

Она позволяет отправлять в поисковик ссылки на новые и обновленные страницы, а также удалять мусорные. Есть лимит – до 200 ссылок в день, но в большинстве случаев этого достаточно. Предусмотрена возможность настройки аналитики, которая позволяет посмотреть, какие ссылки были отправлены, и проверить индексацию статьи в соответствии с датой обхода сайта ботом поисковой системы.

Влияние домена на индексацию

Изначально доменные зоны были напрямую связаны с географией: например, российские сайты регистрировались в зоне ru. Однако сегодня они могут быть зарегистрированы в международной зоне com, что свидетельствует о коммерческой деятельности в интернете.

При появлении кириллических доменов действительно были проблемы с их индексацией, однако сейчас они в прошлом. Некоторые сложности остаются – например, проблемы со ссылками, которые выглядят не слишком привлекательно из-за преобразования в punycode. Однако при поиске ответа на вопрос, как проверить индексацию ссылки в доменах с кириллицей, проблем не возникает, и для них актуальны все описанные выше методы.

Как закрыть сайт от индексации

Индексация нужна не всегда, в некоторых случаях может возникнуть необходимость спрятать от поисковиков отдельные страницы – например, дубли. Для этого есть несколько способов:

• Установить запрет в файле robots.txt. 
• Поставить <meta name=»robots» content=»noindex, nofollow»/> — метатег на странице, которую необходимо скрыть от роботов. Вместо robots прописывается название бота – yandex или googlebot.
•  Установить пароль в .htaccess – на весь сайт либо на его отдельные страницы. Однако если страницы уже есть базе поисковиков, спрятать их с помощью этого способа невозможно: потребуется сначала удалить.
•  Убрать ссылки из панелей для вебмастеров.

Важно помнить, что поисковики редко посещают сайты, которые долго не обновляются. Перед тем как проверить индексацию в Гугл или Яндекс, важно наладить регулярное наполнение сайта полезным, интересным, оптимизированным и соответствующим требованиям поисковиков контентом.

---

Проверьте статус индекса Google с помощью первоклассной программы проверки индекса Google

Google на сегодняшний день является крупнейшей поисковой системой в мире. Быть видимым для своих пользователей — обязательное требование для любого веб-ресурса, независимо от размера, сферы, местоположения или возраста. Мы проанализировали, как работает индекс Google, почему индексация важна, какие могут возникнуть препятствия для индексации и как проверить индекс Google вашего сайта с помощью бесплатного онлайн-инструмента. Давайте начнем!

Что такое индексирование Google

Индексирование поисковыми системами — это процесс сбора и анализа данных для облегчения получения информации поиск . Индекс Google — это большая база данных, содержащая миллиарды веб-сайтов, доступных в глобальной сети. Короче говоря, индексирование Google — это проверка веб-сайта перед тем, как разрешить его появление в результатах поиска и, следовательно, добавить его в поиск Google.

Запуская процесс индексации, Google пытается понять, о чем страница. Google анализирует содержимое страницы, затем каталогизирует изображения и видеофайлы, которые используются на странице. Специальный поисковый робот Google под названием «Googlebot» посещает и сканирует веб-сайт для проведения этого анализа.

У каждого сайта есть специальный файл robots.txt, который сообщает поисковым системам, какие страницы сайта следует сканировать. Очень важно правильно настроить его, добавив специальные метатеги (index или noindex), разрешающие или запрещающие индексацию. Во избежание проблем советуем заранее протестировать файл robots.txt.

Когда программа просматривает страницу, она проверяет качество содержимого, а также его свежесть, уникальность и актуальность. Он также проводит анализ тегов alt и тегов title.

После сканирования сайта поисковая система решает, соответствует ли ресурс правилам и рекомендациям Google; если все в порядке, система индексирует сайт и показывает его в результатах поиска.

Как использовать Google Indexed Pages Checker

Как мы видим, индексация является очень важным этапом в жизненном цикле каждого сайта. Это принципиально для будущей эффективной работы веб-ресурса. SEO-специалисты регулярно используют специально разработанные инструменты — индексаторы, для запуска тестов. Очевидно, что самый высокий спрос на средство проверки проиндексированных страниц Google, поскольку поисковая система Google занимает первое место в использовании.

Итак, как им правильно пользоваться? Вот краткое руководство.

Шаг 1: Вставьте свой домен и начните бесплатную пробную версию

Начать процесс очень просто — все, что вам нужно сделать, это ввести свое доменное имя, и вам даже не понадобится кредитная карта. Более того, вы можете без проблем подписаться на бесплатную пробную версию, используя Google или Facebook. Это невероятно быстро и эффективно, так почему бы не начать прямо сейчас?

Шаг 2. Интерпретация результатов Google Index Checker

Наш современный поисковый робот быстро и эффективно проанализирует ваш сайт, и вы сможете получить результаты анализа с количеством страниц, находящихся в индексе Google.

Бесплатная проверка статуса индекса Google Специальные функции

Когда вы исследуете свой веб-сайт, чтобы определить количество проиндексированных страниц, наша служба аудита сайта предоставляет всесторонний обзор, который рассматривает все аспекты вашего сайта. Это требует глубокого погружения в архитектуру вашей страницы и помогает точно определить любые потенциальные проблемы или препятствия, которые могут присутствовать.

Причины, по которым страница не индексируется

После проверки пользователи могут обнаружить, что некоторые страницы не индексируются . Почему так? Первый вариант, по-видимому, заключается в том, что Google еще не просканировал сайт. Страница новая, и Google не знает о ее существовании. Люди создают тысячи страниц каждый день, так что это не самая большая проблема.

При этом страница может не индексироваться после сканирования. Система отсканировала и проверила страницу, но решила не индексировать ее. Вкратце, это может произойти из-за того, что страница не привлекательна и имеет низкое качество. Вот список наиболее распространенных причин:

• Загружается слишком медленно. Причины могут быть разные: от лишнего контента до старых серверов. В любом случае, долгое время загрузки вызывает у посетителей страницы гнев и разочарование. Это определенно не очень хороший пользовательский опыт, и Google 100% не хочет распространять такие эмоции среди многих людей.
• Плохое качество контента. Высокое качество контента обязательно для индексации. Он должен быть актуальным, уникальным, информативным, должным образом оптимизированным и оптимальной длины. С одной стороны, это важно для SEO-эффективности страницы. С другой стороны, информация — это то, почему люди посещают ту или иную страницу. Если контент не соответствует ожиданиям посетителей, не дает ответов на их вопросы и копирует существующие мнения, программа задается вопросом, нужно ли показывать такую ​​страницу.
• Страница неудобна для пользователя. Привлечение посетителей — цель всех страниц. Google ценит, если посетители могут легко и быстро перемещаться по странице и находить то, что им нужно.
• Веб-сайт слишком большой. Мы привыкли к мнению, что титаны среди компаний-разработчиков программного обеспечения, такие как Google, обладают неограниченными ресурсами. Это определенно неправда. Система может просто решить не тратить ресурсы на этой странице.
• Карта сайта отсутствует. Карта сайта — это не только список всех страниц веб-ресурса. Это также быстрый способ для Google понять, о чем сайт.

Не будем также забывать, что страницу можно запретить вручную индексировать. Могут быть плагины, которые не позволяют роботу Googlebot сканировать страницу. Кроме того, могут быть метатеги, для которых установлено значение noindex, nofollow. Эти барьеры довольно легко преодолеть даже без определенных навыков, поэтому не забывайте их перепроверять.

Причины, по которым домен не индексируется

Если весь домен имеет неиндексируемый статус, это может вызвать более серьезные проблемы. Это означает, что все страницы сайта вне индексации. Первая причина, опять же, заключается в том, что домен новый, и Google его еще не обнаружил.

Кроме того, убедитесь, что у вас есть доменное имя. Это может показаться странным, но в некоторых случаях на сайтах его нет. Такая ситуация может произойти из-за того, что вы используете неверный URL-адрес для контента или он неправильно настроен, например, в WordPress.

В то же время Google может просканировать веб-сайт и решить не индексировать его. Или сайт был проиндексирован ранее, но система его деиндексировала позже. Вот некоторые факторы, которые могут привести к такой ситуации:

• Сайт нарушает рекомендации Google для веб-мастеров. Поисковик показывает только те сайты, которые соответствуют определенному уровню качества по техническим характеристикам, самому содержанию и некоторым моральным аспектам. Если веб-ресурс использует черное SEO или покупает ссылки или, что еще хуже, распространяет какую-то запрещенную информацию, система тут же скроет ее от пользователей.
• Веб-сайт содержит спам. Служба проверки может посчитать, что веб-страница не несет никакой ценности, ее содержимое не уникально, а наоборот, бесполезно, нежелательно и, как правило, раздражает. Более того, если сайт бомбардирует посетителей рекламой, система может легко скрыть такие страницы из поисковой выдачи.
• T Веб-сайт не оптимизирован для мобильных устройств. Количество мобильных пользователей постоянно растет. В результате, быть мобильно-дружественным является обязательным. Это связано с тем, что Google не так давно внедрил индексацию Mobile-First.
• Проблемы с языком кодирования. Дело не в том, является ли язык современным, популярным или простым. Это больше касается правильных настроек. Пока настройки неверны и вызывают проблемы со сканированием и индексацией, система не будет считать такой сайт достойным индексации.

Это определенно только некоторые причины. Какой бы из них ни вызывал неудобства, важно понимать, как решить проблемы и проиндексировать сайт.

Проверка индекса Google важна, но вы также должны контролировать техническое состояние сайта!

Проведите полный аудит, чтобы выявить и устранить все проблемы на уровне сайта и страницы на вашем сайте.

Способы быстро проиндексировать ваши веб-страницы в Google

Существует несколько вариантов того, как сделать так, чтобы Google заметил и проиндексировал ваш веб-сайт. Вот некоторые из наиболее важных.

Создать карту сайта

Этот документ содержит информацию обо всех страницах сайта. Когда владелец сайта добавляет новые страницы, xml карта сайта информирует об этом поисковую систему и дает инструкции, как запланировать сканирование. Кроме того, карта сайта улучшает навигацию по веб-ресурсу.

Отправить URL веб-сайта в поисковую систему Google

Просто войдите в свою учетную запись Google и выберите «Отправить URL» в Инструментах для веб-мастеров. Этот быстрый шаг служит дополнительным сигналом для системы о необходимости сканирования веб-ресурса.

Обновление профилей в социальных сетях

Еще одна бесплатная и простая возможность повысить узнаваемость сайта — связать его с профилями в социальных сетях в любой сети, которую вы считаете актуальной. SEO-специалисты советуют ориентироваться на Facebook, LinkedIn, Twitter, Pinterest и YouTube. Создайте соответствующие аккаунты и подключите их к своему сайту.

Использовать внешний контент

Ссылки с внешних ресурсов также способствуют индексации. Качественный внешний контент, будь то статьи, посты в блогах, пресс-релизы и т. д., дает прекрасную возможность для линкбилдинга.

Однако очень важно убедиться, что вы сотрудничаете с надежными и заслуживающими доверия ресурсами. Если внешние ссылки ведут на материалы, которые могут быть расценены как спам, это негативно скажется на репутации вашего сайта. В результате проверка индекса Google также может посчитать ваш новый веб-ресурс спамом.

Не забывайте также учитывать такие проблемы, когда Noindex-страницы получают органический трафик или те же страницы запрещены robots.txt.

Исправление технических проблем

Одной из типичных причин, препятствующих индексации, являются технические проблемы, которые просто не позволяют системе запустить сканирование. Прежде всего, убедитесь, что все ссылки работают правильно и нет ни одной битой ссылки.

Важность проверки статуса индекса Google

Мы уже описали процесс индексирования Google, как он работает, как способствовать индексированию и какие проблемы могут помешать индексации страницы или домена. Вот краткое напоминание о том, что очень важно проверять статус индекса Google.

• В первую очередь речь идет об органическом трафике. Если сайт не указан в индексе Google, он его не получает. В результате владельцы сайтов или SEO-специалисты должны тратить свой бюджет на привлечение трафика через платные варианты: реклама, партнерство, внешние ссылки и т. д. Кроме того, органический трафик считается лучшим для работы сайта.
• Вторая причина — общее качество веб-ресурсов. Если просканированный сайт не индексируется, это в большинстве случаев означает, что на сайте есть серьезные проблемы. Скорость загрузки может быть слишком низкой, страницы могут быть перегружены текстом, контент может быть неактуальным и спамным и т. д. Проверка выявляет такие проблемы и подталкивает к внесению изменений и улучшений. Кроме того, комплексная проверка позволяет пользователям определить, есть ли проблемы с доменом в целом или только с конкретной страницей или страницами.
• В-третьих, проверка индекса Google повышает эффективность поисковой оптимизации. Такие проверки не всегда касаются собственного веб-ресурса. Если вы хотите сотрудничать с другими сайтами, вводить обратные ссылки или заказывать материалы на внешних ресурсах, проверка может сразу сказать, стоит ли вам работать с конкретным сайтом или нет.
• Наконец, не будем забывать и о ваших конкурентах. Если ваш сайт не проиндексирован, у вас нет шансов конкурировать с теми, чьи сайты добавлены в индекс Google. Чем быстрее вы сделаете проверку, тем раньше вы об этом узнаете.

Часто задаваемые вопросы

Как протестировать индекс Google?

Для того, чтобы проверить индекс Google, вам необходимо использовать специальный онлайн-инструмент — Google index checker. Все, что вам нужно сделать, это вставить нужный URL-адрес, и программа автоматически проведет тест и покажет вам результаты.

Как узнать, проиндексировал ли Google мой сайт?

Чтобы точно знать, проиндексировал ли Google ваш сайт, вам необходимо проверить его с помощью специального онлайн-инструмента — Google index checker. Он проверяет URL-адрес и дает ответ, проиндексирован ли сайт или нет.

Как проверить, проиндексирована ссылка или нет?

В то же время вы можете положиться на специализированный инструмент онлайн-проверки, который проверяет индексацию Google.

Сколько времени требуется Google для индексации?

Это может занять от нескольких дней до нескольких недель. Какой период более вероятен, зависит от ваших мер по содействию процессу индексации.

Какие есть другие способы проверить, проиндексирован ли веб-сайт Google?

Вы можете использовать инструмент проверки URL-адресов Google, который предоставляет информацию о проиндексированной Google версии определенной страницы. Информация включает ошибки AMP, ошибки структурированных данных и проблемы с индексацией. Он также показывает, может ли страница вашего сайта быть проиндексирована. Кроме того, вы можете отслеживать косвенные показатели, проиндексировал ваш сайт Google или нет, например, объем трафика.

Как проверить индексацию страницы в Google

Проверить индексацию с помощью linkbox.pro

Информация обновлена ​​04 февраля 2023 г.

Проверка на индексацию — это проверка на наличие страницы в индексе Google. Это далеко не срез позиций, ведь на самом деле страница может быть в индексе, но вообще не ранжироваться — такое часто бывает на молодых сайтах, например. Однако наличие страницы в индексе говорит как минимум о нескольких вещах:

• ✅ Googlebot просканировал страницу и не обнаружил ошибок индексации*;
• ✅ Googlebot обнаружил, что контент на странице имеет достаточное качество для индексации страницы**.

*Иногда сайты могут долго оставаться в индексе несмотря на то, что не возвращают 200 ответа сервера — если, например, им много лет, полно ссылок, и их никто не удалял через устаревший инструмент удаления контента .

**Контент может быть дерьмовым, но сайт может быть снова проиндексирован по ссылкам.

Проверить индексацию с помощью linkbox.pro

Помимо регулярной проверки индексации вашего сайта, вам необходимо проверять индексацию ваших обратных ссылок, если вы сами создаете обратные ссылки. Как это сделать? Рассмотрим самые надежные методы. А чтобы быстро найти подходящий способ, обратите внимание на знак:

Назначение	Рекомендуемый метод
🔎 Проверка индексации страниц вашего сайта	Проверка индексации через Search Console Screaming Frog Indexing Checker
🔎 Проверка индексации страниц чужого сайта на том же домене	Проверка индексации через оператора
🔎 Проверка индексации страниц на разных доменах, например, ваших обратных ссылок	Массовая проверка с помощью Google Таблиц Сторонние онлайн-сервисы Быстрая проверка с помощью Linkbox. pro

Проверка индексации через Search Console

Вы можете проверить свой сайт таким образом — инструмент проверки URL показывает, был ли бот на сайте и проиндексирована ли страница. Стоит отметить, что новые страницы попадают в индекс с некоторым опозданием: в инструменте Search Console она может быть уже отмечена как страница в индексе, но на самом деле это еще не так. Эта задержка может составлять до нескольких дней. И снова следует отметить, что наличие страницы в индексе и наличие позиций по целевым ключам — разные вещи.

Чтобы проверить страницы вашего сайта в индексе , выполните следующие действия:

1. Войдите в Search Console, где ваш сайт проверен.
2. в верхнее поле «Проверка всех ссылок на ресурсе…» вставляем адрес нужной страницы + Enter..
3. изучить результат.

Недостаток этого метода в том, что таким способом можно проверить только свои собственные страницы. Кроме всего прочего, проверка происходит постранично, а значит может занять много времени, если нужно просканировать все страницы в индексе. Однако в случае с последней проблемой в самой Search Console есть решение — все страницы в индексе отображаются в разделе «Покрытие», хоть и с небольшим опозданием по сравнению с реальной ситуацией. Но среди преимуществ метода — возможность увидеть, откуда Googlebot попал на сайт. В целом средство полезное.

Проверка индексации в ScreamingFrog через подключенную консоль поиска

Если у вас достаточно большой сайт, несколько сотен/тысяч страниц, и вы хотите быстро узнать, какие страницы в индексе, а какие нет, то ScreamingFrog позволит вам массово проверять страницы в индексе. Причем для больших сайтов подойдет только программа с лицензией, так как без лицензии есть ограничение в 500 URL, включая картинки, файлы стилей и т.д. Для этого нужно интегрировать Search Console с проверенным нужным site в ScreamingFrog через меню «Конфигурация» — «Доступ к API», вручную установив флажок «Включить проверку URL». После запуска парсинга отчет о наличии в индексе Google будет на вкладке Search Console в колонке Summary.

Этот метод имеет существенный недостаток. Он заключается в том, что Google Console API позволяет проверить всего 2000 страниц за 24 часа. Ограничения не позволяют проверять более одной страницы на аккаунт.

Проверка индексации через оператора

Удобный и простой способ увидеть индексацию всех страниц любого домена — своего и чужого. Недостаток этого способа в том, что он не сработает (точнее сработает, но займет много времени), если вам нужно проверить много урлов на разных доменах. Итак, что делать:

1. Открытие страницы поиска.
2. Введите комбинацию site:+hostname , например site:aboutseo.blog и нажмите Enter.
3. Изучаем результат.

Массовая проверка Google Таблиц

Google Таблицы, похоже, интегрированы с кешем Google, поэтому данные синхронизируются и показывают, была ли когда-либо проиндексирована страница. Недостаток этого метода в том, что если страница была в индексе, но потом выпала, это можно выявить только с помощью оператора. Хорошая новость в том, что в большинстве случаев страницы попадают в индекс раз и навсегда, поэтому погрешность будет небольшой. Хочу отметить, что об этом методе мало кто знает, так что если вы дочитали до этого места, вам крупно повезло.

1. Создайте/откройте таблицу, в которой каждый требуемый URL с протоколом+www/без www вводится в отдельной ячейке.
2. Наведите указатель мыши на ячейку и подождите пару секунд.
3. Если url есть в индексе, подтягиваются его метаданные (плитка, описание, фавикон), если нет, то данные не подтягиваются.

Видеоинструкция по проверке через Google Spreadsheets

На видео можно увидеть процесс проверки индексации с помощью таблиц.

Сторонние службы: список и обзор существующих служб

Некоторые бесплатные сервисы обещают показывать индексацию страниц. Скорее всего, они в основном используют метод проверки через оператора или кэш, просто это все оформлено в новом интерфейсе. Перечислим некоторые из них:

• ✅ https://xseo.in/indexed — проверяет по одному URL за раз, долго. Это также позволит вам проверить весь сайт, если вам нужно проверить индексацию на 1 домене.
• ✅ https://smallseotools.com/google-index-checker/ — проверяет по 5 страниц.
• ✅ https://serphunt.ru/indexing/ — до 100 страниц проверки.
• ✅ https://searchenginereports.net/google-index-checker — также проверяет 5 URL-адресов за раз.

Я не включил сюда платные варианты индексации, потому что в этой статье основное внимание уделяется бесплатным методам проверки индексации страниц в Google . Однако, если вам нужно проверить большие объемы, и вы не хотите возиться с бесплатными способами, которые могут занять немного больше времени, вы можете воспользоваться сервисом linkbox.pro.

Быстрые ответы

Как проверить индексацию страницы?

Проверить можно в Search Console, через оператора, с помощью Google Sheets или сторонних сервисов.

Как проверить закрыт ли сайт от индексации?

Необходимо проверить наличие тега noindex в шапке страницы. Если это так, страница закрывается от индексации. Также можно проверить со сторонними сервисами.

Какую службу лучше всего использовать для проверки индексации?

На мой взгляд, лучший сервис для проверки индексации — linkbox.pro.

Связанные статьи

Что такое индексация страниц

Как индексировать страницы

Поддержи Украину!🇺🇦

Мы сейчас боремся за нашу независимость. Поддержите нас финансово. Даже пожертвование в 1 доллар важно.

Как проверить, проиндексированы ли веб-страницы в Google

Вы можете проверить, индексируются ли URL-адреса вашего веб-сайта в Google, воспользовавшись API проверки URL-адресов Search Console, который вы можете подключить к Sitebulb через интеграцию Google Search Console.

Это может позволить вам увидеть высокоуровневые данные о том, индексируется ли URL-адрес или нет, а также «причины», по которым URL-адреса не индексируются, что позволяет вам исследовать дальше.

Для ясности: возвращаемые данные — это данные, которые Google Search Console хранит для заданного URL-адреса. API будет возвращать информацию об индексации, которая в настоящее время доступна в инструменте проверки URL-адресов. Что делает Sitebulb, так это позволяет вам собирать эти данные в большом количестве.

Подключение Sitebulb к API проверки URL

Чтобы подключить Sitebulb к API проверки URL-адресов, добавьте Google Search Console в настройки аудита при настройке проекта и установите флажок в разделе Конфигурация параметров на Получить данные URL-адреса из API проверки консоли поиска .

На этом этапе важно убедиться, что вы выбрали правильное свойство. Sitebulb поможет вам сделать это, предварительно выбрав свойство путем сопоставления с начальным URL-адресом, но у вас может быть несколько свойств для одной и той же учетной записи (например, свойства домена и свойства на уровне URL).

Ограничение дневной квоты

Основное предостережение этой функции заключается в том, что Google ограничивает количество запросов до 2000 URL-адресов в день для каждого свойства веб-сайта Search Console (т. е. вызовов, запрашивающих один и тот же сайт).

Это означает, что если у вас есть веб-сайт с более чем 2000 URL-адресов, Sitebulb не сможет одновременно собирать информацию об индексировании всех URL-адресов. В этом случае Sitebulb будет запрашивать 2000 лучших URL-адресов HTML, упорядоченных по рейтингу URL-адресов.

Таким образом, по умолчанию Sitebulb всегда выбирает наиболее важные страницы для проверки индексации на основе популярности внутренних ссылок.

Важное замечание, которое не стоит игнорировать

Эта квота распространяется на каждый веб-сайт, а не на инструмент. Если вы собираете данные API с помощью нескольких разных инструментов, все они берутся из одного и того же пула квот. Если вы израсходовали лимит в 2000 деней с помощью других инструментов, вы не сможете собирать больше данных с помощью Sitebulb в тот же день.

Точно так же существует ограничение на количество запросов в API, равное 600 URL-адресам в минуту. Sitebulb настроен на безопасное выполнение запросов в пределах этого ограничения, но если вы одновременно нажмете на API двумя разными инструментами, вы можете случайно превысить это значение для любых сообщений об ошибках.

Дополнительную информацию о превышении ограничений API см. в разделе «Если данные URL не возвращаются».

Просмотр данных проверки URL-адресов в Sitebulb

Чтобы получить доступ к данным, собранным Sitebulb, перейдите к отчету Проверка URL-адресов с помощью навигации слева.

В обзоре показаны многочисленные диаграммы и таблицы, и если вы щелкнете вкладку URL-адреса , вы увидите все данные в формате таблицы:

Как и во всех списках URL-адресов в Sitebulb, данные могут быть дополнены и точны. -настраивается путем добавления дополнительных столбцов, сортировки или применения расширенных фильтров.

Изучение данных проверки URL

Данные, возвращаемые API, могут быть весьма обширными и детализированными, поэтому для  действительного понимания того, что вы ищете, требуется некоторое знакомство с отчетом о покрытии индекса и инструментом проверки URL в Google Search Console.

Тем не менее, Sitebulb предоставляет вам простой и интуитивно понятный доступ к важным элементам данных, таким как «URL-адреса не индексируются в Google», с простым рабочим процессом для более глубокого изучения данных.

На любой из диаграмм щелкните область сегмента, чтобы просмотреть отфильтрованный URL-адрес Список данных:

Это приведет вас к следующим URL-данным:

Кроме того, на любой диаграмме вы можете щелкнуть переключатель «Просмотр таблицы данных», который отображает данные диаграммы в формате таблицы:

Затем данные диаграммы будут отображаться в таблице, и нажатие на любое из этих значений также приведет вас к соответствующему списку URL-адресов:

В самих списках URL-адресов вы можете анализировать проблемы в пакетном режиме, прокручивая вправо, чтобы просмотреть наиболее значимые столбцы:

В качестве альтернативы, чтобы погрузиться в конкретный URL-адрес и посмотреть, что говорит инструмент проверки в Google Search Console, просто нажмите оранжевую кнопку Открыть проверку URL-адреса :

Это откроет консоль поиска Google в в вашем браузере с уже открытым инструментом проверки URL и предварительно загруженным выбранным URL:

Что показывают различные диаграммы

В отчете о проверке URL есть несколько круговых диаграмм и столбчатых диаграмм, поэтому мы пройдемся по ним что показывает каждый:

Покрытие

На этой диаграмме каждый URL-адрес разбит на разные сегменты в зависимости от того, сможет ли Google найти и проиндексировать страницу. Каждый вариант включает краткую описательную причину статуса URL-адреса, объясняющую, почему URL-адрес находится или не находится в Google.

Сводка

Эта круговая диаграмма дает сводную оценку того, могут ли URL отображаться в результатах поиска Google.

Важно отметить, что «URL находится в Google» не обязательно означает, что страница появляется в результатах поиска, а просто означает, что она проиндексирована.

Индексирование разрешено

На этой диаграмме показано, разрешают ли URL-адреса явно запрещать индексирование (например, тег noindex). Если индексация запрещена, в легенде указывается причина — эти страницы не будут отображаться в результатах поиска Google.

Обратите внимание: если страница заблокирована файлом robots.txt, для параметра «Индексирование разрешено» всегда будет установлено значение «Да», поскольку Google не может видеть и соблюдать директивы noindex.

URL-адреса карты сайта

На этой диаграмме URL-адреса, отправленные в Inspection API, разделены на основе их статуса карты сайта. Либо они не были найдены на картах сайта в Google Search Console (в этом случае они отображаются как «Не отправлено»), они были отправлены и проиндексированы, либо отправлены, но не проиндексированы.

Просканировано как

На этой диаграмме показано распределение между URL-адресами, просканированными с помощью Google Mobile Crawler и их Desktop Crawler.

Результаты на этой диаграмме относятся только к проиндексированным URL-адресам.

Разрешено сканирование

На этой диаграмме показано, разрешено ли Google сканирование URL-адресов в соответствии с правилами robots.txt сайта. Обратите внимание, что это значение отличается от разрешения индексирования, которое задается значением «Индексирование разрешено».

Результаты на этой диаграмме относятся только к проиндексированным URL-адресам.

Пользователь против Google Canonical

На этой диаграмме показано, согласен ли Google с объявленным пользователем каноническим URL-адресом. Если они согласны, это будет отображаться как «Совпадение», а если они не согласны, это будет отображаться как «Несоответствие». Если канонических нет и Google выбрал один, это будет отображаться как «Выбрано Google».

Дней с момента последнего сканирования

На этой диаграмме показано распределение URL-адресов на основе даты их последнего сканирования Google. Дни, обозначенные как «0», означают, что URL-адрес был просканирован в течение последнего дня. Диапазоны дат позволяют копать глубже и исследовать URL-адреса, которые недавно сканировались или вообще не сканировались.

Расширенные результаты

На этой диаграмме показано, подходят ли URL-адреса для расширенных результатов и вызывают ли URL-адреса ошибки или предупреждения.

Результаты на этой диаграмме относятся только к URL-адресам, которые содержат структурированные данные, которые могут привести к расширенным результатам.

Подходит для мобильных устройств

На этой диаграмме показано, считает ли Google URL-адреса удобными для мобильных устройств и вызывают ли URL-адреса ошибки или предупреждения.

Результаты на этой диаграмме относятся только к проиндексированным URL-адресам.

Когда данные URL не возвращаются

Иногда вы обнаружите, что данные URL не возвращаются, и это может быть по ряду причин:

#1 Превышена квота: вы исчерпали дневную квоту URL

Если вы превысите дневную квоту (см. выше), вам нужно будет подождать 24 часа, прежде чем пытаться снова. Также имейте в виду, что ограничение в 2000 URL-адресов относится к ресурсу в день, что может означать, что вы превысили ограничение из-за инструментов, отличных от Sitebulb.

Как только Sitebulb превысит дневную квоту, он перестанет отправлять запросы API.

#2 Превышена квота: вы превысили ограничение скорости

Существует ограничение на количество запросов в API, равное 600 URL-адресам в минуту. Sitebulb настроен на безопасный запрос в рамках этого ограничения, но если вы одновременно нажмете на API двумя разными инструментами, вы можете случайно превысить его для любых сообщений об ошибках.

#3 Запрещено: запрошенный URL-адрес недействителен для этого ресурса

Это означает, что Sitebulb запросил данные индексации для URL-адреса, который «не является частью выбранного ресурса».

Например, https://example.com для свойства префикса URL https://www.example.com . Если вы хотите проверить URL-адреса из нескольких субдоменов, выберите свойство на уровне домена.

#4 Сбой: вышла ошибка API

Это означает, что сам API Google вышел из строя. Если это произойдет, вернитесь и повторите попытку позже.

Как проверить, какие URL-адреса были проиндексированы, не нарушая правил Google: продолжение

Как мы можем определить, какие страницы нашего сайта не проиндексированы, не нарушая рекомендаций Google? Обозреватель Пол Шапиро делится своими методами.

Пол Шапиро 27 января 2017 г., 12:20 | Время чтения: 6 минут

Еще в октябре 2016 года я писал о том, как вы можете использовать скрипт Python, чтобы определить, была ли страница проиндексирована Google в поисковой выдаче. Как оказалось, аналитик Google по тенденциям для веб-мастеров Гэри Иллиес был не слишком доволен техникой, которую использовал скрипт, поэтому я не могу одобрить этот метод:

.

Я просто оставлю это здесь: https://t.co/NO4s6JbSfJ https://t.co/qRhIGXcG7g

— Гэри 鯨理／경리 Illyes (@methode) 5 октября 2016 г.

Вскоре после этого Шон Мальсид и его команда из Greenlane SEO создали аналогичный инструмент на основе Google Таблиц (среди других замечательных инструментов, таких как InfiniteSuggest), а сотрудник Google Джон Мюллер выразил оговорки:

@greenlaneseo Это черный инструмент или он соответствует рекомендациям для веб-мастеров и файлу robots.txt? (просто любопытно)

— Джон ☆.o(≧▽≦)o.☆ (@JohnMu) 14 декабря 2016 г.

Как узнать, какие страницы не были проиндексированы Google, и сделать это так, чтобы не нарушить правила? Google не указывает, была ли страница проиндексирована в Google Search Console, не позволяет нам очищать результаты поиска, чтобы получить ответ, и не заинтересован в косвенном получении ответа из недокументированного API. (Это было умное решение и обходной путь от Шона Малсида.) Давайте рассмотрим некоторые решения.

Аналитическое решение

Марк Эдмондсон предоставил решение сценария R, которое работает следующим образом:

• Он выполняет аутентификацию с помощью ваших учетных записей Google Analytics.
• Проверяет, есть ли страницы, найденные в XML-карте сайта вашего сайта, но не найденные в Google Analytics для обычных результатов Google за последние 30 (или более) дней.

Методология предполагает, что если URL-адрес не найден в аналитике для результатов обычного поиска Google, то он, вероятно, не был проиндексирован Google.

Интерлюдия: как это сделать без R

Хотя мне лично нравятся скриптовые решения, я знаю, что многим это не нравится. Вам не нужно вычислять R, чтобы сделать этот анализ. Вы можете легко перейти в Google Analytics и выполнить аналогичный анализ или, что еще проще, перейти в Google Analytics Query Explorer и запустить его с этими настройками. Загрузите таблицу в виде файла TSV:

. Затем вы сможете локально загрузить XML-карту сайта и открыть ее в Excel. Затем перетащите его в окно Excel, и вы получите диалоговое окно «Импорт XML». Если вас попросят «Открыть файл без применения таблицы стилей», выберите 9.0052 OK :

Затем выберите открытие файла «Как таблицу XML»:

Вы можете удалить лишние столбцы, оставив только столбец «ns1:loc» (или «loc»):

Затем вам просто нужно выполнить ВПР или другую форму сопоставления Excel и найти URL-адреса в карте сайта, которых нет в данных аналитики.

Я подумал, что это простое, но умное решение, и, хотя это хорошая отправная точка, я боялся, что оно не будет точно показывать, какие страницы были проиндексированы Google. Нередко страницы получают мало или вообще не получают трафика, даже если они проиндексированы. Это может указывать на то, что страница не проиндексирована, но также может просто указывать на то, что на странице есть проблема с тегами, она стала неактуальной, нуждается в некоторой оптимизации для улучшения видимости или просто отсутствует в XML-карте сайта. . (В качестве альтернативы вы можете использовать сканирование, а не карту сайта XML, чтобы сделать эти сравнения.)

Решение для файла журнала

Файлы журнала сервера являются отличным источником данных о вашем веб-сайте, который часто недоступен другими способами. Одна из многих частей информации, которую можно получить из этих файлов журналов, — это доступ определенного бота к вашему веб-сайту. В нашем случае нас интересует бот Googlebot.

Анализ файлов журнала нашего сервера позволяет нам установить, посещал ли робот Google когда-либо определенную страницу на нашем веб-сайте. Если робот Googlebot никогда не посещал определенную страницу, она не может быть проиндексирована Google. Я лично склонен использовать для этой цели KNIME со встроенным узлом Web Log Reader, но не стесняйтесь использовать свое любимое решение.

Пример использования KNIME для обработки лог-файлов сервера

Обязательно проверьте Googlebot, а не просто полагайтесь на сообщенный пользовательский агент. Многие боты будут подделывать пользовательский агент Googlebot, что может сделать ваши выводы недействительными. Чтобы избежать этого, я использую простой фрагмент кода Python в KNIME:

'] = "ошибка"


Чтобы получить достойное руководство по анализу файла журнала, ознакомьтесь с этим руководством от Builtvisible.

Если все это слишком, я рекомендую проверить The Screaming Frog SEO Log File Analyzer — или, для корпоративного решения, Botify.

Анализатор файлов журналов Screaming Frog предоставляет более простое решение для анализа файлов журналов.

Как и решение Google Analytics, анализ файла журнала не является надежным. Робот Googlebot может посетить страницу, но фактически не включить ее в свой индекс (), но это поможет нам сузить наш список, возможно, не проиндексированных веб-страница.

Объединение ваших данных

Чтобы сузить наш список страниц, которые не могут быть проиндексированы Google, я рекомендую объединить данные, полученные с помощью метода Google Analytics, с методами анализа файла журнала, описанными выше.

Получив список, мы можем провести выборочную проверку, вручную выполнив поиск в Google «info:», что не расстроит Google. Намного проще проверять вручную, потому что мы смогли значительно сузить наш список.

Вывод

Поскольку Google не предоставляет инструмент или данные о том, была ли веб-страница проиндексирована или нет, и нам не разрешено использовать автоматизированное решение, подобное тому, о котором я писал ранее, мы должны полагаться на сужение нашего списка URL-адреса, которые могут быть не проиндексированы.

Мы можем сделать это, изучив данные Google Analytics для страниц, которые находятся на нашем веб-сайте, но не получают органического трафика Google, а также просмотрев файлы журналов сервера. Оттуда мы можем вручную выборочно проверить наш сокращенный список URL-адресов.

Это не идеальное решение, но оно выполняет свою работу. Я надеюсь, что в будущем Google предоставит лучшие средства для оценки того, какие страницы были проиндексированы, а какие нет.

---

Мнения, высказанные в этой статье, принадлежат приглашенному автору и не обязательно принадлежат Search Engine Land. Штатные авторы перечислены здесь.

---

Добавьте Search Engine Land в свою ленту новостей Google.     

---

Истории по теме

Новое в поисковой системе Land

Об авторе

Как проверить, какие URL-адреса были проиндексированы Google с помощью Python

Google Search Console может помочь вам определить, какие страницы вашего сайта проиндексированы, но как насчет определения тех, которые не проиндексированы? У обозревателя Пола Шапиро есть скрипт Python, который делает именно это.

Пол Шапиро 5 октября 2016 г., 13:26 | Время считывания: 4 минуты

Органический поиск состоит из трех основных компонентов: сканирование , индексация и ранжирование . Когда поисковая система, такая как Google, заходит на ваш сайт, она сканирует все найденные ссылки. Информация о том, что он находит, затем вводится в индекс поисковой системы, где используются различные факторы для определения того, какие страницы и в каком порядке следует извлекать для конкретного поискового запроса.

Как SEO-специалисты, мы склонны сосредотачивать свои усилия на компоненте ранжирования, но если поисковая система не может сканировать и индексировать страницы вашего сайта, вы не получите никакого трафика от Google. Очевидно, что обеспечение того, чтобы ваш сайт правильно сканировался и индексировался поисковыми системами, является важной частью SEO.

Но как узнать, правильно ли проиндексирован ваш сайт?

Если у вас есть доступ к Google Search Console, она сообщает вам, сколько страниц содержится в вашей XML-карте сайта и сколько из них проиндексировано. К сожалению, это не говорит вам, какие страницы не проиндексированы .

Это может оставить вас с большим количеством догадок или ручной проверки. Это как искать иголку в стоге сена. Не хорошо! Давайте решим эту проблему с помощью небольшой технической изобретательности и еще одного моего бесплатного SEO-инструмента.

Определение того, был ли отдельный URL-адрес проиндексирован Google

Чтобы определить, был ли отдельный URL-адрес проиндексирован Google, мы можем использовать оператор поиска «info:», например:

info:https://searchengineland .com/google-downplays-google-algorithm-ranking-update-week-normal-fluctuations-258923

Если URL-адрес проиндексирован, для этого URL будет показан результат:

Однако, если URL-адрес не проиндексирован, Google вернет ошибку о том, что для этого URL нет доступной информации:

Использование Python для массовой проверки состояния индекса URL-адресов

Теперь, когда мы знаем, как проверить, проиндексирован ли отдельный URL-адрес, вам может быть интересно, как вы можете сделать это массово. Вы можете попросить 1000 маленьких рабочих проверить каждую из них — или, если хотите, вы можете использовать мое решение Python:

Чтобы использовать приведенный выше сценарий Python, убедитесь, что у вас установлен Python 3. Вам также нужно будет установить библиотеку BeautifulSoup. Для этого откройте терминал или командную строку и выполните:

pip install beautifulsoup4

Затем вы можете загрузить скрипт на свой компьютер. В той же папке, что и скрипт, создайте текстовый файл со списком URL-адресов, перечислив каждый URL-адрес в отдельной строке.

Теперь, когда ваш скрипт готов, нам нужно настроить Tor для работы в качестве нашего бесплатного прокси. В Windows загрузите Tor Expert Bundle. Извлеките папку zip в локальный каталог и запустите tor.exe . Не стесняйтесь сворачивать окно.

Далее нам нужно установить Polipo для запуска Tor и HTTP-прокси. Загрузите последний бинарный файл Windows (он будет называться «polipo-1.x.x.x-win32.zip») и разархивируйте его в папку.

В папке Polipo создайте текстовый файл (например, config.txt) со следующим содержимым:

socksParentProxy = "localhost:9050"
socksProxyType = socks5
diskCacheRoot = ""
disableLocalInterface=true

2 командную строку и перейдите в каталог Polipo.

Выполните следующую команду:

polipo.exe -c config.txt

Теперь мы готовы запустить наш реальный скрипт Python: Сценарий предложит вам указать количество секунд ожидания между проверкой каждого URL-адреса.

Вам также будет предложено ввести имя файла (без расширения файла) для вывода результатов в CSV.

Наконец, он запросит имя текстового файла, содержащего список URL-адресов для проверки.

Введите эту информацию и запустите сценарий.

Конечным результатом будет файл CSV, который можно легко открыть в Excel, указав ИСТИНА, если страница проиндексирована, или ЛОЖЬ, если нет.

Если скрипт не работает, возможно, Google заблокировал Tor. В этом случае вы можете использовать свой собственный прокси-сервис, изменив следующие строки скрипта:

прокси = {
'https' : 'https://localhost:8123',
'https' : 'https: //локальный:8123'
}

Заключение

Знание того, какие страницы индексируются Google, имеет решающее значение для успеха SEO. Вы не сможете получить трафик от Google, если ваших веб-страниц нет в базе данных Google!

К сожалению, Google не позволяет легко определить, какие URL-адреса на веб-сайте проиндексированы. Но с небольшим усилием локтя и приведенным выше скриптом Python мы можем решить эту проблему.

---

Мнения, высказанные в этой статье, принадлежат приглашенному автору и не обязательно принадлежат Search Engine Land. Штатные авторы перечислены здесь.

---

Добавьте Search Engine Land в свою ленту новостей Google.     

---

Истории по теме

Новое в поисковой системе

Об авторе

Думаете, все ваши страницы проиндексированы Google? Подумай еще раз

Опубликовано: 12 марта 2015 г. Патрик Хэтэуэй in Experiments, SEO

SEO-специалисты нередко расходятся во мнениях относительно ключевых показателей эффективности, которые вы должны отслеживать для измерения своих усилий по SEO.

Одна метрика, с которой трудно поспорить, это индексация. Если страница не проиндексирована, у нее нет шансов привлечь трафик из поиска.

Недавно мы обнаружили, что классический метод проверки индексации (с помощью команды info:) дает ложные срабатывания, что, в свою очередь, может привести к неточным выводам об индексации и работоспособности сайта.

Что мы подразумеваем под индексацией?

Когда Google сканирует Интернет, они создают репозиторий найденных веб-страниц и из этого репозитория создают свой «индекс».

Для каждой просканированной веб-страницы Google анализирует документ, разбивая его на набор вхождений слов (вместе с дополнительной информацией).

В то же время они анализируют все ссылки и сохраняют информацию о них, такую ​​как анкорный текст и место, куда ведет ссылка.

Google берет проанализированные данные и создает инвертированный индекс, сопоставляя документ веб-страницы с каждым словом на странице; это то, что позволяет им так быстро искать в своем индексе.

Если это звучит знакомо, значит так оно и есть.

Данные о ссылках также индексируются, что позволяет им вычислять PageRank и другие показатели качества. Когда Google обрабатывает запрос пользователя, он просматривает свой индекс, чтобы найти документы, содержащие искомые слова, а затем упорядочивает результаты с точки зрения релевантности запросу.

Короче говоря, если веб-страница была проиндексирована, она «доступна для поиска» (то есть является жизнеспособным результатом поиска по релевантному запросу).

Проверка индекса

Google уже много лет говорит нам, что для проверки статуса индекса любого URL-адреса используется оператор info:.

Мэтт Каттс всегда говорил нам делать это таким образом (вот пример почти 10-летней давности), и Джон Мюллер сказал то же самое всего несколько недель назад:

Проверка индекса URL Profiler использует эту информацию: команда, как и Scrapebox, поэтому оба позволяют вам массово проверять состояние индекса.

Таким образом, если веб-страница открывается с помощью команды info:, она индексируется и, следовательно, может быть найдена.

По крайней мере, мы так думали…

Тестирование теории

При создании нашего последнего выпуска URL Profiler мы тестировали функцию проверки индекса Google, чтобы убедиться, что она все еще работает должным образом. Мы обнаружили некоторые ложные результаты, поэтому решили копнуть немного глубже. Далее следует краткий анализ уровней индексации этого сайта urlprofiler.com.

Проверка уровней индексации

Мы хотели узнать, сколько именно наших URL-адресов находится в индексе Google.

Сначала остановимся, посмотрим на поиск по сайту в Google (команда -inurl:support просто удаляет наш субдомен поддержки, который нам не интересен):

Звучит примерно так. Мы также можем сравнить статус индекса Google Webmaster Tools:

. Учитывая, что команда site: search не очень надежна, это хороший признак того, что эти цифры примерно совпадают.

Однако мы получаем другую картину, когда смотрим на данные карты сайта в Google Webmaster Tools:

Это кажется странным, тем более что число 63 точно совпадает с тем, что мы видели в поиске по сайту. Это ставит два важных вопроса:

1. Есть ли в индексе Google URL-адреса, которых нет в карте сайта?
2. Данные карты сайта в GWT совершенно неточны?

Пытаясь ответить на эти вопросы, мы мало что можем узнать, глядя на общие уровни индексации, вместо этого нам нужно смотреть на отдельные URL-адреса.

Массовая проверка индексации

Конечно, мы могли бы проверять каждый отдельный URL вручную, один за другим. Но кто хочет это сделать?

Как я упоминал выше, мы можем массово проверять статус индекса с помощью профилировщика URL (который для этого использует оператор info: )

Итак, в Google» в разделе «Данные уровня URL».

Программное обеспечение предупредит вас об использовании прокси-серверов по очень веской причине — вы либо заблокируете свой IP-адрес Google, либо получите очень странные и совершенно ненадежные результаты.

Необработанные данные выглядят следующим образом:

Каждый URL в моем списке получил ответ «Да». Это означает, что каждый отдельный URL-адрес из нашей карты сайта проиндексирован , а данные карты сайта в GWT просто неверны.

Мы еще вернемся к проблеме с картой сайта и вместо этого попробуем разобраться с нашим первым вопросом…

1. Есть ли в индексе Google URL-адреса, которых нет в карте сайта?

Давайте просканируем Google и узнаем

Если вы еще не видели, у нас есть небольшая область бесплатных инструментов, которая включает инструмент для очистки результатов Google, который называется Simple SERP Scraper.

Мы можем загрузить наш исходный поисковый запрос по сайту и отправить его для очистки поисковой выдачи:

Опять же, вам понадобятся прокси, если вы собираете множество результатов, но мы можем обойтись без прокси и ‘ Функция случайной задержки, так как нам не нужно слишком много результатов.

Результаты выглядят так, и наши перемещаются с позиции 1 на 63, как и ожидалось:

Чтобы сравнить эти результаты с нашей картой сайта, нам просто нужно скопировать результаты очистки и вставить их на другой лист вместе с результатами нашего профилировщика URL, а затем просто использовать вложенную функцию ВПР:

=ЕСЛИОШИБКА(ВПР(A2, ‘Результаты профилирования URL’!A:A,1,FALSE), «Нет в карте сайта»)

Кстати, если вам нужна помощь с функцией ВПР, ознакомьтесь с этим прекрасным руководством.

Это показывает нам, что 59 совпадают идеально, но есть 4 мошеннических «лишних» страницы. URL-адреса слишком длинные для отображения, поэтому для ясности я добавил столбец примечаний:

Ничего особенного здесь нет, просто кое-что по хозяйству, с которым нам нужно разобраться. Однако это помогает нам ответить на наш первый вопрос:

1. Есть ли в индексе Google URL-адреса, которых нет в карте сайта?

Не совсем, нет. Всего их 4, половина из которых, вероятно, в какой-то момент выпадет. Конечно, ничем нельзя объяснить 50%-ную неравномерность карты сайта.

Сравнение с картой сайта

Выше мы сравнили результаты поиска с данными карты сайта. Чтобы проверить точность данных карты сайта, нам нужно будет сделать обратную ВПР:

=ЕСЛИОШИБКА(ВПР(B2,’Результаты очистки’!A:A,1,ЛОЖЬ)»,Нет в результатах поиска»)

Сравнивает данные карты сайта с результатами поиска.

Как я и ожидал, большинство результатов совпали с картой сайта. Тем не менее, было 2, которые не соответствовали:

Но было 61, которые совпали, а это означает, что заявление Google о том, что только 33 были проиндексированы из 63, которые мы отправили, является полной чушью.

    2.   Являются ли данные карты сайта в GWT полностью неточными?

Да. По крайней мере, для этого конкретного теста.

Разница между индексируемым и доступным для поиска

Посмотрите на последнюю таблицу выше. У нас была массовая проверка индексации на каждой странице (используя URL Profiler), и все они, по-видимому, были проиндексированы.

Однако первые 2 не появились в результатах поиска по сайту: оператор.

Нам лучше изучить 2 рассматриваемых URL-адреса, как показано ниже (вы увидите дерьмо, которое может быть проиндексировано, если вы не будете осторожны):

Страница 1: https://urlprofiler.com/update/

Это страница, необходимая для наших ссылок на обновления, но не для просмотра пользователями. На нем вообще ничего нет.

На самом деле он даже заблокирован в нашем файле robots.txt. Тогда почему это в нашей карте сайта…

Страница 2: https://urlprofiler.com/documentation/getting-started/installing/

Я даже не знаю, почему эти страницы существуют. На нем ничего нет. Совсем.

Эти страницы просто… дерьмо.

Они проиндексированы или нет?

Я могу полностью понять, почему Google не хочет, чтобы эти страницы были в их индексе. Ни на одном из них практически нет контента — не говоря уже об уникальном контенте.

Но когда мы проверили URL Profiler, мы обнаружили, что они были проиндексированы. Как упоминалось ранее, проверки, которые выполняет URL Profiler, основаны на операторе info:, который мы также можем использовать для подтверждения вручную:

Но мы также можем попробовать другие методы, чтобы проверить, проиндексирован ли URL-адрес. Рассматривая сначала страницу обновления, мы можем протестировать site: operator;

Это показывает, что, хотя страница не была указана в общем списке site: search, Google отобразит ее при прямом запросе, подобном этому. Еще нам предлагают «повторить поиск с включением пропущенных результатов», что дает следующее:

Это еще 2 результата, ни одного из которых не было ни в общем сайте: поиске, ни в карте сайта, но явно по-прежнему проиндексированы и доступны при прямом запросе.

Таким образом, мы также можем попробовать тот же поиск по другому нашему мошенническому URL-адресу, первому из документации:

Это показывает похожие URL-адреса — с тем же путем — , но не фактический URL-адрес, который мы искали . Даже при прямом запросе Google не будет отображать URL-адрес.

Если, конечно, вы не сделаете инфо: запрос.

Эти страницы явно в какой-то степени проиндексированы , но если вы действительно не заставите Google показать их вам, они этого не сделают.

Недоступно для поиска

Хотя эти веб-страницы проиндексированы, их невозможно найти — по крайней мере, для любого обычного поисковика. И это то, что мы на самом деле имеем в виду, когда проверяем статус индекса: « могут ли поисковики найти мои вещи?» ‘

Сама по себе команда info: не является достаточной проверкой.

Если веб-страница возвращается по команде info:, это не обязательно означает, что ее можно найти.

Пример за пределами нашего крошечного веб-сайта

Возможно, этот пост следовало бы начать с предостережения, что мы сделали это только на нашем сайте, который очень мал. НО только с помощью такого маленького сайта мы смогли получить исчерпывающие ответы на некоторые из заданных нами вопросов.

Если у вас есть сайт с несколькими тысячами страниц или более, вы никак не сможете выполнить парсинг Google, чтобы проверить, что было проиндексировано. Приведенный выше тест показывает доказательство концепции и демонстрирует, что наша первоначальная теория (на которую мы годами полагались как на точную) изначально ошибочна.

Вот пример с более крупного сайта — dundee.com. В прошлом году мы с бандой Hit Reach публично провели аудит этого сайта, указав на множество проблем с Panda (сюрприз-сюрприз, они не были исправлены).

Вот одна из страниц, с которой мы обнаружили проблему:

 

Угадайте почему?

Google «проиндексировал» его с помощью команды info: command:

Однако мы хотим знать, можно ли его «найти» — можно ли его найти при поиске по URL-адресу или поиске по сайту по конкретному URL-адресу?

Нет.

Информация: командование фактически продало нам отвлекающий маневр. Эта проверка заставила бы нас думать, что URL-адрес «правильно проиндексирован» (то есть доступен для поиска).

Просто быть в индексе ни хрена не значит, если никто не может тебя найти.

Это просто старый дополнительный указатель?

Нет, ничего подобного. Дополнительный индекс был просто вторым уровнем индекса, который сканировался и запрашивался с более низким приоритетом по сравнению с основным индексом.

Компания Google публично заявила, что поддерживает несколько уровней индекса, которые работают таким образом. То, что мы видим здесь, совершенно другое — это индексный уровень, полный абсолютного дерьма.

На данный момент он может включать:

1. Пропущенные страницы результатов
2. Страницы заблокированы robots.txt
3. Тонкие страницы
4. Потерянные страницы
5. Неуникальные страницы

Возможно, Google просто очищает индекс, чтобы владельцам сайтов не приходилось этого делать. Судя по этому ответу Джона Мюллера в Google Webmaster Hangout в прошлом году (смотрите примерно до 38:30), это действительно так:

Примечание: Чтобы уточнить, владелец сайта, о котором идет речь, сказал, что 90% его сайта теперь отображаются в разделе «пропущенные результаты» (которые он назвал дополнительным индексом).

Джон ясно заявляет, что Google решил отфильтровать этот материал по той или иной причине.

По сути это означает, что хотя Google и знает об этих страницах, они никогда не предоставят вам поисковый трафик.

Не знаю, как вы, но я совершенно точно не хотел бы, чтобы значительное количество моих страниц попало в этот репозиторий дерьма.

Какое место занимает кэширование?

Еще одна точка данных, которую мы можем получить от Google, — это дата последнего кеша, которая в большинстве случаев может использоваться в качестве прокси для даты последнего обхода (последняя дата кеша Google показывает, когда они последний раз запрашивали страницу, даже если они были обслужены). 304 (не изменен) ответ сервера).

Маленькая зеленая стрелка рядом с URL-адресом позволяет получить доступ к кешированной версии страницы.

URL Profiler также имеет возможность массовой проверки даты кеша. Когда мы делаем это на карте сайта URL Profiler, мы на самом деле видим еще больше хитрых URL-адресов, которые нам нужно исправить:

Есть 7 URL-адресов, которые Google решил не кэшировать. Некоторые из них мы видели ранее, и 1 запрещен в robots.txt, но ни для одного из них не задано значение noarchive.

Для краткости я не буду делать скриншоты каждого из них для вас (*кхм* URL Profiler имеет функцию массового скриншота…) – поверьте мне, они также очень плохие, тонкие страницы с небольшим количеством уникального контента или вообще без него. на любом из них.

Кэш Google — это прежде всего пользовательская функция, позволяющая пользователям получать доступ к содержимому, когда сам веб-сайт может быть недоступен. Вполне логично, что Google не хотел бы кэшировать результаты, которые, по их мнению, не представляют для пользователя никакой ценности.

Это также согласуется с пояснением Джона Мюллера в видео выше — страницы с «пропущенными результатами» всегда не кэшируются — если вы считаете, что страница не представляет никакой дополнительной ценности для ищущего, зачем хранить ее копию?

Подобно тому, что мы видели при проверке индекса, страницы, не кэшированные, похоже, являются индикатором низкого качества.

Нам нужно сделать лучше, чем это

Мы уже видели, насколько неточными могут быть данные Google Webmaster Tools — и даже если они точны, одна только цифра говорит вам только о сколько URL-адресов было проиндексировано, а не какие именно.

Массовая проверка индексации может помочь пролить свет на реальную ситуацию, но  мы делаем это неправильно .

Представьте, что вы проводите аудит сайта и хотите знать, какие из его 20 000 URL-адресов были проиндексированы. Вы можете проверить все это с помощью команды info:, и, насколько вам известно, каждый из них может быть в репозитории дерьма.

Использование чего-то вроде URL Profiler или Scrapebox для массовой проверки состояния индекса даст вам неточные результаты, которые могут привести к ложным выводам о состоянии веб-сайта.

Нам нужно что-то получше.

Итак, мы создали это

Последний выпуск URL Profiler версии 1.50 содержит улучшенную проверку индекса Google, реализующую все, что мы узнали выше. Вы можете прочитать больше об обновлении здесь (а также прочитать о нашей другой интересной новой функции — проверке дубликатов контента).

Наша новая проверка индексации предлагает больше, чем просто Да/Нет, это пример вывода:

Вот что мы сейчас вам покажем:

• Проиндексировано Google:  Можем ли мы найти URL-адрес в базовом индексе? Например, отображается ли он для поиска по URL-адресу? В некоторых случаях вместо этого присутствует альтернативный URL, поэтому в качестве результата мы возвращаем «Альтернативный URL». Все остальные результаты — «Да» или «Нет».
• Информация Google: проиндексировано : мы проверяем это, только если URL имеет значение , а не в базовом индексе (т. е. не получил «Да» в первом столбце). В противном случае будет отображаться Да/Нет/Альтернативный URL, как указано выше.
• Google Index : На основе проверок мы определяем, находится ли URL в базовом индексе, находится ли он в «глубоком» индексе («дерьмохранилище») или вообще не индексируется. Обратите внимание: если мы найдем альтернативный URL-адрес в обеих проверках, конкретный URL-адрес, который вы запрашивали, указан как , а не проиндексирован.
• Альтернативный URL, проиндексированный Google:  Если мы нашли альтернативный проиндексированный URL вместо того, который мы искали, мы показываем это здесь.
• Кэш Google Дата: Просто отображает дату последнего кеша для каждого URL. Если дата кэширования отсутствует, результат отображается как «Не кэшировано». Иногда мы не можем проверить дату кеша, и в этом случае вместо этого отображается сообщение «Проверить не удалось».

Мы обнаружили, что альтернативные URL обычно встречаются в канонической ситуации. Например, вы запрашиваете URL-адрес example.com/product1/product1-red, но этот URL-адрес не индексируется, вместо этого индексируется канонический URL-адрес example.com/product1.

Примечание: : Если вы еще не поняли, да, эта функция зависит от прокси. Больше информации о них можно найти в нашем руководстве по проверке дубликатов контента.

Как использовать эти данные

Если вас вообще беспокоит индексация URL-адресов вашего сайта, единственный способ узнать, проиндексированы ли все ваши URL-адреса, — это проверить их все.

Вот простой рабочий процесс, который вы можете использовать:

1. Просканируйте свой сайт с помощью Screaming Frog
2. Используйте функцию «Импорт из Screaming Frog», чтобы импортировать ваши URL-адреса в URL Profiler
3. Запустите проверку индексации для всех URL-адресов, а также при необходимости извлеките данные GA и метрики ссылок

Это даст вам гораздо более полный документ аудита, чтобы дать рекомендации и исправления SEO (кстати, у нас также есть полное руководство по проверке индексации).