Проверка количества проиндексированных на сайте страниц в поисковых системах Яндекс и Google

Проверка количества проиндексированных страниц сайта и получение их списка может показаться на первый взгляд достаточно простой задачей, но есть некоторые нюансы, о которых расскажем ниже.

Самые простые способы посмотреть индексацию любого сайта – операторы в поисковых системах Яндекс и Google. В Google это оператор site:site.ru (где вместо site.ru нужно указать анализируемый сайт). В Яндексе последнее время оператор site:site.ru перестал корректно работать, поэтому на данный момент количество страниц можно проверить с помощью оператора url:http://www.site.ru/* (с указанием www если сайт индексируется с www и наоборот).

Примеры:

Как узнать число новых страниц на сайте или число страниц, проиндексированных за определенный период

В Яндексе можно нажать на иконку расширенного поиска и выбрать диапазон дат:

В Google аналогичные настройки можно сделать через “инструменты->за период”:

Но не все так просто как кажется на первый взгляд. Рассмотрим более точные методы проверки способы как получить больше информации для каждой поисковой системы.

Google Search Console

Часто в Google число страниц, выдаваемое через оператор site: сильно отличается от реального числа проиндексированных страниц. Сотрудники Google отвечают по этому поводу что конструкция site:site.ru всего лишь результат пустого поиска по сайту и не обязана выдавать все страницы сайта.
Также в поиске отображаются неиндексируемые страницы, запрещенные в robots.txt, на которые есть внешние ссылки. Это тоже искажает результат.

Более точно узнать число проиндексированных страниц в Google можно имея доступ к Google Search Console в разделе “статус индексирования”.

К сожалению, в данном отчете данные также могут не совпадать с реальными из-за применения фильтров. Разница может доходить до десятков-ста процентов.

Еще один способ, который считается одним из наиболее точных – отчет “Файлы Sitemap”. Здесь указано точное число индексируемых страниц, но с учетом что все полезные страницы были добавлены в файлы sitemap.xml.

Яндекс Вебмастер

В Яндекс.Вебмастере содержатся достаточно точные данные по индексации сайта. Количество страниц, с динамикой можно посмотреть в разделе “страницы в поиске”.

Также в Яндекс.Вебмастере можно получить выгрузку страниц со статусами, включая индексацию, которая, правда ограничена 50.000 страницами. Пример выгрузки:

Выгрузку можно скачать в уже описанном выше отчете “страницы в поиске”.

Альтернативные способы проверки индексации сайта

Иногда перечисленные методы не подходят, тогда можно использовать альтернативные.

1. Парсинг сайта (например, через программу Screaming Frog) и постраничная проверка индексации в Google/Yandex. Например, через сервис https://www.rush-analytics.ru/ -> “проверка индексации”. Минусы: не все страницы в индексе могут иметь ссылки из меню или страниц сайта, можно как дополнение использовать способы описанные в пунктах 2,3 ниже.
2. Страницы, на которые есть органический трафик из перечисленных операционных систем (можно посмотреть через системы статистики Яндекс.Метрика и Google.Analytics).
3. Страницы на которые есть внешние ссылки. Внешние ссылки можно получить через такие сервисы как Ahrefs.com.

Сколько страниц проиндексировано поиском — как проверить и узнать

11 февраля 2022

Редакция Appfox

Поделиться

Время чтения: 6 минут

Индексация — проверка поисковыми роботами сайта и отдельных страниц. Во время индексации идёт обработка изображений, статей, видеофайлов и тд.

Индексация нужна для того, чтобы сайт был виден пользователям в поисковой выдаче.

Вначале робот сканирует сайт и осуществляет проверку. Если на ресурсе все корректно и нет ошибок, то идет добавление страниц в индекс.

Для чего нужна проверка?

Очень важно, чтобы вебмастер проверял индексацию страниц. Это нужно для того, чтобы проводить анализ алгоритма поисковых роботов при проверке (как быстро они проверяют, в какой последовательности) и своевременно устранять ошибки, если страницы не индексируются.

При увеличении количества страниц в поиске, сайт будет ранжироваться по большему количеству запросов, и, следовательно, подниматься в поисковой выдаче.

У каждой поисковой системы свои алгоритмы проверки и свои поисковые боты, поэтому SEO-специалистам важно верно настроить индексацию, чтобы пользователь быстрее увидел сайт.

Ручная проверка через оператор site:

Ручной способ проверки является самым быстрым. Нужно ввести в строку поиска site:адрес сайта.

Например: site:alohatur.ru

В поиске будут показаны все проиндексированные страницы этого сайта. Если нужно проверить только одну страницу, то также нужно ввести ее адрес после команды site.

В Яндекс и Google можно поставить нужный диапазон дат и посмотреть индекс за определенный период.

Иногда количество проиндексированных страниц может отличаться в зависимости от того, через какую поисковую систему осуществлялась проверка. Это может означать, что у сайта какие то проблемы, и он попал под фильтр в одном из поисковиков.

Также в поисковой системе Google не всегда показываются все проиндексированные страницы. Кроме того, в поиске могут отобразиться неиндексируемые страницы, запрещенные в robots.txt, на которые есть внешние ссылки.

После проверки нужно сопоставить количество проиндексированных страниц с реальным количеством на сайте.

Например, если страниц 20, а проиндексировано 10, это означает, что поисковый бот не видит половину сайта.

Вебмастера поисковых систем Yandex и Google

Осуществлять проверку индексирования нужно по каждому поисковику.

1. Индекс Яндекса.

Проверка осуществляется через панель Яндекс.Вебмастер. Количество проиндексированных страниц проверяется в разделе страницы в поиске. Можно сделать выгрузку со статусами.

2. Индекс Google.

В данной поисковой системе проверка индексации ведется через Google Search Console.

В Google можно увидеть проиндексированные страницы в разделе статус индексирования. Из-за применения фильтров данные не всегда точные, поэтому есть другой способ проверки — отчет “Файлы Sitemap”. Здесь можно посмотреть точное число индексируемых страниц, но только если они добавлены в файлы sitemap.xml.

Сервисы и плагины

С помощью различных сервисов и плагинов проверка осуществляется автоматически, для этого не надо открывать поисковую систему и вводить вручную адрес. Самые популярные плагины:

1. SEO Magic

Показывает, сколько страниц проиндексировано в Яндексе и Google. Через него можно сразу переходить в поисковик. Скачать можно через Google Chrome.

2. RDS bar.

Проверяет на индекс отдельные страницы и весь сайт. Есть платная и бесплатные версии.

3. Проверка индексации.

Из файла нужно переместить ссылку на панель закладок, затем открыть нужный сайт и нажать на эту закладку. После этого откроется ещё одна вкладка с данными о выдаче.

Из сервисов самыми популярными являются:

1. https://en.ryte.com — проверить, какие страницы закрыты от индексации.
2. Netpeak Spider — производит сканирование всего сайта. Дает информацию о метатегах, заголовках, редиректах, внутренних и внешних ссылках.
3. Netpeak Checker — сюда загружаются данные из Netpeak Spider и идет только проверка на индексирование.
4. https://xseo.in/indexed — помимо проверки в поисковых системах Яндекса и Гугла, идет проверка в поисковой системе Bing.

Проверка индексации — важный этап оптимизации сайта. Все страницы должны отображаться корректно в поисковой выдаче для успешного продвижения ресурса. Мы рассмотрели несколько методов проверки. Выбор того или иного способа зависит от масштаба работ (например, ручной используется, чтобы быстро проверить несколько страниц) и глубины (проверка в каждом поисковике или только в одном и тд).

В студии AppFox можно подать заявку на программирование, создание игр или заказать разработку приложений https://appfox.ru и получить бесплатную консультацию по ценам и услугам.

Ускоренное индексирование для программных SEO-сайтов

Как только вы нажмете «Опубликовать» на своих программных страницах, вы перейдете на следующий уровень в программной SEO-игре. Теперь вам нужно проиндексировать эти страницы в поисковых системах, таких как Google.

Вам не нужно сильно беспокоиться, если сгенерированных программных страниц меньше 100, но если у вас есть сотни или даже тысячи страниц, индексация всех страниц может занять целую вечность.

И нет волшебной кнопки для более быстрой индексации pSEO-страниц, но есть определенные советы-трюки, которые действительно помогают.

Давайте посмотрим…

Ускорение индексации для программных страниц

Ниже я перечислил несколько важных советов по ускорению процесса индексации ваших pSEO-страниц.

1. Улучшите внутренние ссылки

Страницы, на которые нет ссылок с какой-либо другой страницы вашего веб-сайта, называются потерянными страницами, и поисковые системы, такие как Google, ненавидят эти страницы. Особенно, если вы создали 100 или даже 1000 таких страниц с помощью программного SEO.

Вы не позаботились добавить внутренние ссылки на эти страницы и оставили их в стороне; тогда почему Google должен заботиться?

Добавление правильных внутренних ссылок на ваши программно созданные страницы и с них помогает Google быстрее обнаруживать и индексировать новые страницы. Постарайтесь добавить как минимум 2 внутренние ссылки на все ваши страницы.

На программном сайте, где внутренних ссылок вообще не было, я просто улучшил внутренние ссылки, и вскоре после этого вы можете увидеть всплеск количества проиндексированных страниц.

2. Получите обратные ссылки на сайт

Чем больше обратных ссылок на ваш сайт, тем быстрее будут сканироваться и индексироваться вновь созданные страницы в Google. Например, у TechCrunch более 700 тысяч страниц, проиндексированных в Google, и новые сообщения индексируются в течение нескольких минут, как вы можете видеть на скриншоте ниже:

Я не скажу, что обратные ссылки — единственный фактор, влияющий на скорость индексации вашего сайта, но это один из основных факторов. И не только благодаря более быстрой индексации, обратные ссылки также помогают вам в ранжировании; так что это как дополнительный бонус.

3. Отправьте свою карту сайта в поисковые системы

У Google есть Search Console, а у Bing есть инструменты для веб-мастеров, где вы можете отправить свою карту сайта в формате XML.

Это помогает поисковым системам понимать ваш контент и легко находить новые страницы.

Если вы создаете всего несколько страниц на своем веб-сайте, карты сайта не так важны, но если вы имеете дело с тысячами страниц, наличие карты сайта становится критически важным.

В WordPress SEO-плагины, такие как Yoast и RankMath, автоматически обрабатывают карты сайта. Но если у вас есть собственный сайт, вам может потребоваться создать его вручную.

Согласно рекомендациям Google, ваша карта сайта не должна содержать более 50 000 URL-адресов и не должна превышать 50 МБ по размеру. А если на вашем сайте более 50 000 URL-адресов, у вас также есть возможность создать несколько карт сайта.

Вы когда-нибудь использовали инструмент проверки связи Google для более быстрого индексирования?

Google рекомендует отправлять ping-запрос каждый раз, когда страницы добавляются/обновляются по этому адресу:

https://www. google .com/ping?sitemap=FULL_URL_OF_SITEMAP

Вы можете сделать это вручную или сделать это автоматически. pic.twitter.com/WYTHqMw6XF

— DeepakNess (@DeepakNesss) 6 июня 2022 г.

Вы также можете использовать инструмент проверки карты сайта Google всякий раз, когда публикуете новый набор страниц, просто перейдя по этому URL-адресу https://www.google.com/ping?sitemap=YOUR_SITEMAP , как показано в твите выше.

4. Используйте API индексации Google

Несмотря на то, что Google четко упомянул, что его API индексации предназначен только для публикации вакансий и трансляции событий типа , несколько человек подтвердили, что он работает и для других типов страниц.

Если вы опасаетесь, что использование API может навредить вашему веб-сайту, не волнуйтесь; потому что это не повредит, как подтвердил Google. Но может и не помочь.

В WordPress вы можете использовать специальный плагин RankMath для настройки API индексации Google. В этом сообщении в блоге RankMath все подробно объяснил.

5. Используйте подсказки сканера Cloudflare

Если вы пытаетесь быстрее проиндексировать свой сайт в поисковых системах, таких как Bing и Яндекс, может быть полезно включить опцию Crawler Hints в Cloudflare.

Если вы используете Cloudflare, включите параметр Crawler Hints в разделе «Кэш» > «Конфигурация».

Ускоряет процесс индексации в Bing, Yandex и DuckDuckGo. Для программных сайтов может быть чрезвычайно полезно быстро индексировать тысячи страниц. pic.twitter.com/1qT4ogP9hO

— DeepakNess (@DeepakNesss) 1 декабря 2022 г.

Я включил это для своих сайтов, но нет возможности измерить, увеличивает ли это скорость индексации. Итак, я не очень уверен в этом; но говорят, что он настолько хорош, что даже Google заявил, что будет тестировать его на своей платформе.

Очевидно, для этого вам следует использовать Cloudflare. Однако, если вы не используете Cloudflare. Не обращайте на это внимания, вам не нужно так сильно об этом беспокоиться.

6. Проверьте файл robots.txt.

Убедитесь, что какие-либо важные страницы или области на вашем веб-сайте не запрещены для сканирования и индексации ботами поисковых систем. Ни одна важная страница или область не должна быть написана Disallow: /page/ вот так.

Обычный файл robots.txt должен выглядеть примерно так, как показано на рисунке выше.

И если вы беспокоитесь о том, индексируется ли определенная страница/область на вашем веб-сайте или нет, вы можете использовать тестер Google robots.txt или этот простой инструмент от Merkle.

Заключительные слова

Вы заметили, что я оставил критический фактор для индексации в Google и других поисковых системах?

Да, качество ваших программно сгенерированных страниц. И я предположил, что вы уже создаете высококачественный контент с помощью алгоритмического SEO, и если вы это делаете, вы готовы к работе.

Если у вас есть вопросы по теме, дайте мне знать в комментариях ниже.

Быстрая индексация вашего веб-сайта с помощью отчетов об исправлении покрытия индекса Google

Быстрая индексация вашего веб-сайта с помощью отчета об исправлении покрытия индекса Google

Обновлено 19 июля 2021 г. , а также сокращенное время ожидания повторного сканирования веб-страниц, отправленных на повторную индексацию, вы можете быстрее реагировать на предпочтения пользователей.

Все четыре ведущие поисковые системы — Google, Bing, Yahoo и Yandex — страстно стремятся понять, чего хотят люди, которые ищут информацию в Интернете. Это требует более глубокого процесса, чем когда-либо прежде, чтобы мгновенно предоставлять лучшие результаты конечным пользователям, понимая их намерения так же, как то, что они вводят в поле поиска или говорят. Но, например, если на вашей веб-странице, которая предоставляет идеальное решение, неправильно реализованы структурированные данные, она может даже не быть проиндексирована Google так, как вы этого хотите. Аудит сосредоточился на тестирование структурированных данных вашего сайта также поможет индексировать наши страницы.

Давайте углубимся в ответы на ваши вопросы.

Что такое отчет об исправлении покрытия индекса Google?

В отчете об исправлении покрытия индекса Google подробно описывается статус индексирования всех URL-адресов, которые робот GoogleBot посещал или пытался посетить в указанном свойстве Google Seach Console. На сводной странице показаны результаты для всех URL-адресов для каждого свойства. Они хорошо сгруппированы по ошибке, предупреждению или допустимому статусу. Он также указывает причину этого состояния, что особенно полезно для ошибок «не найдено» (404).

Сегодня отчет об исправлении покрытия индекса Google — это еще одна экспериментальная функция Google Search Console, которую вскоре обещают показать избранной группе бета-пользователей.

Это помогает сначала понять, что такое SEO на самом деле .

Как узнать, есть ли мой мобильный сайт в индексе Google?

Вы можете проверить действующий URL в Search Console. Проверьте, может ли страница AMP быть проиндексирована, выполнив следующие действия:

• Перейдите к соответствующему свойству в GSC.
• Откройте инструмент проверки URL-адресов Google.
• Вырежьте и вставьте текущий статус индекса определенного URL-адреса.
• Посмотрите, написано ли там «Покрытие — отправлено и проиндексировано».
• Ниже этого проверьте, написано ли «Действительна связанная версия AMP».
• Вы можете как «ПРОВЕРИТЬ РЕАЛЬНЫЙ URL», так и «ЗАПРОСИТЬ ИНДЕКСИРОВАНИЕ».
• Вы также можете использовать инструмент проверки страниц AMP от Google

Независимо от того, являетесь ли вы бизнесом, обслуживающим аудиторию B2B или клиентов B2C, управляйте тем, как ваши страницы индексируются и сканируются, чтобы выжить в Интернете.

Барьеры Цифровые маркетологи столкнулись с получением информации о данных

Ведущие маркетологи усердно работают над тем, чтобы каждая веб-страница правильно индексировалась Google, и добились успеха, когда они могут лучше всего найти и интегрировать собранные данные стратегии для улучшения.

В статье от 21 июня 2017 г. под названием «Вместе лучше: почему интеграция стратегии данных, команд и технологий ведет к успеху в маркетинге» подчеркивалась необходимость помощи в понимании данных сайта в Search Console. Кейси Кэри заявил, что «75% маркетологов говорят, что самым большим препятствием для использования анализа данных является отсутствие образования и обучения работе с данными и аналитикой».

В течение многих лет специалисты по поиску пытались получить от Google список, показывающий, какие страницы проиндексированы, а какие нет. Сегодня, с большой благодарностью, мы находимся на пороге получения этого прямо из Search Console нашего клиента.

Что такое индексирование в поисковых системах?

Индексация поисковой системой собирает, анализирует и сохраняет веб-данные, чтобы сделать возможным быстрый и точный поиск информации. «Дизайн индекса включает междисциплинарные концепции из лингвистики, когнитивной психологии, математики, информатики и информатики. Альтернативное название процесса в контексте поисковых систем, предназначенных для поиска веб-страниц в Интернете, — веб-индексация», — говорится в Википедии.

Отчет об индексировании показывает количество проиндексированных страниц

Какие конкретные данные предоставляет отчет об индексировании Search Console?:

* Количество действительных страниц на вашем сайте, которые он индексирует

* Сколько страниц содержит ошибки

* Количество страниц с предупреждениями

* Уровни информационных данных

* Количество показов проиндексированных страниц.

Какой тип информационных данных будет извлекать отчет?

Алгоритмы Google имеют расширенные методы передачи информационных данных. Структурированные данные схемы широко используются поисковым гигантом для сбора информации из семантического контента сайта, чтобы лучше сопоставлять страницы с релевантными поисковыми запросами пользователей. Он использует данные, чтобы нарисовать картину того, из чего состоит веб-сайт. Расширенные сниппеты — это дополнительные визуальные элементы информации, отображаемые в результатах поиска.

В мае компания представила Data GIF Maker, онлайн-инструмент, предназначенный для упрощения процессов отображения относительного интереса между двумя темами на основе данных, полученных из тенденций поиска Google в Интернете или других надежных источников данных. Кроме того, Google завершил автоматизацию преобразования данных в визуальные. Одним из примеров является Infogram, редактор, который преобразует информацию из пользовательских данных в инфографику для публикации. На данный момент нам нужно многое узнать о том, как это будет заполнять данные, и обо всех способах их использования для улучшения индексации вашего сайта.

Поскольку Google концентрируется на том, чего хотят пользователи, если в отчете показано, что страница действительна, но имеет статус «низкий интерес к индексу», вы можете подумать о лучшей оптимизации страницы. Google продолжает находить и индексировать контент еще быстрее, чем сейчас. Ранее мы видели, что по этой причине они ввели бета-тестирование API индексации в реальном времени.

Google уведомит вас о ходе повторного сканирования. Джон Мюллер из Google говорит нам ****, что это так просто: «После того, как вы устраните основную проблему, нажмите кнопку, чтобы подтвердить исправление, и Google повторно просканирует страницы, затронутые этой проблемой. Google уведомит вас о ходе повторного сканирования и обновит отчет по мере проверки ваших исправлений».

Новая функция Google «Отчет о покрытии индекса» в консоли поиска упрощает поиск сложных SEO-ошибок на розничных AMP-страницах . Сгруппированные по типу ошибки, веб-мастера могут глубже изучить конкретную ошибку кодирования. Кнопка подтвердит, что проблема решена после исправления затронутых страниц; затем затронутые URL-адреса могут быть повторно просканированы роботом GoogleBot и отмечены как исправленные. Мы надеемся, что последующие отчеты о ходе работы, показывающие Big Data результаты повторного исследования таких страниц, сделают процесс устранения этих ошибок более быстрым.

SEO-специалисты могут быстрее индексировать страницы для удовлетворения потребностей пользователей

Раньше наши консоли поиска Google не предоставляли постраничную разбивку статистики сканирования сайта с удобным списком проиндексированных страниц. Чтобы получить необходимые сведения, многим специалистам по поисковой оптимизации приходилось изучать журналы серверов, использовать специализированные инструменты и тратить массу времени на изучение SEO-отчетов Analytics .

Определение краулингового бюджета сайта и способов его увеличения — более простая SEO-задача, когда мы можем видеть внутренние ссылки на них, статистику краулинга и ошибки, препятствующие индексации.

После перехода на проиндексированную веб-страницу контент теперь должен предоставлять пользователям положительный опыт , иначе они быстро уйдут и отправятся к кому-то другому за ответом. Глубина способности SEO-специалиста понимать вовлеченность пользователей напрямую коррелирует со степенью сложности, с которой сталкивается бизнес, чтобы занять первые позиции в результатах поиска.

По мере того, как машины продолжают обучаться, чтобы становиться умнее, человеческая логика по-прежнему играет свою роль, агрессивно обучаясь, читая индексированные отчеты и применяя лучшие стратегии. У вас мало времени, чтобы попробовать их все до того, как ландшафт поиска снова изменился . Какой эксперт по SEO не любит получать советы о том, как исправить проблемы с индексацией прямо из Google!

SEO-специалисты, которые больше внимания уделяют анализу данных, а не реагированию на «то, что мы думаем», становятся приоритетом для получения результатов, которые приносят пользу и радуют ведущих руководителей отдела маркетинга. Знайте, откуда приходят ваши бизнес-лиды, с какими веб-страницами пользователи чаще всего взаимодействуют и какие решения они ищут, которые вы можете предоставить получить конкурентное преимущество в сети .

Влияние отсутствия индексации страниц на бизнес

Вы не сможете

повысить доверие к сайту, если ваши веб-страницы не проиндексированы.

Мы по-разному строим деловые отношения. Интернет изменил то, как мы формируем новые связи и поддерживаем отношения с клиентами, а также с деловыми партнерами, друзьями, семьей, известными людьми и знакомыми. Теперь, когда люди могут взаимодействовать друг с другом, даже не встречаясь лично, и информировать друг друга и покупателей о новых продуктах, уровнях запасов, обзорах и решениях, знание того, как люди взаимодействуют с онлайн-контентом, имеет важное значение для роста бизнеса. Отличным примером является ваш шанс получить значительную известность в новые форматы карусели товаров в поисковой выдаче .

Компания Google стремится предоставить полезную информацию, которая поможет быстрее исправить код и упростить индексацию и сканирование страниц. Это, в свою очередь, означает, что пользователи, которые ищут связанный контент, имеют больше шансов использовать эти проиндексированные страницы.

Google, скорее всего, примет к сведению ваш обзор и реализацию структурированных данных продукта при индексировании вашей веб-страницы. Как и в случае с большинством новых функций, это может развиваться со временем после получения отзывов от пользователей. Google не распознает фиксированный контент мгновенно, но эта новая функция Search Console предназначена для сокращения времени ожидания повторной индексации страницы. Если ошибки схемы повлияли на вероятность индексации страницы, он может обратить внимание на вашу разметку при индексации вашего сайта в следующий раз. Не забудьте уведомить Google об устранении проблем с веб-контентом или кодированием.

Веб-мастера должны следить за ошибками индексации своего сайта, так как слишком большое количество ошибок может потенциально сигнализировать Google о том, что показатель работоспособности вашего сайта низок или что он плохо управляется и поддерживается. Часто малые предприятия чувствуют себя слишком переутомленными, чтобы вкладывать средства в текущее обслуживание сайта, поэтому они просто игнорируют свои отчеты об ошибках или забывают помечать ошибки как исправленные. Любой может быть ошеломлен, если вдруг заметит очень длинный список ошибок. Быстро очистите свой список от любых ошибок индексации и запланируйте своевременное наблюдение и поддержание его в чистоте. Сайтам здравоохранения, предоставляющим основные услуги для пациентов , необходимо предпринять дополнительные шаги, чтобы обеспечить правильную индексацию этих страниц.

Интернет-пользователи постоянно подключены для принятия решений о покупках

Появление новых устройств и улучшение мобильной связи означает, что средний американец имеет мгновенный доступ к Интернету. Покупатели больше не привязаны к настольным компьютерам; они могут выходить в интернет, разговаривая с Google Home, Siri или Amazon Echo в любом месте и в любое время, что оказывает заметное влияние на производительность веб-сайта. Независимо от того, имеют ли ваши страницы чистый код для повышения шансов на индексацию, или их можно быстро открыть через алгоритм мобильного поиска , в голосовом поиске и поиске изображений он имеет большее значение, чем когда-либо прежде.

Например, носить Apple Watch со смартфоном в кармане сейчас довольно часто. Это создало потребность в почти постоянно доступных данных и правильной информации, которую хотят пользователи. Если ваша веб-страница предлагает наилучшее решение, но даже не сканируется Google , ваш бизнес может упустить легкие продажи. Люди живут, твитят, публикуют и делятся все время. Это может быть то, что они подслушают на прогулке, посетив деловое мероприятие или выскажут полезное мнение о продукте.

Недавно я был на свадьбе, где огромная красивая выгравированная вывеска приветствовала участников «Свадьбы без подключения к розетке». В то время как люди могут активно препятствовать документированию социальных сетей на смартфонах во время таких торжеств, как этот, компании обычно хотят, чтобы мобильные пользователи взаимодействовали с ними 24 часа в сутки, 7 дней в неделю.

Быстрое исправление ваших веб-страниц с ошибками для переиндексации составляет реальные доллары в банке для тех, кто продает как продукты, так и услуги в цифровом пространстве. Но прежде чем повторить и запросить повторную индексацию, сделайте справочное маркетинговое исследование , чтобы увидеть, отсутствуют ли на странице какие-либо другие ключевые детали.

Отправка фиксированных URL-адресов в индекс Google

Google Sitemaps уже давно позволяет веб-мастерам отправлять URL-адреса в индекс Google и информировать Google об изменении этих страниц. Конечно, новая индексация после исправления проблем на страницах с ошибками 404 и страницах с предупреждениями, такими как неработающие перенаправления 301, может быстро увеличить охват сканирования веб-сайта.

Веб-мастера должны следить за ошибками индексации своего сайта, так как слишком большое количество ошибок может потенциально сигнализировать Google о том, что показатель работоспособности вашего сайта низок или что он плохо управляется и поддерживается. Отслеживайте результаты поиска для мобильных устройств отдельно от результатов поиска для компьютеров. Слишком многие малые предприятия чувствуют себя слишком перегруженными, чтобы вкладывать средства в текущее обслуживание сайта, поэтому они просто игнорируют свои отчеты об ошибках или забывают помечать ошибки как исправленные. Любой может быть ошеломлен, если вдруг заметит очень длинный список ошибок. Быстро очистите свой список от любых ошибок индексации, повторно отправьте каждый URL-адрес и запланируйте своевременное отслеживание и поддержание чистоты этого нового списка ошибок индексации (как только он станет доступен для всех).

Вполне возможно, что отчет о покрытии индекса будет больше использоваться людьми с базовыми навыками SEO. Лица, имеющие доступ к файлам журналов сервера и знакомые с решением сложных проблем индексации, могут найти этот сводный отчет более удобным.

Google хочет лучше отображать и индексировать мобильный контент

Обновление от 23 июля 2017 г. для Руководства по поиску Google по общим ошибкам , улучшена поддержка распространенных ошибок индексирования, которые допускают многие веб-мастера при разработке дизайна для мобильных устройств. Он устраняет заблокированные файлы JavaScript, CSS и изображения, которые препятствуют оптимальному рендерингу и мобильной индексации. Нам дано указание «всегда разрешать роботу Googlebot доступ к файлам JavaScript, CSS и изображениям, используемым на вашем веб-сайте, чтобы робот Googlebot мог видеть ваш сайт так, как его видит обычный пользователь. Если файл robots.txt вашего сайта запрещает сканирование этих ресурсов, это напрямую вредит тому, насколько хорошо наши алгоритмы отображают и индексируют ваш контент. Это может привести к субоптимальному ранжированию».

Разработчики также предупреждены о том, что межстраничные объявления для скачивания приложений могут привести к проблемам с мобильным индексированием. «Многие веб-мастера продвигают нативные приложения своего бизнеса среди посетителей мобильных сайтов. Если не сделать это с осторожностью, это может вызвать проблемы с индексацией и нарушить использование сайта посетителем», — говорится в заявлении.

Google также призывает разработчиков приложений использовать индексирование приложений, чтобы избежать распространенных ошибок мобильного индексирования; «Если у вас есть приложение для Android, рассмотрите возможность индексации приложения: когда проиндексированный контент из вашего приложения релевантен определенному запросу, мы покажем кнопку «Установить» в результатах поиска, чтобы пользователи могли загрузить его и перейти прямо на определенную страницу в ваше приложение». Он также содержит ссылку на статью о том, как сделать так, чтобы ваши мобильные страницы отображались менее чем за одну секунду; что может коррелировать скорость мобильной загрузки с лучшей индексацией. Проиндексировать ваши страницы — это одно из препятствий, но когда они загружаются так медленно, что пользователи даже не ждут, чтобы их прочитать, — это еще одна проблема, которую нужно решить.

Так как все больше и больше поисковых запросов возникает, когда кто-то хочет получить немедленный ответ, убедитесь, что ваши веб-страницы, которые могут предоставить быстрые ответы, проиндексированы. Цель поиска влияет на путь потребителя в каждой точке взаимодействия .

Функция Fetch as GoogleBot ускоряет индексирование страниц

Еще один способ ускорить индексацию вашего веб-сайта с помощью Google — использовать функцию Google для веб-мастеров Fetch as Google. Если ваш веб-сайт отличается высоким качеством и имеет хороший информативный контент, он должен помочь проиндексировать представленные страницы в течение от нескольких минут до нескольких часов максимум.

Новая функция «Исправление покрытия индекса» предназначена для того, чтобы помочь некоторым веб-сайтам, на которых отсутствуют ошибки индексации, лучше их обнаруживать. Весь поиск Google по сути начинается с URL-адресов сайта. Джон Мюллер из Google говорит : «Мы выходим в Интернет, чтобы отображать эти URL-адреса, вроде как в браузере, и контент, который мы там получаем, мы принимаем для индексации».

Всегда старайтесь следовать Общим рекомендациям Google; по логике вещей, это поможет Google быстрее находить, индексировать и ранжировать ваш сайт. Если вы непреднамеренно обнаружите, что ваш веб-сайт был полностью удален из индекса Google или иным образом пострадал в результате алгоритмического или ручного спама, быстро примите действенные меры, чтобы он появился в результатах поиска на Google. com или на любом из партнерских сайтов Google. Убедитесь, что ваш код действительно отображает и поддерживает индексирование. Для местного пешеходного движения также добавление разметки Local Business Scheme поможет вашему бизнесу найти .

Отличное содержание увеличивает список проиндексированных страниц вашего веб-сайта

Органический поисковый трафик имеет решающее значение для увеличения списка проиндексированных страниц вашего веб-сайта и роста доходов бизнеса . По нашему опыту, это обычно источник более половины всего трафика сайта по сравнению с 7% из социальных сетей. Некоторые исследования сообщают, что около 33% среднего трафика сайта можно отнести непосредственно к органическому поиску, в то время как другие утверждают, что это ближе к 64% вашего веб-трафика.

Но эта статистика отражает только среднее значение; если ваш сайт вообще не отображается в индексе Google или Google Discover , вы не можете ожидать хорошей видимости в поисковой выдаче. Чтобы новый сайт или блог проиндексировался быстрее, вам нужно будет выделить больше ресурсов, чтобы направить их на повышение коэффициента конверсии, расширение вашего присутствия в социальных сетях и, естественно, на написание и продвижение отличного и полезного контента, который будет проиндексирован. Чтобы повысить ценность вашего контента, начать с анализа поведения потребителей ; затем убедитесь, что ваш новый контент индексируется быстро и правильно.

Какие преимущества получает SEO-оптимизатор от нового рабочего процесса индексации?

* Возможность быстрее находить, исправлять и проверять необходимые исправления SEO .

* Если вы хотите предотвратить индексацию страниц с низкой или нулевой ценностью для SEO, вы также можете проверить в визуальном отчете, что они не проиндексированы. Если была проделана работа по выявлению определенных параметров URL в Google Search Console, чтобы Google не сканировал и не индексировал одни и те же страницы с разными параметрами по отдельности, это должно быть указано.

* Если ваши файлы CSS вызывают проблемы, препятствующие индексации страницы, Google не может увидеть страницы так, как вы хотите, и проиндексировать их. Приведенные примеры предназначены для сокращения времени диагностики.

* Еще одна частая проблема связана с тем, что ваш JS не сканируется. Благодаря улучшенным отчетам об ошибках индексирования быстрые исправления помогут Google проиндексировать динамически создаваемый контент вашего сайта.

* Отправьте карту сайта прямо здесь.

* Отфильтруйте данные о покрытии индекса, чтобы быстро изучить отдельные карты сайта.

* Хотя задачи по индексации вашего сайта должны быть ориентированы на все основные поисковые системы (Google, Bing, Яндекс, Yahoo и т. д.), получение помощи из этого нового отчета об ошибках индексации Search Console повысит ваши шансы на лучшую индексацию во всех них.

Текущая проверка статуса индексации вашего веб-сайта

На что постоянно обращать внимание при диагностике статуса индексации и что нужно быстро исправить:

• Количество проиндексированных страниц сайта должно отражать согласованность , число которых неуклонно растет. Если это так, это означает, что Google может проиндексировать ваш сайт и что вы повышаете рейтинг своего сайта, добавляя свежий проиндексированный контент. Найдите и устраните ошибки индексации, когда новые страницы не добавляются к индексируемому числу.

• Обратите внимание на любые неожиданные и экстремальные падения на графике проиндексированных страниц. Этот новый дополнительный отчет об индексации поможет веб-мастерам найти и исправить, где у Google возникают проблемы с доступом к вашему сайту.

• Внезапные и странные всплеск в графике проиндексированных страниц. Будь то проблема с дублированием контента как с www, так и без www индексируемых страниц, или с неправильными каноническими индексами, или с потенциальным взломом, это сигнализирует о необходимости принять меры.

Как выглядят и работают новые отчеты об индексации Search Console

Веб-разработчики и оптимизаторы с нетерпением ждут новых отчетов и используют их для улучшения веб-сайтов. Глен Гейб, президент G-Squared Interactive LLC, 7 сентября 2017 года в статье на LinkedIn опубликовал несколько снимков экрана из нового отчета об индексировании в Google Search Console* (GSC).

Если вы считаете, что на вашем сайте есть страницы, которые уже проиндексированы, но еще не отправлены в карты сайта, новый отчет Google об индексации заполнит недостающие пробелы. Похоже, что до сих пор с ним не было функции экспорта. Это полезно, если вы хотите знать, где вы появляетесь в полях Люди также спрашивают в поисковой выдаче Google .

Больше всего меня заинтересовал комментарий Гленна «Проиндексировано, но заблокировано robots.txt. Эти URL-адреса на самом деле 404, но Google не может их сканировать, чтобы узнать».

Общие вопросы об индексировании AMP-страниц

Вопрос: Если я правильно установил AMP-страницы, как долго они будут проиндексированы?

Ответ: Нет никакой разницы в скорости, с которой Google сканирует и индексирует страницы AMP; сканирование и индексирование происходит на той же странице, что и традиционные страницы рабочего стола.

Совет: Если ваши AMP-страницы не индексируются или индексируются медленно, возможно, они не проходят проверку правильно. Вернитесь и проверьте их на наличие ошибок, используя отчеты в новой консоли поиска Google. Действительный код обеспечит более успешное сканирование ваших страниц AMP.

Вопрос: Индексируются ли некоторые типы AMP-страниц быстрее, чем другие?

Ответ: Будь то домашняя страница вашей компании или страница, посвященная информации о продукте, ничто не меняет их структуру. Google полагается на ряд факторов при оценке оптимальной частоты сканирования для каждой страницы, например, на то, как часто обновляется основной контент страницы.

Подсказка: Обычный процесс начинается со сканирования для индексации и ранжирования; более частая отправка страницы для повторного сканирования не влияет на ее индексацию или рейтинг.

Вопрос: Следует ли индексировать страницы категорий AMP для версий AMP?

Ответ: Google обычно не распознает страницу категории продукта или страницу описания продукта для поиска; однако страница категории может предложить возможность найти новые страницы с описанием продукта.

Совет: Google предупредил, что «динамически генерируемые страницы со списком продуктов могут легко превратиться в «бесконечные пробелы», что сделает сканирование более трудным, чем необходимо».

Вопрос: Если страницы продуктов часто обновляются, это кошмар для индексации?

Ответ: Нет. URL-адрес типа страницы продукта может оставаться постоянным белым, а детали продукта могут часто меняться. Google понимает, что часто продаются уникальные товары. Сюда входят антиквариат, предметы с аукционов, произведения искусства на заказ или рубричные объявления с ограниченным сроком действия.

Совет: Обновляйте свои карты сайта новыми подробностями описания для каждой страницы продукта.

Вопрос: Входит ли сканирование моих AMP-страниц в мой краулинговый бюджет?

Ответ: Да. Сканирование всех элементов, включая AMP, является частью краулингового бюджета сервера и имеет значение для выявления и раскрытия проблем на вашем сайте.

Совет: Немногие сайты имеют причины для беспокойства по поводу краулингового бюджета; Google указывает

Совет: Когда сегодняшний робот GoogleBot сканирует страницу, он также должен получать подресурсы. К ним обычно относятся: JavaScript, CSS, PDF, изображения и видеоклипов , чтобы полностью понять, что содержится на странице. Сводя ваши вспомогательные документы JS и CSS к минимуму, поскольку количество подресурсов часто намного больше, чем основной документ или визуальные файлы, которые помогают читателю. Хотя ваши изображения могут выглядеть потрясающе в Интернете, они могут быть наиболее эффективными только в том случае, если они соответствуют текущим рекомендациям по изображениям.

«Google разработал метод, который позволяет маркетологам быстро работать над исправлениями и не тратить время на ожидание повторного сканирования веб-сайта Google только для того, чтобы позже сообщить вам, что он еще не исправлен». — Медиапост

«Мы создали механизм, который позволяет вам быстро вносить исправления и не тратить время на ожидание повторного сканирования вашего сайта Google только для того, чтобы позже сообщить вам, что он еще не исправлен. Скорее, мы обеспечим тестирование исправлений на месте и автоматически ускорим сканирование, как только увидим, что все в порядке». – Джон Мюллер

Что может привести к деиндексации моего сайта?

По данным Google**, с использованием одного или нескольких из следующих

технических приемов SEO может означать, что ваш веб-сайт будет деиндексирован:

• Контент, созданный роботами.
• Участие в схемах ссылок.
• Коварные перенаправления.
• Скрытые ссылки.
• Украденный и заимствованный контент.
• Участие в партнерских программах без добавления достаточной ценности.
• Создание страниц с вредоносным поведением, например с фишингом или установкой вирусов, троянов или другого вредоносного ПО.
• Прогон посетителей через страницы-заставки или дорвеи.
• Злоупотребление реализацией кода схемы расширенных фрагментов.
• Настройка автоматических поисковых запросов в Google.

Вместо более быстрого ранжирования ваших страниц Google может или будет удалять из результатов поиска веб-сайты, использующие тактику манипулирования. Если вы хотите быстро ранжировать и индексировать свой веб-сайт на странице результатов поисковой системы, сделайте это правильно, придерживаясь рекомендаций Google и используя их надежный набор инструментов. И наоборот, веб-страницы, которые соответствуют рекомендациям Google по оценке качества и предлагают уникальный и качественный контент, с большей вероятностью будут отображается в избранных фрагментах .

Получение ясности о том, что связано с индексацией в поисковых системах, также включают Bing, Yahoo и Yandex. Но если Google отправляет вам большую часть вашего веб-трафика, начните с того, что помогает Google быстрее индексировать ваши веб-страницы.

Владелец Hill Web Marketing, Джинни Хилл имеет многолетний опыт и хорошую репутацию за положительные результаты в органическом поиске, поисковой оптимизации, SEM и PPC. Я работаю с клиентами, чтобы помочь их компаниям быстрее сканировать нужные веб-страницы. Знание рекомендаций Google по SEO, диагностике и ремонту веб-сайтов..
Мне нравится жить в Миннеаполисе, штат Миннесота, где я предоставляю услуги цифрового маркетинга в пригородах и за их пределами. Услуги по ускорению индексации вашего сайта обычно стоят около 1500 долларов.

Раньше наши консоли поиска Google не предоставляли постраничную разбивку статистики сканирования сайта с удобным списком проиндексированных страниц. Чтобы получить необходимые данные, многим специалистам по поисковой оптимизации приходилось изучать журналы серверов, использовать специализированные инструменты и тратить массу времени. По мере того, как Google Answer Engine продвигает , расширяется и его богатый набор инструментов в Search Console.

ОБЗОР

Определение краулингового бюджета сайта и способов его увеличения — более простая SEO-задача, когда мы можем видеть внутренние ссылки на них, статистику краулинга и ошибки, препятствующие индексации. Список проиндексированных страниц сокращает время повторного сканирования веб-страниц, отправленных на повторную индексацию.

После столь напряженной работы по подбору контента, подходящего для пользователей и улучшающего ваш продукт, ваши усилия могут оказаться напрасными, и вы можете упустить возможность привлечь людей к вашему сайту и вашему продукту. Люди, которые не могут посетить ваш сайт, если он не проиндексирован должным образом, не имеют возможности узнать, что вы его продаете. Чтобы GoogleBot быстрее индексировал ваш веб-сайт, мы также предлагаем компаниям создать профиль в Google Plus и участвовать в сообществах. Кроме того, поделитесь ссылкой на свой веб-сайт или опубликуйте свою ссылку, создав сообщение непосредственно в своем бизнес-листинге Google.