Как узнать количество проиндексированных страниц в Гугле
От автора
Важно следить за количеством проиндексированных страниц сайта. Резкий рост и резкое снижение страниц в индексе, означает, что на сайте существуют проблемы или ошибки которые решать и исправлять.
Способы узнать количество проиндексированных страниц в Гугле
Способ 1. Search Console
Чтобы следить за всеми показателями сайта в поиске Google, нужно зарегистрировать сайт Search Console, – сервисе для комплексного анализа показателей сайта в поиске Гугле.
После регистрации, подтверждении прав на сайт и выполнении необходимых настроек, сервис должен набрать статистику по сайту, в том числе показать, сколько страниц есть в индексе Гугле.
Посмотреть количество и их список можно на вкладке Индекс Google>>>Статус Индексирования.
На диаграмме страницы сервис покажет динамику индексации страниц за год в двух вариантах: Только основные и Расширенные данные.
Основные данные показывают количество страниц в индексе и график индексации по месяцам за год.
Расширенные данные покажут, сколько страниц закрыты от сканирования в файле robots.txt, и сколько страниц вы сами удалили из индекса за текущий год.
Важно! Резкое снижение и резкое увеличение страниц в индексе Гугле, не связанное с вашими действиями на сайте, может говорить о проблемах.
Например, резкое увеличение может говорить о взломе сайта, автоматическим созданием контента, большим количеством дублей. Резкое снижение, говорит, о невозможности Гугле сканировать часть вашего контента или санкциях наложенных новым алгоритмом.
Как говорит сам Google в своих рекомендациях:
Стремитесь к стабильным показателем роста страниц в индексе. Стабильный рост просканированных и проиндексированных страниц сайта говорит, что Гугле регулярно получает доступ к содержанию и индексирует ваш ресурс.
Информация Search Console доступна только после подтверждения прав на сайт, а значит, не всегда доступна и не может использоваться для анализа сайтов конкурентов.
Как в этом случае узнать количество проиндексированных страниц в Гугле?
Способ 2. Язык запросов
Общее количество (приблизительное) проиндексированных страниц сайта можно получить сразу в выдаче Google, сделав такие запросы:
- site:www.example.ru
- site:example.ru
- site:https://www.example.ru
- site:https://example.ru
- site:http://www.example.ru
- site:http://example.ru
, в которых example.ru нужно поменять на свой домен. Без пробелов.
Нажав на кнопку «настройки» внизу поиска можно посмотреть, какие страницы поисковик проиндексировал за час, 24 часа, неделю, месяц.
Второй способ не очень корректный и дает выдачу со всеми страницами, где есть ваш сайт. Включая соцсети, сервисы проверок и т.д. Более точную информацию по количеству проиндексированных страниц в Гугле может дать одно из специальных расширений браузера.
Способ 3. Расширения для браузера
Приведу один пример такого расширения. Оно дает подробную информацию о состоянии сайта с точки зрения оптимизации и индекса. Это расширений под названием «RDS bar».
- Вот его ссылка для Google: //chrome.google.com/webstore/detail/rds-bar-seo-pagerank-dmoz/jlipcaflaocihnmlhnhcfombgmmfglho
- Вот его ссылка для Mozilla: https://addons.mozilla.org/ru/firefox/addon/rds-bar/
- Вот его ссылка для Opera: https://addons.opera.com/ru/extensions/details/rds-bar/
Это расширение для браузеров, в один клик покажет сколько на любом сайте проиндексировано страниц.
Примечание: расширение RDS я показал для примера. Есть аналогичные, такие же мощные расширения и расширения менее функциональные, которые помогут быстро посмотреть индекс сайта и не только в Гугле. Например, SEO Quake (https://www.seoquake.com/index.html).
Это полезно
Если вам нужно моментально узнать есть ли домен или отдельная страница в индексе, используйте Букмарклеты —Java Script программы, оформленные в виде «javascript:URL», сохраняемая как закладка браузера.
Имея такой букмарклер, вы моментально посмотрите есть открытая страница сайта в Индексе.
Вот «буки» от Netpeak: http://img.netpeak.net/melik/index-check.html?_ga=2.163131836.1475269850.1519456507-549606374.1519456507
Их нужно положить в панель закладок вашего браузера и нажать на открытой странице сайта.
Вывод
Каждый веб мастер выбирает инструменты под себя и для выполнения своих задач. Однако надеюсь, что эта статья была полезна, и вы без труда узнать количество проиндексированных страниц в Гугле вашего сайта и сайта ваших конкурентов.
ПохожееПроверка количества проиндексированных на сайте страниц в поисковых системах Яндекс и Google
Проверка количества проиндексированных страниц сайта и получение их списка может показаться на первый взгляд достаточно простой задачей, но есть некоторые нюансы, о которых расскажем ниже.
Самые простые способы посмотреть индексацию любого сайта – операторы в поисковых системах Яндекс и Google. В Google это оператор site:site.ru (где вместо site.ru нужно указать анализируемый сайт). В Яндексе последнее время оператор site:site.ru перестал корректно работать, поэтому на данный момент количество страниц можно проверить с помощью оператора url:http://www.site.ru/* (с указанием www если сайт индексируется с www и наоборот).
Примеры:
Как узнать число новых страниц на сайте или число страниц, проиндексированных за определенный период
В Яндексе можно нажать на иконку расширенного поиска и выбрать диапазон дат:
В Google аналогичные настройки можно сделать через “инструменты->за период”:
Но не все так просто как кажется на первый взгляд. Рассмотрим более точные методы проверки способы как получить больше информации для каждой поисковой системы.
Google Search Console
Часто в Google число страниц, выдаваемое через оператор site: сильно отличается от реального числа проиндексированных страниц. Сотрудники Google отвечают по этому поводу что конструкция site:site.ru всего лишь результат пустого поиска по сайту и не обязана выдавать все страницы сайта.
Более точно узнать число проиндексированных страниц в Google можно имея доступ к Google Search Console в разделе “статус индексирования”.
К сожалению, в данном отчете данные также могут не совпадать с реальными из-за применения фильтров. Разница может доходить до десятков-ста процентов.
Еще один способ, который считается одним из наиболее точных – отчет “Файлы Sitemap”. Здесь указано точное число индексируемых страниц, но с учетом что все полезные страницы были добавлены в файлы sitemap.xml.
Яндекс Вебмастер
В Яндекс.Вебмастере содержатся достаточно точные данные по индексации сайта. Количество страниц, с динамикой можно посмотреть в разделе “страницы в поиске”.
Также в Яндекс.Вебмастере можно получить выгрузку страниц со статусами, включая индексацию, которая, правда ограничена 50.000 страницами. Пример выгрузки:
Выгрузку можно скачать в уже описанном выше отчете “страницы в поиске”.
Альтернативные способы проверки индексации сайта
Иногда перечисленные методы не подходят, тогда можно использовать альтернативные.
- Парсинг сайта (например, через программу Screaming Frog) и постраничная проверка индексации в Google/Yandex. Например, через сервис https://www.rush-analytics.ru/ -> “проверка индексации”. Минусы: не все страницы в индексе могут иметь ссылки из меню или страниц сайта, можно как дополнение использовать способы описанные в пунктах 2,3 ниже.
- Страницы, на которые есть органический трафик из перечисленных операционных систем (можно посмотреть через системы статистики Яндекс.Метрика и Google.Analytics).
- Страницы на которые есть внешние ссылки. Внешние ссылки можно получить через такие сервисы как Ahrefs.com.
Как определить количество проиндексированных страниц в Яндексе и Google
Определяем количество проиндексированных страниц сайта с помощью специального запроса (документный оператор)
Для Яндекса: site:o-es.ru
Аналогично и для Google: site:o-es.ru
Видно, что в Google проиндексировано больше страниц. Это связано с тем, что поисковая система Google индексирует сайты и добавляет страницы в основной индекс быстрее Яндекса.
При помощи Яндекс.Вебмастер (Google Вебмастер)
Данные по сайту o-es.ru в панели Яндекс.Вебмастер.
Страниц в поиске – 126. Данное значение отличается от значений полученных оператором (site).
Официальный ответ поддержки Яндекса:
Я бы рекомендовал Вам ориентироваться на результаты поиска.
Данная ситуация может быть связана с тем, что в зависимости от типа устройства, типа браузера и операционной системы, у нас применяются разные настройки поиска. Из-за этого значение найденных ответов может отличаться от того, каким оно окажется на последней странице. Также на отображение числа ответов могут влиять проводимые на нашей стороне эксперименты.
Соответственно ориентируемся на значения, полученные запросом site:o-es.ru.
Почему Загруженных страниц в Яндекс.Вебмастере больше чем Страниц в поиске?
В разделе Загруженные страницы (Яндекс.Вебмастер) отображается информация обо всех страницах, которые известны нашему роботу, а в разделе Страницы в поиске (Яндекс.Вебмастер) показываются только те из них, которые реально участвуют в поиске.
Причин, по которым загруженные страницы могут не участвовать в поиске, много:
- Они могут быть дубликатами уже показанных страниц.
- Содержать поисковый спам.
- Содержать ненужный пользователям контент.
- Либо при их загрузке произошла ошибка. Те страницы, при загрузке которых произошли ошибки, можно посмотреть в разделе Исключенные страницы.
Необходимо добиться, чтобы количество проиндексированных страниц в Яндексе и Google были одинаковыми, допускается погрешность в 10-15%. Разница может означать дублирование проиндексированных страниц или наоборот, что какие-то из них еще не проиндексированы поисковой системой. Поэтому количество страниц в индексе должно быть одинаковым и сопоставляться с реальным на сайте.
Как проверить индексацию конкретной страницы сайта в Яндексе и Google?
Для Яндекса.
Используем оператор Url
Синтаксис: url:полный URL
Пример:
О документарных операторах Яндекса: https://yandex.ru/support/search/query-language/search-operators.xml
Для Google.
Используем оператор Site
Синтаксис: site:полный URL
Пример:
5 простых приемов для ускорения индексации новых страниц (сайта) в Яндексе:
- Используем сервис Переобходчик страниц (Яндекс.Вебмастер).
- Используем сервис Сообщить о новом сайте https://webmaster.yandex.ru/addurl.xml.
- В рамках структуры сайта, должны быть ссылки на все страницы.
- Внешние ссылки на новые страницы.
- Устраняем технические ошибки (SEO-аудит сайта: дубли, битые ссылки, ошибка 404 и др.).
Необходимо дождаться индексации изменений и обновление поисковой базы (апдейт). За апдейтами можно следить тут — http://tools.promosite.ru/
Если, скажем, через месяц после исправления всех ошибок и недочетов ситуация не изменилась, можно попробовать написать в техподдержку Яндекса о проблемах индексации сайта, чтобы выявить причины. Делать это нужно обязательно, так как напрямую влияет на продвижение сайта по трафику.
Как написать в тех. поддержку Яндекса?
- Добавляем сайт в Яндекс.Вебмастер (подтверждаем права на сайт).
- Переходим в панель управления вашим сайтом.
- В нижней части страницы (footer), находим ссылку Обратная связь.
- Открывается страница службы поддержки, выбираем Индексирование сайта.
- Выбираем Мой сайт плохо индексируется.
- Выбираем Новые страницы сайта долго не попадают в поиск.
- Ставим чекбокс Рекомендации не помогли.
- Заполняем поля и отправляем форму.
Какие поля заполнять:
- Из списка сайтов, выбираете соответствующий сайт.
- Указываете 2-3 примера страниц, которые не проиндексированы поисковой системой.
- В поле Сообщение укажите проблему и действия, которые были сделаны для устранения проблемы. Как долго не решается вопрос.
- Указываете ваше имя и email.
Переобход страниц – новый инструмент Яндекс.Вебмастер
Контролируйте процесс индексации вашего сайта, добивайтесь успеха в продвижении!
Проверить количество проиндексированных страниц в Яндекс и Google
Главная суть
Для оценки качества продвижения необходимо понимать сколько на сайте индексируемых страниц — реальное или приближенное значение.
Реальное количество индексируемых страниц можно получить путем парсинга сайта с настройками краулера приближенными к поисковым системам.
Количество страниц проиндексированных Яндексом (YIndex-Pages) и Google (GIndex-Pages) могут отличаться от реальности. Если это так — значит есть присутствие недостаточно-качественного материала на сайте, дублей мусора и прочего.
Формула
Index-Pages = (реальное кол-во индексируемых документов)Частный случай
YIndex-Pages = (кол-во страниц в поиске Яндекса)GIndex-Pages = (кол-во страниц в поиске Google)В идеале
Index-Pages = YIndex-Pages = GIndex-PagesНо к такому значению можно приблизиться за счет улучшения показателя Tr-Pages,% => 100%.
От куда брать данные?
Google Search Console
«Индекс» => «Покрытие» => Таб «Страница без ошибок» (таб «Без ошибок, есть предупреждения» также можно учитывать, но можно списать на погрешность) => можно посмотреть значение на определенный день (отображаются данные за последние 3 месяца).
Отчет покрытие в Гугл вебмастере.
Альтернатива. Поиск Google
Используем оператор site:hostname.ru, где hostname.ru — название исследуемого хоста.
Проверка индекса в поиске Google.
Минус подхода: смотрим данные на текущий момент.
Результаты являются значением GIndex-Pages или Index-Pages (если принимаем данное количество за истину).
Яндекс.Вебмастер
«Индексирование» => «Страницы в поиске» => смотрим количество страниц на определенную дату.
Отчет «Страницы в поиске» в вебмастере Яндекс.
Альтернатива. Поиск Яндекс
Используем аналогично оператор host:hostname.ru | host:www.hostname.ru
Проверка индекса в поиске Яндекса. «Нашлось Х результатов» — где Х — нужное нам число.
Минус подхода: смотрим данные на текущий момент.
Результаты являются значением YIndex-Pages или Index-Pages (если принимаем данное количество за истину).
Примечание. В вебмастерах Гугла и Яндекса необходимо смотреть количество страниц в индексе по всем версиям сайта: с префиксом www и без, с http- и https-протоколами — т.е. суммировать показатель.
Инструменты Netpeak Spider или Screaming Frog SEO Spider
Тут важно задать правильные настройки сканирования, аналогично краулерам поисковиков.
Учет файла robots.txt, директивы meta robots noindex, соблюдение тега Canonical, следование редиректам и т.п. Так же желателен учет Sitemap. Это всё делается с целью поиска всех возможных url.
Netpeak Spider
Сканируем сайт с необходимыми настройками и получаем значение («Индексируемые URL«):
Screaming Frog SEO Spider
Парсим сайт, в фильтре выбираем тип документов «HTML». В столбце «Indexability» — делаем сортировку, чтобы первыми шли «Non-Indexable«. Считаем количество таких страниц и вычитаем из общего количества отфильтрованных.
Т.е. считаем количество HTML-контент со значением «Indexable«:
Примечание. Помните, что если у вас не настроены базовые редиректы, то url сайта с префиксом www и без, с http- и https-протоколами — то одна страница будет доступной по нескольким url-ам. Существуют и другие варианты дублирования контента, эта тема отдельной статьи.
После парсинга сайта отбираем индексируемые HTML-страницы отдающие код 200. Количество таких страниц является истинным значением Index-Pages.
Вместо заключения
Оценка индекса позволяет выявить проблемы индексации, определить текущий потенциал сайта.
Показатели YIndex-Pages и GIndex-Pages могут быть не точными — в индексе поисковиков могут оставаться еще не склеенные страницы после простановки редиректов и тега Canonical…
Слишком большие различия между поисковиками — могут свидетельствовать о дублировании контента (чаще всего), а также о его низком качестве.
Большие различия между результатами поисковиков и реальным количеством — может говорить об отсутствии корректной настройки индексации сайта.
7.17Следующие страницы вас также могут заинтересовать:
Обновлено: 22.12.2020 6212
Как проверить индексацию конкретной страницы и всего сайта в Яндексе и Google?
Индексация — процесс добавления сведений о сайте роботом в базу данных, которая потом используется для поиска. Бот индексирует ссылки, изображения, видео, и другие элементы на сайте. Если сайт или отдельная страница не проиндексированы, то поисковая система просто не их увидит. Рассказываем как проверить индексацию.
Яндекс
Проверка индексации страницы
Необходимо в строку поиска Яндекс написать следующий запрос:
url:domain.ru/page/
domain.ru/page/ — адрес проверяемой страницы. Важно! Вводить необходимо адрес с www, если страницы на сайте открываются с www, и без www, если на сайте они без www. Если вы не уверены — проверьте оба варианта.
url: — оператор для проверки индексации страницы.
Если в результатах поиска страница найдена, значит она проиндексирована данной поисковой системой. Пример.
Если по запросу ничего не найдено, страница не проиндексирована
Проверка индексации всего сайта в Яндексе
Для проверки индексации всего сайта в Яндекс необходимо использовать следующий запрос:
url:domain.ru/*
domain.ru — доменное имя проверяемого сайта.
url: — оператор для проверки индексации страницы.
* — оператор «любой символ».
Важно! Вводить необходимо адрес с www, если страницы на сайте открываются с www и без www, если на сайте они без www. Если вы не уверены — проверьте оба варианта.
В результате получаем список проиндексированных страниц, а справа от результатов выдачи написано, сколько всего страниц данного сайта находится в поиске. Пример.
Иногда данный запрос не работает и вместо него можно использовать оператор site:domain.ru
Проверка индексации страницы
Необходимо ввести в строку поиска Google запрос:
info:domain.ru/page
domain.ru/page — адрес проверяемой страницы.
info: — оператор для проверки индексации страницы.
Если страница проиндексирована, значит в результатах поиска будет ссылка на проверяемую страницу. Пример.
Проверка индексации всех страниц сайта в Google
Для проверки индексации страницы в поисковой системе Google необходимо ввести в строку поиска запрос:
site:domain.ru
domain.ru — доменное имя сайта.
site: — оператор проверки индексации всех страниц сайта.
В результатах поиска появится список страниц в поиске, а под поисковой строкой общее количество проиндексированных страниц. Пример.
Проверить индексацию страниц сайта в Яндекс и Google | Массовая проверка индексации сайта в поисковых системах
Большинство оптимизаторов используют для проверки индексации онлайн браузерные бары вроде RDS-bar и других.
Все бары берут эти данные из выдачи поисковых систем c помощью различных операторов и просто «подтягивают» в свой интерфейс.
Но стоит учитывать что данные, полученные таким способом не точные, так как поисковые системы не отдают корректные данные об индексации для больших сайтов. По картинкам выше можно заметить расхождения в данных даже для маленького сайта. Для больших сайтов (начиная от 10 000 страниц) данные по индексации могут очень сильно искажаться!
Как же корректно проверить сайт на индексацию, чтобы данные были точными?
В отличие от сайта целиком, поисковые системы выдают точные данные об индексации каждой конкретной страницы. Следовательно, необходимо взять все нужные страницы сайта и проверить индексацию каждой из них по отдельности, а затем свести все данные вместе для получения целостной картины индексации всего сайта. Это верно как для Яндекса, так и для Гугла.
Большинство онлайн сервисов по проверке индексации дают возможность проверить небольшое количество страниц — от 10 до 100. А что делать, если нужно проверить на индексацию большой интернет-магазин или портал размером 100 000 или несколько миллионов страниц? Для задач такого масштаба в Rush Analytics был запущен модуль проверки индексации в Яндексе и Гугле. Основные преимущества и возможности данного модуля:
- Удобная пакетная загрузка страниц на проверку индексации тремя способами:
а) С помощью списка URL
б) С помощью файла, поддерживаются форматы xls, xlsx, xml
в) С помощью файла Sitemap.xml – просто укажите путь к карте сайта, мы сами спарсим ее, достанем оттуда URL и пробьем их на индексацию!
- Неограниченное количество URL на проверку – вы можете за раз проверить на индексацию от одной, до нескольких миллионов страниц!
- Доступна проверка индексации как в Яндексе, так и в Гугле: вы можете отправить свои страницы на проверку только в одной поисковой системе или в обоих сразу, достаточно поставить всего одну галку
- Удобная выгрузка в Excel. Вы можете просматривать данные как в веб-версии сервиса, так и быстро выгрузить их файлом
У нас предусмотрены особые условия для больших сайтов и порталов. Если у вас есть потребность в разовой или постоянной проверке на индексацию в Яндекс и Google от 200 000 страниц, напишите нам в поддержку на [email protected] и мы найдем что вам предложить!
Почему Google показывает разное число проиндексированных страниц? Google SEO Snippets
Специалисты Google продолжают делиться знаниями о сниппетах, которые можно использовать с пользой для SEO, а мы публикуем перевод очередного видео.
Вопрос для этого видео к нам пришёл из Бразилии. Макао спрашивает, почему Search Console и google.com показывают разное число индексированных страниц?
В зависимости от того, где вы смотрите этот показатель, вы можете увидеть разные цифры, показывающие, сколько страниц индексируется. Какие из них правильные и какие нужно использовать?
Удивительно, но настоящее число страниц сайта довольно сложно определить. Можно предположить, что это просто подсчет страниц ресурса, начиная с главной и заканчивая ссылками с нее. Однако на большинстве сайтов очень много разных способов перейти на ту или иную страницу. Могут быть разные параметры URL – любые знаки после знака вопроса в адресе – которые ведут на одну и ту же страницу. Иногда заглавные и строчные буквы в URL так же ведут на одну и ту же страницу. Или вы можете добавить слэш в конце адреса – и все равно они будут вести на одну и ту же страницу.
У некоторых сайтов есть календарь или нечто похожее, что ведет на бесчисленное количество недоступных страниц. И предполагая, что у большинства сайтов бесконечное число страниц, Google должен показывать этот бесконечный счет? Вряд ли это будет полезно.
Так какие же цифры вы видите и откуда они взялись? Существует три основных способа для подсчета проиндексированных страниц. Первый: можно проверить запрос в поиске Google. Второй: можно использовать отчет о статусе индекса в Search Console. Третий: можно посмотреть количество индексов в файле sitemap. Давайте рассмотрим все три варианта.
В поиске Google вы можете ввести сайт, поставить двоеточие и затем – ваше доменное имя. Google покажет образец индекса страниц вашего сайта с приблизительном количеством URL-адресов. Это число будет очень приблизительным и основанным на том, что Google видел на вашем в сайте. Google старается показывать результаты поиска как можно скорее, поэтому его счетчик работает на скорость, а не на точность. Для грубого примерного подсчета этот метод можно использовать, но как точный показатель – не рекомендуем.
Второй и третий методы предполагают использование Google Search Console – бесплатного инструмента, с помощью которого можно верифицировать свой сайт. В Search Console есть отчёт, в котором показывается количество проиндексированных URL-адресов вашего сайта. Это количество будет гораздо точнее и включает в себя фактические адреса индекса с вашего сайта. В основном – это страницы с уникальным контентом. Таким образом, как правило, исключаются URL с нерелевантными параметрами адреса. Тем не менее отчет может включать много адресов, которые вам могут быть совсем не нужны.
Третий способ проверки – индекс URL-адреса сайта. Для каждого файла sitemap, который вы создаете, можно увидеть, сколько из URL было фактически проиндексировано. Однако нужно иметь в виду, что этот подсчет основан на точном URL-адресе, указанном в файле sitemap. Поэтому, если содержимое страниц вашего сайта индексируется каким-то другим URL, то учитываться там он не будет.
На практике как основу для составления таких показателей мы рекомендуем использовать либо файл sitemap, либо индекс URL-адреса Search Console. Сейчас это самые точные механизмы, доступные владельцам сайтов.
Как я могу узнать, сколько страниц моего домена проиндексировано Google?
Google предоставляет два простых варианта определения количества проиндексированных страниц вашего домена. Общее количество проиндексированных страниц может сильно отличаться от общего количества страниц, которые у вас действительно есть в домене.
Вариант №1: сайт Google: -запрос
Используя простой поисковый запрос с так называемым оператором «site:» и вашим доменом, вы можете получить приблизительное количество страниц, проиндексированных Google.
В маске поиска Google введите следующее:
сайт: www.my-domain.com Результат поискового запроса должен выглядеть следующим образом: Красные метки указывают количество проиндексированных страниц.
Отмечено красным — приблизительное количество проиндексированных страниц.Если в индексе много страниц, результат site: -query может быть отфильтрован с использованием различных параметров:
- site: www.my-domain.com/subdirectory /
Отображает только проиндексированные страницы в каталоге / подкаталоге / - сайта: www.my-domain.com Фраза по выбору
Отображает только те проиндексированные страницы, которые содержат фразу по вашему выбору - site: www.my-domain.com inurl: фраза
Отображаются только те проиндексированные страницы, которые содержат слово «фраза» в URL - site: www.my-domain.com intitel: фраза
Отображает только те проиндексированные страницы, которые содержат слово «фраза» в заголовке. - site: www.my-domain.com filetype: pdf
Отображает только те проиндексированные страницы. файлы с выбранным типом файла (другие возможные типы файлов: doc, pdf, ps, xls, rtf, swf и т. д.)
Вариант № 2: Использование Google Search Console
Вы можете легко получить обзор проиндексированных страниц вашего домена в Google Search Console.
Если вы еще не используете Google Search Console, вы можете бесплатно активировать свой веб-сайт (www.google.com/webmasters/tools/?hl=en) всего за несколько минут. Это позволяет вам также использовать следующую опцию, чтобы получить обзор статуса индексации.
Анализ статуса индексации вашего веб-сайта с помощью Google Search Console:
- Войдите в Google Search Console и выберите желаемый веб-сайт.
- Нажмите «Google Index» в левой навигационной панели.
- Нажмите «Index» Статус »в подменю
Теперь вам отображается график« Статус индекса »для вашего домена, где вы также можете добавлять фильтры, например, также отображать график для страниц, заблокированных роботами.текст.
Количество проиндексированных страниц, а также страниц, заблокированных файлом robots.txt в Google Search Console.Поисковая система Bing также предоставляет собственные инструменты для веб-мастеров, которые также позволяют оценить количество проиндексированных страниц в Bing.
История проиндексированных страниц в инструментах для веб-мастеров bing (http://www.bing.com/toolbox/webmaster)Оценка с помощью SISTRIX Toolbox
В модуле SEO SISTRIX Toolbox вы можете проанализировать историю проиндексированных страницы домена более подробно.График покажет историю показателей индекса от Google. Мы очень регулярно отслеживаем большинство доменов, но для более регулярного обновления этого показателя вы можете добавить домен в свой список наблюдения.
- История проиндексированных страниц домена:
Причины, по которым ваш сайт не индексируется Google
Уменьшение количества проиндексированных веб-страниц Google и другими поисковыми системами является серьезной проблемой.Если вы хотите получить какой-либо органический трафик на свой сайт из Google, то его индексирование — одна из важнейших задач SEO. Если такое произойдет, вам необходимо исправить эту проблему как можно раньше, иначе ни один пользователь не сможет найти ваш веб-сайт или контент, поскольку они не будут частью поискового индекса Google. Вам следует начать с определения проблемы индексации. Если ваш веб-сайт новый или имеет проблемы с техническим SEO или контентом, это может быть основной причиной ограниченного количества проиндексированных веб-страниц.
Для достижения рейтинга в поисковой выдаче получение большего количества проиндексированных веб-страниц важно и важно. Веб-страницы, не индексируемые Google, могут быть признаком того, что Google либо не нравится ваша страница, либо не может легко ее просканировать. Мы понимаем вашу озабоченность, поэтому здесь мы обсудим 3 основные причины, по которым Google может не проиндексировать ваш веб-сайт.
- Время загрузки вашей страницы медленное
Ваш веб-сайт должен выдать код ответа сервера 200 (OK), чтобы его проиндексировала любая поисковая система.
- Внутренняя и внешняя проблема дублирования содержимого
Эта проблема может сбить с толку поисковые системы и привести к уменьшению индексации URL-адресов. 301 и канонизация могут быть решениями.
- Изменение структуры URL
Изменение домена, поддомена или папки может произойти из-за модификации CMS, настроек сервера или внутреннего программирования, и это может изменить URL-адрес сайта.
Некоторые другие распространенные причины могут заключаться в том, что ваш веб-сайт подвергся санкциям со стороны Google; Google сочла ваши веб-страницы нерелевантными; Google не может сканировать веб-страницы и т. Д. Давайте кратко обсудим некоторые из этих распространенных причин —
- Ваш веб-сайт новый, не проверенный, и Google его еще не нашел
Если ваш веб-сайт новый, вы должны дать ему некоторое время для индексации, а также убедиться, что ваша карта сайта создана и отправлена.
- Веб-сайт или некоторые страницы заблокированы с помощью robots.txt
Это может произойти, если ваш редактор или разработчик заблокирует ваш сайт с помощью robots.txt. Не волнуйтесь, вы можете легко исправить это, удалив запись из robots.txt и заставив свой веб-сайт снова появиться в индексе.
- Наличие sitemap.xml жизненно необходимо
Sitemap.xml — это список направлений, по которым Google будет индексировать ваш веб-сайт. В случае проблем с индексацией вам следует пересмотреть и повторно отправить карту сайта.xml.
Если Google не может сканировать некоторые страницы вашего веб-сайта, он не будет их индексировать. Вам необходимо выявить эти ошибки сканирования и диагностировать неиндексированные страницы.
Итак, это были некоторые из основных факторов, повлиявших на снижение количества индексируемых веб-сайтов Google, и меры, которые вы можете предпринять для устранения проблем.
Как более точно измерять проиндексированные страницы
Если возникает необходимость проверить, сколько страниц сайта проиндексировано (т. Е. Тех URL-адресов, которые возвращаются в результатах поиска), первая реакция многих оптимизаторов поисковых систем — вернуться на сайт: запрос , но на самом деле этот запрос возвращает все URL-адреса, о которых знает Google, включая канонизированные страницы, поэтому, вероятно, он неточен.
Имея это в виду, давайте рассмотрим несколько более точных способов поиска проиндексированных страниц, а затем метод их объединения, чтобы найти более точную окончательную цифру.
Search Console
Отчет о статусе индекса(Индекс Google> Статус индекса)
Этот высокоуровневый отчет покажет вам количество страниц в индексе, которое можно сравнить с вашим собственным подсчетом, хотя он может включать дубликаты, которые могут быть отфильтрованы из «реальных» результатов поиска.
Счетчик индексации файлов Sitemap (Сканирование> Файлы Sitemap)
Показывает счетчик индексации ваших файлов Sitemap. Если количество отправленных страниц совпадает с количеством проиндексированных страниц, вы знаете, что проиндексированы 100% URL-адресов. Если у вас есть файлы Sitemap с меньшим количеством файлов в каждом, вы с большей вероятностью сможете использовать эту информацию.
Счетчик индексации файла Sitemap для уникального URL
Джон Мюллер из Google рекомендует создать файл Sitemap, содержащий все ваши уникальные URL, а затем отправить его в Search Console.Это даст вам более точную информацию о количестве уникальных проиндексированных URL.
страницы с показами поисковой выдачи (поисковый трафик> поисковая аналитика)
Все, что вызывает поисковый показ, должно быть проиндексировано.
Google Analytics
Каждая страница, которую Google посещал за последнее время, почти наверняка все еще проиндексирована. Хотя он не на 100% надежен, он очень точен, в зависимости от периода, который вы измеряете.
Рейтинговая проверка
Любой URL-адрес, который занимает место в результатах поиска, должен быть проиндексирован: используйте предпочитаемую вами программу проверки рейтинга, чтобы загрузить больше проиндексированных URL-адресов, которые могут быть не обнаружены другими способами.
Информация: запрос
Это более точный способ проверить, проиндексирована ли страница, однако его можно использовать только для проверки одного URL-адреса за раз.
Комбинации
1. Загрузите и объедините все URL-адреса из этих источников в Excel, затем удалите дубликаты:
2.Просканируйте URL-адреса как сканирование списка, чтобы получить количество уникальных страниц:
Вы можете вставить до 2000 URL-адресов в виде списка или загрузить файл.
3. Затем вы можете сравнить это количество уникальных URL-адресов с числом, указанным в счетчике проиндексированных страниц в Search Console.
Индексация: дополнительная литература
Автор
Теги
Сканирование и индексирование
проиндексированных vs.Неиндексированные страницы для Google | Отправленные и проиндексированные страницы в Инструментах для веб-мастеров
Любая компания, у которой есть веб-сайт, должна уже рассматривать этот домен в качестве торгового представителя в Интернете — при правильном выполнении кампании контент-маркетинга он может привлечь трафик и потенциальных клиентов. Следующий шаг с этим веб-сайтом должен заключаться в том, чтобы убедиться, что Google распознает этот веб-сайт. Король поиска делает это, находя, просматривая и индексируя отдельные веб-страницы.
Google находит веб-страницы (уникальные URL-адреса) по ссылкам и XML-файлам Sitemap, отправленным в Инструменты Google для веб-мастеров.Google сканирует веб-страниц, которые он находит, чтобы определить ценность содержания на странице, поскольку оно связано с поисковыми пользователями и их запросами. Затем индексирует страницы на основе этих определений (представьте себе огромную библиотеку веб-страниц, каталогизированную Google).
Если вы правильно настроили свой веб-сайт в Инструментах Google для веб-мастеров, значит, вы уже отправили карту сайта в формате XML (или за вас это сделала такая замечательная маркетинговая компания, как Blue Corona).
Но что происходит, когда вы отправляете карту сайта и есть проиндексированные и не проиндексированные страницы? К счастью для вас, я здесь ради этого!
Что означает «проиндексированные страницы»?
проиндексированных страниц были обнаружены поисковыми роботами (такими как пауки для Google) и считаются достаточно качественными для релевантных поисковых фраз. Проиндексированные страницы будут отображаться в результатах поиска и могут привлекать на ваш сайт обычный трафик.
В приведенном ниже примере вы можете видеть, что 137 страниц веб-сайта этой компании были проиндексированы Google:
Что означает «неиндексированные страницы»?
Google не гарантирует, что он просканирует (или, таким образом, проиндексирует) каждый URL вашего веб-сайта.Если ваш веб-сайт новый или вы недавно добавили на него много новых страниц, возможно, они еще не проиндексированы. При наличии миллионов доменов Google требуется время, чтобы просканировать и проиндексировать каждый из них, чтобы получить максимальную выгоду для своих поисковых пользователей. Если вы недавно добавляли или обновляли карту сайта, подождите, пока новые страницы не будут проиндексированы.
Если прошло какое-то время, а Google все еще перечисляет многие страницы в вашей карте сайта как «не проиндексированные», возможно, существует более серьезная проблема либо с качеством ваших страниц, либо со структурой вашей карты сайта.Страницы, которые Google часто не индексирует, включают:
- Страницы категорий блога
- Страницы авторов блога
- Страницы, проиндексированные в другом домене (www.example.com, а не example.com)
- Страницы с ошибками 404 или сервера
- Страницы с кодировкой или каноническим тегом, который говорит Google игнорировать его
- Некачественные страницы или дублирующийся / идентичный контент на разных страницах
Как заставить Google индексировать больше страниц?
Вместо того, чтобы зацикливаться на том, сколько страниц «не проиндексировано», сосредоточьтесь на том, чтобы каждая страница вашего сайта имела высококачественный контент, который пользователи сочтут ценным.Но если вы обнаружите, что количество отправленных вами страниц не соответствует количеству проиндексированных Google страниц, вы можете сделать несколько вещей, чтобы гарантировать, что Google ценит каждую страницу вашей карты сайта:
- Включите релевантное содержание на каждую страницу своего веб-сайта
- Повысьте авторитет своего сайта, получив больше ссылок с авторитетных сайтов
- Сделайте страницы вашего веб-сайта удобными для поиска Google
- Отправьте обновленные карты сайта в Инструменты для веб-мастеров Google
- Сосредоточьтесь на создании и распространении замечательного контента
Подробнее об улучшении статуса вашего сайта в индексе »
В основном я говорю вам, что да, иногда у вас будут и проиндексированные, и не проиндексированные страницы в статусе индексирования ваших инструментов Google для веб-мастеров.Сосредоточение внимания на этом несоответствии должно лишь высветить более серьезную проблему — Google не придает значения неиндексированным страницам. Это означает, что они не смогут ранжировать, привлекать посетителей вашего сайта и (главная цель всех них) превращать посетителей в потенциальных клиентов из обычного поискового трафика.
Если вам нужна помощь в управлении веб-сайтом вашей компании, инструментами Google для веб-мастеров или картой сайта, свяжитесь с нами сегодня. Мы будем рады помочь вам и убедиться, что ваше присутствие в Интернете способствует развитию вашего бизнеса.Звоните нам сегодня!
Ваши проиндексированные страницы падают — 5 возможных причин, почему
Важно, чтобы ваши веб-страницы были проиндексированы Google (и другими поисковыми системами). Страницы, которые не проиндексированы, не могут ранжироваться.
Как узнать, сколько страниц вы проиндексировали? Можно
Каждый даст разные числа, но почему они разные — это отдельная история.
А пока давайте просто поговорим об анализе уменьшения количества проиндексированных страниц, о которых сообщает Google.
Если ваши страницы не индексируются, это может быть признаком того, что Google может не понравиться ваша страница или что она не сможет легко ее просканировать.Таким образом, если количество проиндексированных страниц начинает уменьшаться, это может быть связано с одной из следующих причин:
- Вы подверглись штрафу Google.
- Google считает ваши страницы нерелевантными.
- Google не может сканировать ваши страницы.
Реклама
Продолжить чтение ниже
Вот несколько советов о том, как диагностировать и исправить проблему уменьшения количества проиндексированных страниц.
1. Правильно ли загружаются страницы?
Убедитесь, что у них правильный статус HTTP-заголовка 200.
У сервера были частые или длительные простои? Срок действия домена недавно истек и был ли продлен с опозданием?
Элемент действия
Вы можете использовать бесплатный инструмент проверки статуса заголовка HTTP, чтобы определить, есть ли там правильный статус. Для крупных сайтов их можно проверить с помощью типичных инструментов сканирования, таких как Xenu, DeepCrawl, Screaming Frog или Botify.
Правильный статус заголовка — 200. Иногда могут появляться ошибки 3xx (кроме 301), 4xx или 5xx — ни одна из них не является хорошей новостью для URL-адресов, которые вы хотите проиндексировать.
2. Изменились ли ваши URL-адреса в последнее время?
Иногда изменение в CMS, внутреннем программировании или настройках сервера, которое приводит к изменению домена, поддомена или папки, может, следовательно, изменить URL-адреса сайта.
Поисковые системы могут запоминать старые URL-адреса, но, если они не перенаправляют должным образом, многие страницы могут быть деиндексированы.
Реклама
Продолжить чтение ниже
Действие
Надеемся, что копию старого сайта все еще можно будет посетить каким-либо образом или в форме, чтобы записать все старые URL-адреса, чтобы вы могли отобразить 301 редиректы на соответствующие URL-адреса .
3. Исправили ли вы повторяющиеся проблемы с контентом?
Исправление дублированного контента часто включает в себя использование канонических тегов, переадресации 301, метатегов noindex или запретов в robots.txt. Все это может привести к уменьшению проиндексированных URL-адресов.
Это один из примеров, когда уменьшение проиндексированных страниц может быть на хорошо .
Действие
Так как это хорошо для вашего сайта, единственное, что вам нужно сделать, это дважды проверить, действительно ли это является причиной уменьшения проиндексированных страниц, а не чего-либо еще.
4. Время ожидания ваших страниц истекает?
Некоторые серверы имеют ограничения по полосе пропускания из-за связанных затрат, связанных с более высокой пропускной способностью; эти серверы могут нуждаться в обновлении.
Иногда проблема связана с оборудованием и может быть решена путем обновления аппаратной обработки или ограничения памяти.
Некоторые сайты блокируют IP-адреса, когда посетители обращаются к слишком большому количеству страниц с определенной скоростью. Этот параметр является строгим способом избежать попыток взлома DDOS, но он также может оказать негативное влияние на ваш сайт.
Обычно это отслеживается при второй настройке страницы, и если порог слишком низкий, нормальное сканирование ботами поисковой системы может достигнуть порогового значения, и боты не смогут сканировать сайт должным образом.
Action Item
Если это ограничение пропускной способности сервера, то, возможно, сейчас подходящее время для обновления услуг.
Если это проблема обработки / памяти сервера, помимо обновления оборудования, дважды проверьте, есть ли у вас какая-либо технология кэширования сервера, это снизит нагрузку на сервер.
Если установлено программное обеспечение для защиты от DDOS, ослабьте настройки или внесите Googlebot в белый список, чтобы он не блокировался в любое время. Однако будьте осторожны, есть несколько поддельных роботов Google; обязательно правильно определите googlebot. Процедура обнаружения Bingbot аналогична.
Реклама
Продолжайте читать ниже
5. По-разному ли поисковые роботы видят ваш сайт?
Иногда то, что видят пауки поисковых систем, отличается от того, что мы видим.
Некоторые разработчики создают сайты предпочтительным образом, не зная о последствиях для SEO.
Иногда предпочтительная готовая к работе система CMS используется без проверки, является ли она удобной для поисковых систем.
Иногда это могло быть сделано специально оптимизатором поисковых систем, который пытался скрыть контент, пытаясь обмануть поисковые системы.
В других случаях веб-сайт был взломан хакерами, которые заставляли Google показывать другую страницу для продвижения своих скрытых ссылок или маскировки перенаправления 301 на свой собственный сайт.
Хуже того, если страницы заражены каким-либо вредоносным ПО, которое Google автоматически деиндексирует страницу сразу после обнаружения.
Action Item
Использование функции выборки и обработки в Google Search Console — лучший способ узнать, видит ли робот Google то же содержание, что и вы.
Вы также можете попытаться перевести страницу в Google Translate, даже если у вас нет намерения переводить язык или проверять кешированную страницу Google, но есть также способы обойти это, чтобы по-прежнему скрывать контент за ними.
Реклама
Продолжить чтение ниже
Индексные страницы не используются в качестве типичных KPI
Ключевые показатели эффективности (KPI), которые помогают измерить успех кампании SEO, часто связаны с органическим поисковым трафиком и рейтингом.KPI, как правило, сосредоточены на целях бизнеса, которые связаны с доходом.
Увеличение количества проиндексированных страниц может увеличить возможное количество ключевых слов, по которым вы можете ранжироваться, что может привести к более высокой прибыли.
Тем не менее, смысл просмотра проиндексированных страниц в основном состоит в том, чтобы увидеть, могут ли поисковые системы правильно сканировать и индексировать ваши страницы.
Помните, что ваши страницы не могут ранжироваться, если поисковые системы не могут их видеть, сканировать или индексировать.
Уменьшение проиндексированных страниц — не всегда плохо уменьшилось количество проиндексированных страниц, что хорошо.
Узнайте, как оценить свой сайт, изучив эти пять возможных причин, по которым ваши проиндексированные страницы падают.
Реклама
Продолжить чтение ниже
Авторы изображений
Показанное изображение: Пауло Бобита
Насколько важно количество проиндексированных страниц? | SEO вопросы и ответы
Привет, ребята, девчонки,
У меня есть действительно хитрый клиент, с которым я просто не могу добиться согласованности в результатах поисковой выдачи.
Ключевые слова конкурентоспособны, но основная проблема, с которой я сталкиваюсь, — это большие скачки страниц, которые происходят почти каждую неделю. Мы поднимаемся и опускаемся на 40 позиций, и такое поведение продолжается почти 6 месяцев.
Я чувствовал, что со временем он рассосется, но этого не произошло.
Веб-сайт представляет собой большой веб-сайт электронной коммерции. Их ссылочный профиль в порядке в отношении нескольких высококачественных ссылок на публикации в газетах, якорных текстов, относящихся к большинству брендов, и построение ссылок, которым мы занимались, было очень хорошим i.е. контент релевантных / высококачественных мест.
См. Ниже некоторые возможные причины, которые, я думаю, могут быть причиной:
Внутреннее SEO хорошее, однако из-за того, как настроен их веб-сайт электронной коммерции, они сформировали значительное количество повторяющихся тегов заголовков. Так что, на мой взгляд, это потенциальная причина.
Предыдущая настройка веб-разработчика 301 перенаправляет всех на их домашнюю страницу при любых ошибках 404. Я знаю, что лучше всего переходить на наиболее релевантные страницы, но может ли это быть потенциальной проблемой?
У нас были некоторые проблемы с подключением к серверу, обнаруженные в инструментах для веб-мастеров, но это было в течение 1 дня около 4 месяцев назад.С тех пор никаких проблем.
у них довольно много «заблокированных URL-адресов» в их файле robots.txt, например Disallow: / login, Disallow: / checkout / но мне это кажется нормальным и не является большой проблемой.
За последние 12 месяцев мы наблюдали снижение «общего числа проиндексированных веб-страниц» в Инструментах для веб-мастеров с 5000 до 2000, что является довольно странной статистикой.
Сводка
Так что в целом я немного озадачен. У нас есть некоторые проблемы с дублированием контента в тегах заголовков, возможно, не в соответствии с передовой практикой переадресации 301, но кроме этого я не вижу каких-либо серьезных проблем на странице, если только я не упускаю что-то серьезное из того, что я перечислил.
Наконец, мы также провели небольшую отбраковку некачественных ссылок, запросив удаление ссылок, а также отправив «отклонение» некоторых действительно плохих ссылок. Однако у нас нет ручного штрафа.
Мысли, отзывы или комментарии ОЧЕНЬ приветствуются.
Промежуточное и продвинутое SEO | | Jon_bangonlineСущественная разница между количеством проиндексированных страниц и страниц карты сайта | SEO вопросы и ответы
У меня проблема… Google индексирует не ту страницу по поисковым фразам «не на этой странице».
Объяснил… На разработанном мною веб-сайте у меня есть четыре продукта. Например, сакэ, мы скажем, что эти четыре продукта:
Кроссовки (поисковая фраза: кроссовки) Сапоги (поисковая фраза: сапоги) Сандалии (поисковая фраза: сандалии) Высокие каблуки (поисковая фраза: высокие каблуки)Ошибка:
Что происходит «неправильно», так это… Когда поисковая фраза «высокие каблуки» индексируется Google, вместо этого индексируется моя страница «Кроссовки» (и рейтинг очень высок, например, №2). Страница, которую СЛЕДУЕТ индексировать, является страницей «Высокие каблуки» (а не страницей кроссовок — это неправильная поисковая фраза, и ее даже нет на этой странице продукта — ни в URL-адресе, ни в тегах h2, ни в заголовке, ни в в тексте страницы — нигде, кроме верхней навигационной ссылки).
Подсказка № 1 … эта же ошибка ТАКЖЕ происходит с другими моими поисковыми фразами точно таким же образом. то есть… поисковая фраза «сандалии» ТАКЖЕ приводит к индексации моей страницы «Кроссовки» Google.
Подсказка № 2 … эта ошибка НЕ происходит с Bing (правильные страницы правильно индексируются с правильными поисковыми фразами в Bing).
Примечание 1: MOZ присвоил всем моим страницам продуктов рейтинг «А» для оптимизации.
Примечание 2: Это веб-сайт WordPress.
Примечание 3: я недавно перенес (3 месяца назад) большую часть содержимого страницы этого нового веб-сайта (но не страницу «Кроссовки» — эта страница новая) со старого существующего веб-сайта (не моего), который индексировался нормально. для этих поисковых фраз.
Примечание 4: 301 редирект использовался для всех страниц СТАРЫХ веб-сайтов на новый веб-сайт.
Я перепробовал все, что мог, чтобы исправить это, в течение более 30 дней.