Как узнать, сколько страниц в индексе Яндекса или Google?
Чтобы продвигаемые страницы могли выводиться в поиске, они должны находиться в индексе поисковых систем. Давайте разберемся, как проверить, какие страницы сайта находятся в индексе Яндекса или Google, узнать количество документов в базе поисковой системы. Какие инструменты существуют для отслеживания индексации страниц. Но вначале немного ликбеза.
Что такое индекс поисковой системы?
Индекс поисковой системы – это база данных, в которой находится информация обо всех документах (страницах с сайтов, файлов), которые могут участвовать в поиске.
Не все страницы включаются в индекс. Например, если страница вашего сайта признается роботом поисковой системы как низкокачественная, она может не включаться в индекс и не принимать участие в поиске. Аналогичная судьба часто ожидает страницы-дубли или документы, содержащие скопированные с других сайтов тексты.
В Google имеется основной индекс и дополнительный (supplemental index).
В дополнительный индекс попадают документы, которые имеют более низкое качество, чем документы из основного индекса. Они не участвуют в основном поиске, их редко посещает робот Google, они практически не приносят трафик на сайт.
В дополнительный индекс Google обычно попадают:
- страницы с неуникальным контентом,
- страницы, на которых практически отсутствует контент и страницы с текстом менее 500 символов,
- дубли,
- иногда в дополнительный индекс могут попадать страницы с низким весом.
Почему важно проверять количество страниц в индексе?
Очень важно отслеживать индексацию страниц, потому что от этого зависит трафик из поисковых систем. Если страница не проиндексирована, она не сможет появиться в выдаче по какому-либо запросу.
Также важна скорость индексации сайта. Если она низкая, в индексе будут устаревшие версии страниц, а новые документы будут попадать в поиск с большой задержкой. Чтобы решить эту проблему, посмотрите статью, как ускорить индексацию сайта.
Как узнать, сколько страниц в индексе Яндекса или Google?
Есть несколько способов проверить количество страниц в индексе поисковых систем:1. Введите в поисковую строку запрос: site:site.com (где site.com – это URL или адрес главной страницы сайта), как на скриншоте ниже:
Под строкой поиска вы увидите примерное количество страниц в индексе поисковой системы. В примере выше указано число страниц в индексе Google. Этот способ позволяет узнать число страниц в базе поисковой системы у любого сайта, в том числе конкурента.
2. Проверить количество страниц в индексе Google, можно в сервисе Google для вебмастеров. Аналогичный сервис в Яндексе – это Яндекс.Вебмастер. В нем можно посмотреть число страниц в индексе данной поисковой системы. Для просмотра данных потребуется подтвердить права на сайт в сервисах. Поэтому данный способ не подходит для анализа сайтов конкурентов.
Сервис | Раздел, в котором находится информация о числе проиндексированных страниц |
Google для вебмастеров | Индекс Google -> Статус индексирования |
Яндекс.Вебмастер | Индексирование -> Структура сайта |
Если у вас есть доступ в Яндекс.Вебмастер, зайдите на вкладку «Индексирование» -> «Страницы в поиске» и над графиком выберите отображение «История». Здесь вы сможете посмотреть не только число страниц в индексе, но и историю индексирования сайта.
3. При помощи онлайн-сервисов, например, многие бесплатные сервисы для проведения аудитов сайтов выводят информацию о количестве страниц в индексе.
Как проверить страницу в индексе Яндекса или Google?
Часто вебмастеру требуется узнать, находится в индексе конкретная страница сайта или нет. Самый простой способ узнать это – ввести поисковый запрос, состоящий из адреса страницы. Если в результатах поиска вы увидите искомую страницу, значит, она находится в индексе:
В Яндекс.Вебмастер есть функция, которая позволяет не только проверять, в индексе страница или нет, но и следить, чтобы важные страницы не выпадали из поиска. Чтобы добавить страницу в список отслеживаемых, зайдите в раздел «Индексирование» -> «Важные страниц» и в открывшейся форме добавьте нужные страницы:
Можно настроить отслеживание до 100 страниц, что достаточно для многих проектов. Если вам нужно отслеживать больше документов на сайте, то можно воспользоваться сервисом Топвизор. Он позволяет проверять, в индексе страницы сайта или нет, без ограничения по числу документов. Помимо проверки индексации сайта, сервис позволяет снимать позиции по запросам, группировать запросы и многое другое.
Как вернуть или добавить страницу в индекс?
В панелях для вебмастеров имеются специальные сервисы, позволяющие отправить страницу на переиндексацию или добавить новую страницу с сайта в поисковую систему:
Второй способ отправить страницу на переиндексацию – это добавить ссылки на страницу в социальные сети, новостные ресурсы и другие интернет-ресурсы, которые часто посещают роботы поисковых систем.
Если вы отправили страницу на индексацию, но она не появилась в поиске, скорее всего, робот посчитал документ малополезным. Нужно доработать страницу, чтобы она попала в индекс.
Как ускорить индексацию сайта?
Индексацию сайта можно ускорить на разных этапах продвижения сайта:
- Добавьте сайт в панели для вебмастеров. Это позволит ускорить попадание нового сайта в индекс.
- Чаще обновляйте контент. Тогда поисковые роботы будут чаще заходить на сайт и новые страницы будут быстрее добавляться в индекс.
- Следите за качеством контента. На сайты с низким качеством контента роботы могут заходить реже или совсем перестать индексировать такие проекты.
- Периодически проводите технический аудит сайта, чтобы исключать технические причины выпадения страниц из индекса. Например, иногда при редактировании файла robots.txt вебмастера по ошибке закрывают некоторые документы от индексации.
- Если вы подавали заявку на удаление страницы из индекса через панели для вебмастеров, но затем передумали и решили снова включить страницу в поиск, то с ее индексацией могут возникнуть проблемы. Она не будет добавляться в индекс, несмотря на все ваши действия. Иногда решить проблему помогает только обращение в службу поддержки поисковой системы.
- Если страницы стали вылетать из индекса, проверьте сайт на наличие фильтров, уникальность текстов и техническую сторону работы сайта.
- Если сайт слишком большой, вы можете достигнуть лимита по числу документов в индексе поисковой системы (такой лимит есть для каждого сайта). В этом случае можно закрыть от индексации второстепенные страницы, чтобы основные присутствовали в поиске.
В этой статье мы рассмотрели, как проверить индекс сайта в Яндексе или Google, узнать количество страниц в базе поисковой системы, настроить автоматическое отслеживание индексации проекта. Если у вас остались вопросы, добавьте их в комментариях под статьей.
Читайте также:
Количество страниц в индексе. Самый быстрый способ
Проверка индексации сайта в Яндекс и Google
Успешное продвижение сайта возможно лишь тогда, когда выполняется одно важное условие – поисковики должны проиндексировать все его странички, которые оптимизированы под нужные поисковые запросы.
Как убедиться, что это условие выполнено?
Нужно узнать какие страницы в индексе, а какие поисковые роботы обходят стороной.
Самая простая проверка индексации сайта в Яндекс и Google
- Чтобы проверить количество страниц в индексе Google используется команда «site:» для строки поиска.
- Проверить количество страниц в индексе Яндекс можно с помощью оператора «host:», введя эту команду в его поисковую строку в комбинации с адресом веб-ресурса, данные по которому необходимо определить.
В итоге проверка индексации сайта в Яндекс и Google должна выдавать примерно одинаковые результаты с разницей не более чем в 10%.
Если различие более существенное, значит у одного из поисковиков проблемы с индексацией определенного количества страничек Вашего веб-ресурса. Нужно найти и устранить причины этих проблем. Возможно, требуется правильно настроить robots.txt. В этом файле могут присутствовать запреты на индексацию страничек ботами одного из поисковиков.
Альтернативные способы
- Также возможно проверить количество страниц в индексе Google, используя профессиональные инструменты, находящиеся в Search Console. Просмотрев соответствующий раздел Вы сможете узнать сколько страничек всего учтены поисковым ботом и сколько заблокированы в robots.txt.
- Похожий сервис (Яндекс.Вебмастер) дает возможность проверить количество страниц в индексе Яндекс.
Кроме количества есть возможность увидеть, какие страницы в индексе поисковика, а какие нет. Это может значительно упростить работу по исправлению ошибок, препятствующих правильной индексации веб-ресурса.
- Также выполнение подобной проверки возможно с помощью сторонних сервисов, которых в интернете огромное количество.
Хотя зачем что-то выдумывать? Кто сможет показать, какие страницы в индексе, лучше самих поисковиков и профессиональных инструментов, предоставленных ими же?
Итог очевиден
Если нужно определить, как много и какие страницы в индексе, есть достаточно способов, из которых каждый выбирает на свой вкус. Кому-то нравится минимализм и простота (оператор «site:»). А кто-то может любить, чтобы все было посложнее и посерьезнее.
Но независимо от выбранного способа, результат должен быть достигнут один – определить существующие проблемы с индексацией страничек веб-ресурса и по максимуму их устранить. Ведь индексация – самый важный момент в продвижении. Если она не работает или дает сбои, Вы просто тратите время и деньги впустую.
А Вам какой способ подходит? Или может Вы знаете и другие? Пишите об этом в комментариях!
Проверка индексации сайта в Яндекс и Google. Поиск отсутствующих страниц
Опубликовано: 24.01.2019. Обновлено: 31.10.2019 703 5
Несоответствие реального количества страниц на сайте количеству страниц в индексах поисковых систем может свидетельствовать о проблемах:
- низкокачественный контент;
- заимствованный контент;
- доступ к контенту затруднён или закрыт намеренно;
- и т.д.
Поэтому количество страниц в индексе полезно регулярно контролировать и особенно важно — на поступающих в работу незнакомых проектах.
Проверка количества страниц в индексах Яндекса и Google
Ручная проверка на поиске в Гугле:
в основном индексе:
site:domain.ru
c учётом дополнительного индекса:
site:domain.ru/&
В яндексе:
url:www.site.com* | url:site.com* — в данный момент метод не работает, хотя должен.
Если есть доступ к Яндекс.Вебмастеру, можно посмотреть там:
Если доступа нет, ориентировочное значение можно получить поиском доменного имени с ограничением по домену:
Узнаём реальное количество страниц на сайте
Сканируем сайт Компарсером с обычными настройками:
Если на сайте прописаны теги canonical, и есть уверенность, что они используются корректно и по назначению, то полезно также отметить «Учитывать атрибут rel canonical».
В идеале, количество страниц в индексе Гугла, Яндекса и полученное при сканировании Компарсером — примерно одинаковые (плюс-минус 10-15%). Если отличие более сильное, есть смысл разбираться в причинах. Для этого в первую очередь необходимо сравнить список адресов страниц в индексе и полученный при сканировании сайта.
Поиск страниц, отсутствующих в индексе
Компарсер
В Компарсере есть встроенный инструмент для парсинга страниц из выдачи и сравнения с результатами сканирования. Для парсинга заходим во вкладки:
Однако, инструмент довольно часто даёт сбой, поэтому нужно сверять полученное количество страниц с результатами ручной проверки, описанной выше.
Далее смотрим данные в статистике — «сравнение данных»:
Преимущество метода в его автоматизации, всё делается в одной программе.
Ручное сравнение списков
Для ручного сравнения необходимо фактически находящиеся страницы в индексе выгрузить из Яндекс.Вебмастера:
В разделе «Индексирование» — «Страницы в поиске» переключаемся во вкладку «Все страницы» и внизу нажимаем «Скачать таблицу». В Search Console скачать проиндексированные страницы можно в разделе «Покрытие».
Далее нужно выяснить различия между списками, полученными из консолей поисковых систем, с результатом сканирования сайта Компарсером. Это можно сделать, например, в этом бесплатном сервисе.
Преимущество метода — в его большей надёжности, но недостаток — в дополнительных затратах времени и необходимости иметь доступ к панелям поисковых систем (или каким-то другим сервисам) для выгрузки страниц в индексе.
Частые случаи расхождений
В индексе Гугла гораздо больше страниц, чем в индексе Яндекса или на сайте. Это, как правило, связано с тем, что Гугл индексирует технические страницы на сайте, а потом очень долго не удаляет из поиска. Если это подтверждается, то проблема либо уже решена закрытием ненужных страниц в файле роботс, либо её предстоит решить.
Программа дала сбой и показала неверные данные. Как писал выше, Компарсер довольно часто выдает некорректные данные при парсинге страниц из поисковых систем. Результаты парсинга нужно контролировать ручными методами, либо изначально использовать описанный ручной метод сравнения.
Массовая проверка на количество страниц в индексе Яндекс и Google
Digimetr.com позволяет массово проверить, сколько страниц сайта «видят» поисковики. Результатом проверки является количество страниц в индексе.
Индексация — самый важный этап продвижения сайта. Если есть проблемы с индексацией, все остальные методы продвижения могут быть бессмысленными.
Зачем нужна проверка в нескольких поисковых системах? Эта метрика позволяет понять, имеют ли место проблемы с индексацией сайта в одной из поисковых систем. Если количество проиндексированных страниц отличается более чем на 10%, это может указывать на затруднения с индексацией ресурса одним из поисковиков.
Как произвести проверку?
Добавьте в рабочее поле адреса сайтов, которые требуют проверки. Для удобства можно задавать название проверки. Ниже, в разделе «Страниц в индексе» необходимо выбрать, в каких поисковых системах произойдет проверка.
Проверка будет запущена после нажатия кнопки «Проверить».
Ниже, в разделе «Последние задачи» появится новая строка и возможность отслеживать статус выполнения проверки.
Результатом проверки служит табличный файл в формате .xlsx или .csv.
Результаты проверки
В разделе «Последние загрузки» необходимо выбрать файл необходимого формата для загрузки отчета.
Для просмотра всех проведенных проверок необходимо перейти в раздел «Все задачи».
В этом разделе возможно установление временного фильтра для просмотра проверок за определенное время.
Загрузив файл с результатами проверки нашего примера мы видим следующее: (имена сайтов вымышленные)
- site1.com существенно уступает в индексации страниц Google, это может указывать на проблемы с продвижением в Google;
- site2.com и site5.com имеют примерно одинаковые показатели количества страниц в индексе;
- site3.com имеет очень мало страниц в индексе Yandex. Как и в случае с site4.com это может указывать на критические проблемы.
Настройки проверки в Google
При проверке страниц в Google есть возможность выбрать регион проверки данных.
Если необходимо проверить сайты из разных регионов, то рекомендуем выбирать свой регион или United States.
Еще одна особенность Google. Данные для этой поисковой системы могут собираться несколько дольше, чем в Яндекс или Yahoo..
Как настройки могут повлиять на результат?
Возьмем для примера 4 сайта из России, Бельгии и США и проверим их по 4 регионам:
- Россия;
- США;
- Бельгия;
- Уругвай.
Результат занесем в таблицу:
| Сайт/регион | Россия | США | Бельгия | Уругвай |
|---|---|---|---|---|
| mykpoxa.ru | 6610 | 6440 | 6360 | 7050 |
| womenintheworld.com | 44100 | 18400 | 19700 | 18500 |
| belinfomed.com | 9280 | 9100 | 9300 | 9300 |
| hebbes.be | 8460 | 8360 | 8260 | 9760 |
Как видим, в зависимости от региона, значения могут существенно отличаться. Наиболее верные показатели мы выделили цветом. Это наглядно показывает, что выбор региона действительно помогает получить наиболее верные значения. Именно поэтому мы настоятельно рекомендуем выбирать регион для проверки, либо оставлять базовые значения.
Стоимость проверки
Актуальная стоимость проверки отображается над окном со списком сайтов и изменяется в зависимости от количество url-адресов, а также от выбранных параметров.
Проверка одного сайта в одной поисковой системе стоит 0,002$. Соответственно:
- 10 сайтов в одной ПС: 0,02$;
- 10 сайтов в двух ПС: 0,04$;
- 1000 сайтов в одной ПС: 2$;
- 1000 сайтов в двух ПС: 4$.
Цены актуальны для Yahoo и Яндекс. Для Google цена проверки 1000 сайтов равна 4$ (или 0,004$ для 1 сайта соответственно).
Удаление неуникальных URL
Если в окно со списком сайтов будут загружены одинаковые URL адреса, система предложит их удаление. Для этого достаточно нажать «удалить их».
Так как проверка страниц в индексе происходит по домену, удаление всех адресов одного домена не требуется, это произойдет автоматически. Например:
- site.com/page1;
- site.com/page3;
- site.com/main.
Если будет загружен список адресов, проверка произойдет лишь для домена site.com.
Какие запросы к поисковым системам отправляются?
Для проверки количества страниц в индексе мы используем запрос с оператором «site» вида: «site:адрес сайта», например:
- site:orengfi.ru
- site:terra-baby.ru
- site:clione.ru
- site:rutravushka.ru
- site:globefox.ru
Проверка индексации сайта в поисковых системах
Если вы последовательно читаете мой мануал, то в прошлой статье узнали, как можно ускорить индексацию сайта.
Теперь нам надо это процесс контролировать. Т.е. следить за страницами, какие попадают в индекс, а какие нет. Осуществить проверку индексации сайта не сложно. Для этого есть два решения: ручной метод и специальный seo-софт.
В первую очередь можно воспользоваться системой автоматического продвижения SeoPult. Система конечно платная, НО много информации по своему сайту можно посмотреть бесплатно! В частности, какие страницы проиндексированы, посмотреть релеватные запросы, советы по оптимизации страниц и много другой и полезной информации. Советую по чаще туда заглядывать.
Так же, можно воспользоваться бесплатной программой Site-Auditor от Ашманова. Как я сказал, она бесплатная, периодически обновляется и вполне справляется с этой задачей. Что бы проверить индексацию сайта через программу Site-Auditor, скачиваем ее с официального сайта. Запускаем софт и в меню «экспресс анализ» вбиваем наш урл, жмем «проверить».
Прога выдает нам количество страниц в индексе Яндекс и Google. Нажав на эти цифры мы попадем в выдачу ПС, где и будут наши проиндексированные страницы. Такую же проверку можно сделать, если у вас есть программа Yazzle, которой мы оценивали конкурентов.
Но бывают случаи, когда подобный анализ не совсем удобен или невозможно сделать. Например ПС обновили что-то и софт перестал работать (пока его не обновят), а вам надо срочно проверить. Или, что чаще, надо проверить индексацию конкретной страницы, а в общем списке искать не всегда удобно. Тут и поможет второй (ручной) способ.
Проверка индексации сайта в Яндексе
Проверить индексацию своего сайта в Яндексе можно в панели вебмастера webmaster.yandex.ru/. Но для этого сайт придется добавить в эту панель и подтвердить права на сайт. Без регистрации, увы, он не покажет все данные по индексации. Вот раздел с данными по индексации в панеле вебмастера.
Там вы сможете посмотреть индексацию страниц за последнюю неделю, за 2 недели и за все время.
Индексацию отдельной страницы в Яндексе проще всего в самом поиске. Тупо вбиваем страницу в строку поиска и жмем найти. Если она в индексе, Яндекс покажет ее сниппет. Если ее нет, соответственно не покажет.
Там же, если нажать зеленую стрелочку рядом с url станицы, мы сможет посмотреть сохраненную копию документа. Это та версия страницы, которая хранится в данный момент в кэше Яндекса. В кеше содержится очень важная информация — дата, когда робот последний раз посещал ваш сайт. Всегда можно глянуть в кэше, учел Яндекс или Гугл ваши последние изменения на странице или нет.
Проверка индексации сайта в Google
Что бы проверить, как ваш сайт проиндексировал Google достаточно в поисковой строке ввести специальную команду
site:имя_сайта.домен
Гугл покажет, сколько страниц в индексе. А по зеленой стрелочке (как и в Яндексе) можно посмотреть сохраненную копию страницы (содержимое кеша). Где вы увидите текущую версию страницы в базе Google. Отдельную страницу также можно глянуть просто вбив ее в поисковую строку.
Проверка индексации сайта в Rambler
Индексацию в Рамблере в данный момент можно проверить только одним путем – вбить урл в строку поиска. Там же можно посмотреть, что находится в кэше. Для этого надо нажать «копия».
Советую вам периодически проверять индексацию вашего сайта. Тогда вы сможете вовремя заметить неприятности, например, выпадение страниц из индекса. И своевременно принять меры.
Но не все станицы на сайте нужно индексировать, есть и такие, которые надо закрыть от ПС. Поэтому дальше мы разберем вопрос — как запретить индексацию сайта.
Оглавление
Статьи по теме:
Загрузка… 
Как проверить количество страниц в индексе
А зачем собственно может понадобиться проверить количество страниц в индексе?
- На своем сайте важно следить чтобы все опубликованные страницы со временем вошли в индекс. Иначе у вас проблемы.
- Для чужого сайта (например при покупке сайта) важно чтобы число страниц в индексе Яндекса и Гугла примерно совпадало. Иначе сайт под санкциями (или неявной пессимизацией) и его приобретать не стоит.
Количество страниц в индексе Яндекса
1 Если вы хотите узнать количество страниц вошедших в индекс Яндекса для любого сайта (не важно вашего или чужого) — в поисковую строку поиска вбейте следующий запрос site:xxx.ru (где xxx.ru — имя сайта):
Страницы при выводе ранжируются по популярности. Таким образом можно узнать самые популярные страницы своих конкурентов.
2 Если вы можете подтвердить права на сайт — обязательно заведите себе аккаунт на Яндекс вебмастер: webmaster.yandex.ru и там вы вполне официально от самого Яндекса увидите:- Количество страниц в индексе:
- Динамику индексирования (история хранится за последние 3 месяца):
- Какие именно страницы в индексе:
3 В новом Яндекс вебмастер: beta.webmaster.yandex.ru параметры индексирования вынесены на главную страницу:
По прежнему можно отдельно посмотреть динамику индексирования, сколько страниц в индексе и какие именно страницы в индексе.
Количество страниц в индексе Google
1 Для того чтобы проверить количество страниц в индексе Гугл в поисковую строку поиска вбиваем запрос site:xxx.ru (где xxx.ru — имя сайта):
Как проверить индексацию страницы в Яндексе
Если мы хотим проверить конкретную страницу, тут всё очень просто. Копируем адрес страницы и вставляем в поисковую строку Google или Яндекс в виде конструкции site:адрес страницы. Если страница проиндексирована, то она будет в результатах поиска Яндекса: «Нашёлся 1 результат» или Гугл: «Результатов: 1».
Понравился мне тут один лот на бирже сайтов telderi.ru. Но при тщательной проверке выяснилось, что продаваемый сайт не имеет индексированных страниц в поисковой системе Google. Скорее всего имеется бан, фильтр или пессимизация сайта в данной поисковой системе. Естественно от покупки пришлось отказаться.Надеюсь, что у вас, как и у меня, число опубликованных записей совпадает с числом проиндексированных страниц в Яндекс и Google.
Как проверить, сколько страниц в индексе поисковых систем | ТВОЙ ПОМОЩНИК
Написал Елена Молгачева в 11 ноября 2014, 00:13 Отредактировано: 13 марта 2016, 09:53
Логические рассуждения на тему: «Как проверить, сколько страниц в индексе поисковых систем».
И числовые расчеты, которые показывают, как я сводила баланс, изучая, что проиндексировано, а что нет и почему.
Я решила разобраться с этим более пристально и разложить все по полочкам.
Рассмотрим на примере Яндекса и Google.
Проблема индексирования, или что такое индексы.
Проблема индексирования постоянно волнует владельца любого сайта. Когда страницы сайта попадают в индексы поисковых систем, это обеспечивает стабильный и, что самое главное, бесплатный трафик. Страницы участвуют в поисковой выдаче, а посетители сами ищут информацию и попадают на Ваш сайт. Это же здорово!
Что из себя представляет процесс индексирования сайта или индексация (как мы привыкли говорить в обиходе) я уже рассказывала. Если кто еще не знает в чем суть, стоит перейти по предложенной ссылке и обязательно ознакомиться. Для самообразования узнать это будет очень даже полезно.
На начальном этапе каждый вебмастер переживает о том, чтобы поисковые системы скорее заметили и начали индексировать вновь созданный сайт.
Для этого ссылку на сайт (Url сайта) добавляют в специально предназначенные для этого аддурилки – информируют поисковые системы о своем новоиспеченном творении.
Но, если с Google обычно проблем не возникает, то с Яндексом они иногда случаются. И многие пытаются разобраться, почему Яндекс не индексирует сайт?
Ну, вот, наконец, сайт начинает стабильно индексироваться.
Теперь владельцев волнует уже то, чтобы каждая новая статья попадала в поиск как можно быстрее, и они мечтают, чтобы сайт посещал, так называемый «быстроробот».
Для этого советуют добавлять информацию на свой сайт регулярно и размещать ссылки на новые статьи в социальных сетях, особенно в Твиттере и Google+.
Это можно легко сделать, использую кнопки социальных сетей для сайта.
Но жизнь идет, алгоритмы меняются. Если сайт раньше посещал быстроробот, и статья попадала в поиск Яндекса в течение нескольких часов, то последнее время (ноябрь 2014) многие вебмастера жалуются, что на это уходит несколько дней.
Я тоже заметила, что после того, как я стала добавлять информацию на страницу оригинальные тексты в сервисе вебмастеров Яндекса перед публикацией (что мне настоятельно посоветовали делать специалисты этого поисковика), новая статья попадает в поиск только при очередной поисковой выдаче Яндекса. Как раз несколько дней и проходит.
Получается что-то типа того: ваш текст уже у нас в кармане, вы и так от нас никуда не денетесь, и спешить нам не обязательно.
А как же можно в таком случае определить, что статья уже проиндексирована?
Я делаю это с помощью расширения браузера Google Chrome RDS bar.
Такое же расширение установлено у меня и на браузере Opera. Оно позволяет для любой открытой страницы определить, проиндексирована она или нет.
Как самостоятельно добавить страницу в индекс Google.
Google в этом вопросе более оперативен. Он позволяет каждому принудительно добавлять новую страницу в индекс. Это можно сделать в сервисе для вебмастеров Google. Там нужно сначала выбрать вкладку «Посмотреть, как Googlebot», где затем появляется возможность самостоятельно добавить страницу в индекс, если указать ее Url.
Как говорится: и вам хорошо, и нам не плохо.
Таким способом можно добавлять до 500 страниц в месяц.
А как обстоят дела с количественными показателями индексации для сайта?
Сколько страниц в индексе поисковых систем?
Это проще всего посмотреть в сервисах для вебмастеров поисковых систем.
Допустим, у меня на сайте 106 статей и 10 страниц (это видно в административной панели сайта) плюс Главная страница, или лента новостей. Дальше легко подсчитать (106+10+1=117). Значит, всего будет 117 Url на sitemap.
Вспоминаем, что карту сайта для поисковых систем (sitemap) для WordPress мы строили с помощью специального плагина, а отобразить ее можно по ссылке, если к Url сайта после косой добавить sitemap.xml. Можете попробовать посмотреть таким образом свою карту сайта для роботов.
Сколько страниц в индексе Яндекса?
Итак, есть 117 Url готовых для индексации, а в сервисе вебмастеров Яндекса у меня почему-то числится, что в индексе находятся 141 страница. Откуда же берутся остальные?
На расшифровке показано, что еще учтено.
Получается, что добавляются еще 13 из 28 страниц категорий.
На сайте можно открыть каждую рубрику (категорию) и просмотреть, сколько в ней числится страниц на данный момент, а потом все эти страницы просуммировать. Так можно подсчитать, сколько всего у вас страниц категорий.
Дальше идут 9 из 21 страниц, которые находятся в ленте новостей непосредственно за Главной страницей.
И еще 1 тег как-то сюда затесался.
Каким образом были выхвачены именно эти 13 страниц категорий и 1 тег в придачу, я для себя внятно объяснить не смогла.
А вот откуда взялись конкретно эти 9 из 21-й страницы ленты новостей, так это как раз прояснилось.
Если открыть главную страницу моего сайта по ссылке http://tvoy-internet.ru, то внизу видна строка постраничной навигации, организованная у меня с помощью специального плагина.
Если внимательно посмотреть на эту строку, то становится понятным, что она, кроме ссылки на первую страницу Главной с расположенными на ней пятью статьями (что задается при настройке WordPress) имеет ссылки еще на 9 страниц.
Их можно перечислить: 2, 3, 4, 5, 6, 7, 8, 20 и последняя (в данный момент это у меня страница 22).
Получается, что на сайте есть Главная и еще 21 страница ленты новстей за ней – всего 22.
Мы видим, что явно указаны ссылки на 9 страниц из 21-й в ленте. Наверное, поэтому они и попали в индекс.
Но для нас, прежде всего, важно, чтобы в поиске находились те самые 117 страниц с полезной информацией, которые мы продвигаем (они зафиксированы в sitemap).
Здесь хочу напомнить, что все эти страницы должны иметь правильный заголовок h2, который обеспечивает повышение процента релевантности страницы, т.е. ее соответствия поисковому запросу. Поэтому, если кто-то еще не побеспокоился об организации правильных заголовков ранга h2 для страниц своего сайта на Вордпресс, то я советую сделать это незамедлительно.
Итак, суммируем 117+13+9+1=140. Н,у а если добавить сюда еще и саму sitemap, то и получится 141 страница в индексе.
Но тут сразу возникает следующий вопрос: «А почему робот загрузил 436, а проиндексировано только 141?»
Ответ следующий. Робот находит все имеющиеся ссылки на страницы на Вашем сайте. Но часть таких ссылок блокируется в файле Robots.txt, чтобы информация не дублировалась.
Рекомендую посмотреть список страниц исключенных роботом, чтобы убедиться, что туда не попали страницы с кодом 404 – не найдено.
Таких страниц на сайте быть не должно. Их нужно проверять и исправлять.
У меня установлен плагин, который постоянно проверяет все ссылки на сайте и сразу же находит битые ссылки (в том числе и с кодом 404). Советую установить такой плагин WordPress, чтобы отслеживать несуществующие ссылки в автоматическом режиме.
Можно для интереса посмотреть и другие страницы, исключенные роботом.
Там видно, что исключены короткие ссылки на страницы сайта (в них содержится вопросительный знак).
Такие ссылки на статьи организует сам WordPress.
Но потом мы устанавливаем специальный плагин, чтобы у нас показывались ЧПУ ссылки – «человеко-понятные урлы» в виде названия статьи латинскими буквами. Это важно сделать, так как наличие ключевой фразы в Url способствует SEO-продвижению страницы.
В результате получается два набора разных ссылок на одни и те же страницы.
Так вот для того, чтобы информация не дублировалась, короткие ссылки в Robots.txt запрещены к индексации.
У меня также запрещены к индексации tags – страницы, которые можно открыть, используя метки. Они попадают в раздел страниц, исключенных роботом с пометкой «содержит метатег noindex».
Давайте снова вернемся к нашей арифметике. Робот загрузил 436 страниц, исключил 270.
436-270=166.
А проиндексировано 141. Где остальные?
Возвращаемся опять к указанной выше расшифровке. Там видно, что на сайте было найдено дополнительно 28 страниц категорий и 21 страница, расположенная за Главной. А индексация tags (41-й страницы меток) у меня запрещена.
28+21=49.
Итак, имеем 117 страниц, которые зафиксированы в sitemap, плюс еще 49 найденных дополнительно, как раз и будет 166 (117+49=166).
Получается, что на сайте имеется 166 разрешенных к индексированию страниц, но некоторые страницы категорий и страницы, лежащие за Главной в индекс не попали.
Ну, что ж, будем радоваться тому, что туда хотя бы попали страницы с нашей основной полезной информацией. Вряд ли кто-то будет искать какую-то категорию. Хотя иногда это может оказаться весьма кстати.
Если у Вас на сайте есть виджет с архивами, то страницы архивов тоже попадают в индекс.
Я у себя такой виджет убрала. Хотя стоит подумать, насколько он важен для сайта.
Убрала–то я его, чтобы уменьшить количество внутренних ссылок с главной страницы сайта. А какую он еще несет смысловую нагрузку, кроме истории сайта, и насколько архивы важны и нужны, надо еще подумать.
Итак, мы свели баланс в бухгалтерии проиндексированных страниц нашего сайта в сервисе для вебмастеров Яндекса. И все вроде сошлось (166+270=436).
Сколько страниц в индексе Google?
Аналогичную картину можно увидеть и в сервисе для вебмастеров Гугл.
Там показано, что робот загрузил 358, а исключил 147.
Каждая поисковая система использует свою методику подсчета, поэтому данные несколько отличаются. Но можно заметить, что метатег noindex здесь не учитывается.
Поэтому 358-147=211.
Значит, вспоминаем про 166 страниц, которые разрешены к индексированию в Яндексе, да добавляем еще 41 страницу меток (тегов), которые Яндекс не учитывает, и получаем такое: 166+41=207.
211 и 207 — числа близкие.
Нужно принимать во внимание расхождения в датах. Ведь разные поисковые системы проводят индексацию в разное время. А в промежутке между датами информация на сайте могла измениться.
Как проверить количество страниц в индексе?
Чтобы это быстро узнать я использую расширения браузера Google Chrome Yandex CY (TIC) & PR Viewer
и уже упоминавшийся выше RDS bar.
Можно посмотреть и в сервисах для анализа сайта, например, в www.cy-pr.com.
Существуют и другие ресурсы, которые такую информацию предоставляют.
Дополнительный и основной индекс Google.
Считается, что Google имеет два индекса: дополнительный и основной.
Если в поисковой строке Google набрать вручную команду site:tvoy-internet.ru, то определяется дополнительный индекс. Туда попадает все.
У меня получилось, что в дополнительном индексе Google 403 страницы.
А по команде site:tvoy-internet.ru/& определяется основной индекс.
В основном индексе Google у меня оказалось всего 186 страниц (числа разняться от случая к случаю).
186/403*100=46% страниц не под фильтрами.
Это и показано в анализаторе www.cy-pr.com.
Вот, оказывается, откуда эти проценты берутся!
Выходит, что дублированный контент на сайте в основной индекс не попадает.
Ну, что же, такова участь готового бесплатного шаблона Вордпресс.
Более грамотно организованные сайты имеют более близкие числа в таких ответах.
А разницу между ними называют — «сопли».
Более подробно на эту тему у профессионального оптимизатора.
Анализ страниц в дополнительном индексе Google.
Кстати там же можно посмотреть показатели дополнительного и основного индекса Google для его сайта. У него они оказались значительно ближе друг к другу.
Увы, на моем Вордпресс блоге соплей предостаточно.
Эх, надо учиться создавать сайты на более профессиональном уровне. А не использовать готовые шаблоны…
Шутка, содержащая долю истины. Есть к чему стремиться.
Получается, что сайты нужно строить так, чтобы дублированного контента на них не было и все имеющиеся там ссылки на страницы сразу шли в дело, т.е. в основной индекс.
Вот так.
Может, и WordPress когда-нибудь до такого дорастет.
А пока получается, что, если использовать короткие ссылки на страницы, то это не способствует SEO (оптимизации). А если применять ЧПУ ссылки, то получается дублированный контент.
С нетерпением жду ваших комментариев.
Какие мысли по этому поводу Вас посетили?
Елена и tvoy-internet.ru