Проверка индексации страниц сайта в Яндекс и Google

Здравствуйте, уважаемые читатели!

В этой статье я хочу рассказать Вам, как проверить индексацию сайта в поисковых системах Google и Яндекс. В индекс поисковиков попадают те страницы, которые про сканированы ее роботами и внесены в ее базу данных. Базу поисковых систем называют — индекс, а сам процесс сканирования и внесения новых страниц сайта — индексацией.

Проверить сколько страниц находится в индексе Яндекса или Гугла можно вручную, использовав специальные операторы, о которых я подробнее напишу ниже, а также при помощи специальных сервисов.

к оглавлению ↑

Как проверить индексацию сайта в Яндекс

Операторы host и site покажут сколько страниц сайта проиндексировано Яндексом. Отличие между host и site заключается в следующем: host — показывает количество проиндексированных документов с данного домена и его поддоменов, а site — покажет сколько страниц Вашего сайта попало в индекс Яндекса.

Результат проверки индексации моего сайта Яндексом смотрите на картинках ниже:

Результат с оператором host ничем не отличается от представленного выше, поскольку индексация документом для моего домена запрещена в файле robots.txt, а поддоменов я не создавала.

к оглавлению ↑

Проверка индексации страниц сайта в Google

В Google работает только один оператор site, показывающий число проиндексированных страниц. Отличие Гугла от Яндекса заключается в том, что у Google есть основной и дополнительный индекс. Что каждый из них представляет читайте ниже.

Дополнительный индекс Google. Сеошники дали ему название «сопли», так как в нем находятся все страницы и документы, которые роботу Google удалось найти на Вашем сайте. Сюда можно отнести страницы сайта, которые запрещены для показа в основной выдаче: это могут быть дублирующие страницы сайта, которые создаются из-за новых комментариев, страницы постраничной навигации.

Основной индекс Google. В нем находятся все проиндексированные страницы Вашего сайта, которые показываются пользователям интернета в результатах выдачи по искомым ключевым фразам. Чтобы определить какие страницы сайта попали в основной индекс, добавьте к оператору символ &, как показано на картинке ниже. Символ & находится на клавиатуре на кнопке с цифрой 7.

На первой картинке показано 5 480 результатов, а на второй — 468. По своей неопытности,  я сразу после создания своего блога не закрыла от индексации ненужные разделы в файле robots.txt. В то время, когда я создавала блог информации было не много на тему создания сайтов,  приходилось все делать «методом проб и ошибок». Это сейчас уже и готовые примеры файла robots.txt есть в сети и рекомендации по его настройке. Поэтому мусорных страниц, которые не несут никакой информации и пользы, Гугл успел насобирать до 5 000 штук.

Полную картину того, какая индексация сайта в поисковых системах, именно у Вашего сайта покажет панель инструментов для веб-мастеров Яндекса и Гугла. Если Вы еще не подключили сайта ни к одной из этих панелей, скорее сделайте это. Помогут Вам в этом эти статьи-инструкции:

В инструментах Гугла в пункте Индекс Google, Вам будет показан график с изменением количества страниц по датам. Главное, чтобы он был ровным, а не такой, как у меня :):

 

На главной странице Яндекс Вебмастера, Вы увидите численное значение проиндексированных страниц, а кликнув по значку графика напротив строки «Страниц в поиске», сможете посмотреть график за последние 3 месяца.

А самый простой способ проверить индексацию сайта и посмотреть какое количество страниц в индексе Яндекса и Гугла — воспользоваться одним из следующих бесплатных сервисов:

• плагин RDS bar. Устанавливается, как дополнение, для любого браузера. И позволяет в несколько кликов посмотреть  информацию по основным параметрам для любого сайта.
• инструменты для вебмастера Pr-Cy.ru. В этом сервисе мне больше всего нравится графическое представление статистики по изменению показателей сайта и по индексации сайта в Яндексе и Гугле

На этом у меня все. Если возникли вопросы по теме, спрашивайте в комментариях. До встречи!

С уважением, Виктория – блог inetsovety.ru

inetsovety.ru

Как проверить индексацию сайта и страницы в Яндексе и Гугле

В сегодняшней статье я напишу о том, как проверить индексацию сайта и отдельной страницы в Яндексе и Гугле. Кроме этого вы узнаете, что такое основной и дополнительный индекс в поисковой системе Google. Итак, давайте обо всем по порядку.

Как проверить индексацию сайта в Яндексе?
Для того чтобы проверить индексацию целого сайта в Яндексе, достаточно ввести вот такой адрес в поисковую строку:

url:www.ваш домен* | url:ваш домен*

пример:

url:www.vachevskiy.ru* | url:vachevskiy.ru*

В результатах поиска можно узнать, сколько страниц находиться в индексе Яндекса, посмотреть на сниппет и заголовок Title. Кроме этого с помощью такого запроса можно увидеть, какие картинки индексирует Яндекс. Для этого достаточно нажать справа на ссылку: «Все картинки»:

В данном случае видно, что поисковая система индексирует 83 документа.

С помощью дополнения RDS Bar также можно посмотреть индексацию страниц и не только. Это расширения позволяет узнать очень много полезной информации о любом сайте, все что нужно, это просто установить его на свой браузер. Подробно где скачать и как пользоваться плагином RDS Bar я писал здесь.

Здесь, напротив надписи «Индекс Я» указано число, которое отвечает за количество проиндексированных документов в Яндексе. На это число можно нажать и увидеть все страницы в выдаче, как и в предыдущем случае.

В Яндекс Вебмастере также отображается информация об индексации сайта. Там можно узнать, сколько страниц запрещено к индексированию в файле robots.txt, а сколько индексируется. Но проблема в том, что там показывается индексация ресурса немного с задержкой. Например, я знаю, что Яндексом сейчас проиндексировано 83 страницы, а в Вебмастере отображается только 77 :smile::

Но все равно это очень полезный сервис и туда нужно добавить сайт обязательно.

Как проверить индексацию страницы в Яндексе?
Иногда есть необходимость проверить не индексацию сайта а конкретной страницы. Для этого достаточно в поисковую строку Яндекса ввести вот такой запрос:

site:адрес любой страницы

Пример:

site:vachevskiy.ru/rds-bar

Если страница проиндексирована, то вы увидите ее в результатах поиска:

Если не проиндексирована, то будет писать: «Искомая комбинация слов нигде не встречается».

Кроме этого индексацию конкретной страницы можно проверить с помощью дополнения RDS Bar. Если страница проиндексирована, то напротив надписи «Индекс Я стр.» будет писать «да», когда не проиндексирована, то соответственно «нет». Если документ был проиндексирован недавно, то будет отображаться время индексации, например: «вчера», «16 часов назад» и т. д. Таким образом можно определить, как быстро индексируется ваш ресурс:

Как проверить индексацию сайта в Гугле?
Прежде чем перейти к проверке индексации ресурса в Гугле, нужно понимать, что в этой поисковой системе есть два индекса: «основной» и «дополнительный».

В основной индекс попадают только качественные документы, которые участвуют в ранжировании.

В дополнительном индексе находятся некачественные страницы, которые появляются в результатах поиска очень редко. Ну, например, когда пользователь вводит какой-нибудь странный запрос, и в основном индексе нет на него ответа :smile:. В дополнительный поиск Гугл заносит дубликаты документов, неуникальные страницы, документы, запрещенные в файле robots.txt и т. д.

Сейчас на примере моего блога я покажу, как можно узнать, сколько документов находится в основном поиске, а сколько в дополнительном.

Сначала узнаем, сколько всего документов Гугл индексирует. Для этого я ввожу в поисковую строку такой запрос:

site:vachevskiy.ru

Как видно в индексе Гугла 423 страницы.

Теперь нам нужно узнать, сколько документов находиться в основном индексе. Для этого я ввожу вот такой запрос:

site:vachevskiy.ru/&

В основном индексе 108 документов. Теперь давайте узнаем, сколько страниц находиться в дополнительном индексе. И сделать это очень просто. Нужно отнять все страницы, которые индексирует Гугл, от тех, которые находятся в основном поиске. В данном случае 423 – 108 = 315.

Итак, 315 страниц – это «сопли», которые не участвуют в ранжировании. Гугл почему-то занес туда те документы, которые запрещены от индексации в robots.txt. Почему, не знаю, но ничего страшного в этом нет, главное чтобы в основном поиске были основные документы, которые не запрещены к индексации.

Проверить индексацию сайта в Гугле можно также и с помощью дополнения RDS Bar:

Здесь нам слева показано, сколько всего страниц Гугл индексирует, а справа, какой процент от этих документов участвуют в основном поиске. Но данные также могут быть немного не точными.

Проверить индексацию целого ресурса в Гугле можно еще и с помощью инструмента Google Webmaster. Сначала, конечно, нужно добавить туда сайт, если его там нет. Потом перейдите в раздел «Индекс Google» -> «Статус индексирования» и выберите «Расширенные данные»:

Здесь можно посмотреть, сколько страниц проиндексировано всего, а сколько заблокировано в Robots.txt. Но данные отображаются с задержкой, поэтому они далеко не всегда правильные :smile:.

Как проверить индексацию страницы в Гугле?
Для проверки индексации отдельного документа в поисковой системе Гугл, как и в случае с Яндексом достаточно ввести в строку такой запрос:

site:vachevskiy.ru/rds-bar

Кроме этого RDS Bar также определяет индексацию страницы:

Как видите все очень просто, если установить плагин RDS Bar на свой браузер, то можно за секунду узнать индексацию сайта или страницы в Яндексе и Гугле.

На этом я, пожалуй, закончу. Всем пока ;-).

vachevskiy.ru

Сайт не индексируется в Google – что делать?

Прежде чем пойдут посетители на сайт с поиска, Google должен узнать про ваш сайт. Более того, он добавить сайт со всеми страницами в свою базу. Но это не всегда происходит. Почему?

Чаще всего, вы вполне можете положится на Гугл, чтобы он сам правильно проиндексировал ваш сайт. В конце концов, это одна из самых базовых его задач, которую поисковик делает ежедневно в с миллионами а то и с сотнями миллионов сайтов.

Однако иногда, бывают сбои. В результате чего, страницы сайта не попадают даже в индекс поисковика, не говоря уже о первых страницах в поисковой выдаче.

Не попадание в индекс Google может произойти по разным причинам: технические проблемы, некачественный контент, санкции к сайту в целом.

Как определить количество проиндексированных страниц.

Для начала, можно посмотреть, а сколько всего страниц сайта попало в индекс. Сделать это можно с помощью с различных, как правило бесплатных сервисов. Например, с помощью pr-cy.ru. Вводите адрес своего сайта и нажимаете кнопку «Анализировать». В результате вы получите ряд данных, включая данные о том, сколько страниц проиндексировано в Гугл и в Яндекс.

Таким образом мы можем узнать, сколько страниц уже попало в индекс Гугл и если это количество заметно меньше чем у Яндекс или заметно меньше, чем количество страниц у сайта, значит есть определенные проблемы.

Как узнать, какие страницы проиндексированы?

1.Спросить у Гугла)) Вбиваете в поиск слово site, ставите двоеточие и название своего сайта. Все это, без пробелов. В результате, Гугл сам выдаст проиндексированные страницы.

2.Если вы просто хотите узнать о конкретной странице, тогда вбейте в поиск адрес интересующей вас страницы.

3.Если сайт ваш, то о проиндексированных страницах вы можете узнать из Google Search Console. Для этого, перейдите на вкладку «Покрытие» и откройте отчет.

После чего, кликните по вкладке «Страницы без ошибок» и в ниже появившейся табличке, кликните по проиндексированным страницам.

В результате, вы получите список проиндексированных страниц.

Подробнее о работе с Google Search Console, вы можете прочитать здесь.

4.С использованием SEO программ, таких как Netpeak Spider. Если говорить про Netpeak Spider, то это программа платная, однако, имеет триал версию на четырнадцать дней с полным функционалом. И с ее помощью можно проверить индексацию страниц.

Как исправить непроидексированные страницы?

1.Гугл пока что еще не проиндексировал ваш сайт.

Иногда поисковику может потребоваться неделя или больше, чтобы обновить результаты поиска. Это потому, что ваш сайт новый и не имеет никаких входящих ссылок.

Сначала добавьте свой сайт в Google Search Console , затем добавьте свой URL sitemap.xml, после чего, вы сможете запросить повторное сканирование вашего сайта. Однако таких запросов так много, что эта функция не всегда работает сразу (особенно если у вас новый или большой сайт).

Если вы не хотите создавать аккаунт в Google Search Console, то можно сайт добавить в поиск, отправив адрес карты своего сайта следующим образом:

http://www.google.com/ping?sitemap=https://example.com/sitemap.xml

Где вместо example.com, вставьте свой сайт.

2.На вашем сайте стоит запрет на индексирование сайта.

Обычно новый сайт специально закрывают от индексирования в поисковых системах, а потом зачастую, просто забывают про запрет, в результате, сайт остается не проиндексированным. Проверить это можно в двух местах, в файле robots.txt или запрет может стоять в админ панели управления сайтом.

Вот каким образом будет выглядеть запрет в файле robots.txt

User-agent: Googlebot

Disallow: /

Это запрет на индексацию в Гугл

User-agent: *

Disallow: /

А это запрет на индексацию сайта во всех поисковиках.

Что касается админки сайта, то в WordPress запрет будет выглядеть так.

И наконец, закрытым от индексации может как весь сайт, так и отдельно взятая страница. Откройте код страницы сайта, и проверьте, нет ли на страницы такого тега

meta name=»robots» content=»noindex,nofollow»

Этот тег просит поисковики не индексировать сайт. Соответственно, такая страница не попадет в индекс.

3.Ваш сайт был удален из Гугл.

Это самая сложная ситуация. По вашей вине, или по вине прежнего владельца, Гугл мог принять решение об удалении сайта из индекса Гугл. В этом случае, вышеперечисленные методы вам не помогут.

Об удалении сайта из индекса, гугл сообщает через Google Search Console. Если у вас такая ситуация, то вам придется переделывать весь сайт, после чего, подавать заявку на повторное индексирование сайта. И если на сайте проблемы устранены, то сайт будет проиндексирован.

Подробнее об этом, вы можете узнать из справки самого Гугл.

Как ускорить индексацию сайта.

Если же с сайтом у вас все в порядке, но вы хотите, чтобы Гугл побыстрее проиндексировал сайт, то вы можно сделать следующие шаги:

• Добавить сайт в Google Search Console.
• Создать карту сайта — sitemap.xml.
• Создать карту сайта для людей.
• Правильно настроить файл robots.txt.
• Добавить ссылки с трастовых форумов.
• Правильно перелинковать сайт.
• Добавить сайт в социальные сети, такие как Facebook, Вконтакте, Twitter

Подробнее об этих способах ускорения индексации сайта, читайте здесь.

Загрузка…

Подпишитесь на обновления блога Life-Webmaster.ru и получайте в числе первых новые статьи про создание блога, раскрутку и заработок на нем!

life-webmaster.ru

Как проверить индексацию сайта в Google

Проверка индексации сайта является тем мероприятием, которое позволяет предупредить снижение уровня заработка вебмастера. Дело в том, что существует такое понятие, как «выпадение» страниц, по разным причинам приводящее к потере трафика.

Недостаточное количество контента на странице, организационные моменты при «переселении» на другой домен, спам – эти и другие причины сводят на «нет» все усилия вебмастеров. Опытный оптимизатор ни за что не допустит такой ситуации, впрочем, как и понижения рейтинга у площадки, продающей «вечные» ссылки. Проверять индексирование веб-сайта – не прихоть, а вынужденная необходимость!

Существует несколько типов поисковых запросов Google, позволяющих увидеть проиндексирована страница или нет

Проиндексированные страницы сайта

Страницы сайта, прошедшие индексацию Google, можно просмотреть, воспользовавшись оператором «site:». Следует учитывать, что индексация Google является геозависимой, поэтому может выпадать разное число страниц в индексе для google.ru и google.com.

Итак, к указанному оператору добавляем нужный url, причем, между оператором и самой ссылкой на сайт не должно быть пробелов:

site: google.ru

Кроме того, можно провести поиск по целому домену или по отдельно взятому подкаталогу:

site: google.com/ webmasters

Для избирательного поиска с целью исключения ненужных страниц нужно поставить перед оператором знак «-». Наглядно это будет выглядеть так:

site:google.ru -site: adwords. google.com

Подобный поиск выдаст результат, в котором будут содержаться все проиндексированные страницы в домене google.ru, за исключением страниц adwords. google.ru.

Страницы со ссылкой на главную сайта

Для обзора ресурсов со ссылкой на www.google.ru нужно воспользоваться следующим запросом, но имейте ввиду, что первый поиск всегда выдает больше результатов:

link:google.ru или link:www

Кроме того, целенаправленный поиск ссылок на определенные страницы выполняется по запросу:

link:google.ru/webmasters

Текущий кэш вашего сайта

Оператор «cache:» информирует об архивированной копии страницы, которая проиндексирована Google. К примеру, cache:google.ru воссоздает новейшую проиндексированную версию главной сайта, а также выдает информацию о дате создания КЭШа, что дает возможность просмотра версии страницы с обычным текстом. Это чрезвычайно удобно, т.к. становится понятно, как именно робот Googlebot  может увидеть страницу.

Используя команду «метатег noarchive», можно ограничить доступ пользователей в результатах поиска к кэшированной версии любой страницы. Между тем, страница будет сканироваться и индексироваться поисковиком Google:

<meta name="robots" content="noarchive">

Похожие страницы

Оператор «related:» позволяет увидеть ресурсы, подобные искомому сайту. Такой поиск применяется, как правило, для пересекающихся ресурсов.

В Google может быть использовано целый ряд показателей для выявления схожести, но качество возвращаемых сайтов никоим образом не влияет на процесс индексации страниц поисковой системой Google. Рекомендую почитать пост про дополнительный индекс гугла, там могут быть страницы которых нет в основном поиске.

great-world.ru

Как быстро проиндексировать сайт или страницу в Google?

 

Googlebot, сканирование и индексирование

 

Для начала нужно понять, что такое Googlebot, чем отличаются сканирование и индексирование, и каким образом оба процесса могут способствовать быстрому попаданию страниц в поисковую выдачу.

• Googlebot или инструмент Google для индексации страниц – это название поисковой программы (бота), обязанность которого – сбор данных о документации в Интернете для дальнейшего её включения в поисковый индекс Google.
• Процедура посещений ботами веб-сайтов (как новых, так и старых) в поисках нового и обновленного контента для дальнейшей передачи информации Google называется сканированием. Откуда бот знает, что сканировать? Этот процесс обуславливается ссылками!
• Индексация – это следующий шаг, совершающийся при обработке документов, собранных на этапе сканирования. Если контент идентифицируется как качественный, то как только обработка завершена, информация добавляется в индекс поиска Google. Рассмотрение слов на определенной странице в ходе индексации является обязательным. Кроме того, на этом этапе также происходит анализ alt тегов и тайтлов.

Но как же ботам удается обнаружить новый материал, будь то обновленное содержание страницы, блога или какого-либо абсолютно нового сайта? Это происходит благодаря ранее собранной в Интернете информации о страницах, проиндексированных Google, и информацией с карты сайта, предлагаемой веб-мастером. Ключевой вопрос – как проиндексировать страницы быстрее?

 

Методы ускорения индексации сайта

 

• Создание Sitemap. Документ Sitemap XML представляет список страниц на сайте, хранящийся на сервере сайта. Когда вы добавляете новые страницы на сайт, он информирует поисковую систему об этом и дает инструкции относительно желаемого графика проверки изменений на определенных страницах. Вы вправе выбирать частоту. Если необходимо, можете заставить поисковую систему проверять ваши страницы на наличие обновленной информации (новые товары, посты или любой другой контент) каждый день. Если же нет, выберите другую частоту проверок. В случае с WordPress, установка плагина Google XML Sitemaps позволяет автоматизировать создание и обновление карты сайта, передавая необходимые данные поисковым системам. Еще один вариант – плагин Yoast SEO.
• Предоставьте Google Indexing Tool свою карту сайта. Итак, у вас есть карта сайта. Как только она будет создана, перейдите в Google Webmaster Tools  в аккаунт сайта. Если у вас его нет, создайте бесплатную учетную запись в Google и зарегистрируйтесь в Webmaster Tools. Далее, добавьте свой сайт в Webmaster, откройте папку «Сканирование», выберите «Sitemaps» и вставьте ссылку на свой файл Sitemap. Таким образом вы сообщаете поисковой системе Google о новых страницах. Чтобы получить еще лучший результат, дополнительно используйте консоль Bing. Там есть возможность создать другую учетную запись, войти в систему и включить свою карту сайта с помощью Webmaster Tools. Как поисковый бот знает, что сканировать? Это благодаря ссылкам! Не забудьте запустить проверку robots.txt файла, чтобы убедиться, что все необходимые страницы разрешены для индексации.
• Используйте Google Analytics. Установка Google Analytics используется в основном для отслеживания источников трафика и анализа поведения пользователей. Но само добавление кода на новый сайт и настройка аккаунта в системе аналитики уже уведомляет Google о появлении нового сайта, который необходимо просканировать.
• Добавьте URL страницы вручную. Это один из подходов, которым большинство людей пренебрегают, когда ищут возможности заставить поисковые системы просканировать страницы быстрее. Инструменты Google для индексирования не требуют дополнительных усилий или ресурсов и, безусловно, не наносят никакого вреда! Что необходимо сделать, так это, лишь войти в свой Google аккаунт и выбрать «Отправить URL» в Webmaster Tools.
• Создавайте и обновляйте свои социальные профили. Теперь, когда вы знаете, что ссылки служат для привлечения ботов на сайт, вы понимаете еще одну полезную функцию социальных сетей. Создайте профили в LinkedIn, Twitter, Pinterest, Facebook, YouTube и Google+. Используйте как можно больше соцсетей. После публикации страницы сразу публикуйте ссылку на неё в ваших соцсетях.
• Разместите ссылки на новую страницу на внешних ресурсах. Блоги, статьи, пресс-релизы, посты посетителей и другие варианты линкбилдинга значительно ускоряют индексирование страницы.

sitechecker.pro

как сделать в Яндексе и Гугле

Регулярная проверка индексирования сайта необходима при продвижении в поисковых системах. Вы должны проверять на наличие в индексе не только целевые URL, но и возможное попадание в поисковую выдачу «мусорных» или служебных страниц.

Способы проверки

Поисковый запрос в Google

Самый быстрый вариант проверить индексацию сайта в индексе яндекса и гугла – это сформировать в поисковой строке запрос вида «site:yoursite.ru». Естественно, после команды site: нужно указывать свой адрес ресурса. Выполнив поиск, Google покажет все страницы, находящиеся в индексе.

Помимо поиска всех страниц, можете точно так же найти все ресурсы раздела. Если же требуется проверка индекса конкретной страницы, то в этом поможет оператор поискового запроса «info:».

Google Search Console

Незаменимый инструмент SEO-оптимизации. Если Вы еще не зарегистрировали свой сайт в панели вебмастера Google, сделайте это как можно скорее.

Чтобы посмотреть статус индексирования зайдите в раздел Индекс Google > Статус индексирования. В этом разделе Вы увидите количество проиндексированных страниц проверяемой площадки. Сравните количество проиндексированных URL с количеством в файле sitemap.xml.

Если проиндексировано страниц меньше, чем содержит XML карта сайта, возможно, наблюдается одна из проблем, о которых мы поговорим немного позже. Если же страниц в индексе находится больше, чем в файле sitemap, значит, в индекс попали лишние страницы, которые нужно срочно закрыть от индексации.

Лишние URL:

• Страницы дубликаты контента (создаются автоматически некоторыми CMS системами).
• Служебные ресурсы (файлы CMS системы, админ-панель).
• Файлы. Например, PDF фалы, могут попасть в индекс.

SEO-плагины для браузеров

SEO-плагины – это специальные надстройки для браузеров, которые позволяют узнать основную информацию об открытом сайте, попавшую в выдачу поисковиков Яндекс и Гугл: количество проиндексированных ресурсов и картинок, рейтинг, ошибки в meta-тегах и много другой ценной информации. Один из самых популярных плагинов – RDS bar для Google Chrome или Mozilla.

Netpeak Spider и Netpeak checker

Два профессиональных инструмента для вебмастеров, которые занимаются вопросами SEO. Эти программы платные. Netpeak Spider стоит 117.6$ в год, а Checker 159.6$ в год. Есть подписки на месяц, три или полгода. Несмотря на внушительную стоимость, относительно других инструментов: эти две программы позволяют проводить SEO-анализ по самым глубоким показателям и находить SEO-ошибки.

Netpeak Spider

Как можно понять из названия – это программа паук, которая, пройдя по всему сайту, найдет все страницы, скачает контент так, как его видят поисковые роботы, и выдаст отчет по 112 показателям. Сейчас же нас интересует проверка соответствия инструкции для индексации.

Проверяем инструкции для поисковых агентов (пауков).

В программе Netpeak Spider зайдите в меню «Настройки сканирования», и в разделе «индексация» отметьте все пункты. После проведения сканирования программа выдаст отчет по всему сайту.

Куда смотреть в отчете

Запомните теги, которые указывают на разрешение или запрет на индексацию конкретной страницы.

Разрешающие команды:

• Allow – команда из robots.txt.
• Index – из тега meta-robots. Разрешает показ в результатах поиска.
• Follow – из тега meta-robots. Разрешает переходить по ссылкам со страницы.

Запрещающими тегами будут соответственно:

• Disallow.
• Noindex.
• Nofollow.

Проверьте все страницы в отчете на предмет соответствия целям. Нет ли в отчете важных disallow страниц? Нет ли мусорных, наоборот, разрешенных к индексированию?

Canonical URL

Канонический URL – это указание в специальном теге страницы оригинала. Если на вашем ресурсе существуют страницы дубликаты, или частичные дубликаты, нужно указывать канонический URL в специальном теге.

 

Пример: <link rel=»canonical»href=»http://site.ru/blog/index/google»/>

В этом отчете указываются данные об исходных URL, если они были указаны.

Netpeak Checker

Эта программа покажет: проиндексирован сайт или нет, а также, сколько страниц проиндексировано.

Запустите сканирование и выберите пункт Google SERP: URL.

Значения TRUE / FALSE покажут наличие индексации и склейки с другим доменом или URL. А в следующей колонке Вы увидите количество проиндексированных страниц.

Screaming Frog SEO Spider

Еще один сервис-паук для SEO-анализа сайта. Сразу о приятном. Программа имеет бесплатную ограниченную версию, которая может анализировать сайты до 500 страниц. Если же нужно проанализировать ресурс большего размера, Вы можете купить программу за 149 фунтов в год.

Конечно, покупать программу за 150 фунтов для проверки индексации абсолютно не целесообразно. Однако помимо проверки индекса домена и заданных страниц, Screaming Frog проводит полный технический SEO-аудит сайта. Поэтому рекомендуем ознакомиться с программой хотя бы в бесплатной версии.

Xenu Link Sleuth

Старая и надежная программа для аудита архитектуры сайта и поиска нерабочих ссылок. Функционал программы сильно уступает ранее описанным, однако Xenu распространяется бесплатно. Xenu не предназначена для проверки индексации, однако позволит найти базовые ошибки в архитектуре сайта.

Почему может не индексироваться контент

• Вы запретили доступ к индексации в файле robots.txt.
• Отсутствует файл sitemap.xml.
• Существует много дублей, вызванных неправильной работой CMS. Тоже касается битых ссылок и висячих узлов.
• На сайте присутствует вирус.
• Низкая скорость загрузки сайта.

Как ускорить индексацию

Прежде чем заняться вопросом ускорения, индексации необходимо устранить SEO-ошибки, т.к. они влияют на доверие поисковой системы к вашему ресурсу. После, можете применить некоторые лайфхаки для ускорения индексации.

Ускорение индексации:

• Опубликуйте ссылку на ресурс и на каждую страницу в социальной сети Google+ и других социальных сетях.
• Если Вы выкатываете большое количество страниц, можете обновить файл sitemap.xml в панели вебмастера.
• Регулярно обновляйте контент на своем ресурсе. Поисковик выработает график посещения и страницы будут быстрее попадать в индекс.

После того как вы научитесь проверять индексацию своего сайта, вы сможете вовремя обнаруживать проблемы со страницами на нем.

prodvigaem.pro

Проверить индексацию страниц сайта в Яндекс и Google | Массовая проверка индексации сайта в поисковых системах

Большинство оптимизаторов используют для проверки сайта на индексацию браузерные бары вроде RDS-bar и других.

Все бары берут эти данные из выдачи поисковых систем c помощью различных операторов и просто «подтягивают» в свой интерфейс.

Но стоит учитывать что данные, полученные таким способом не точные, так как поисковые системы не отдают корректные данные об индексации для больших сайтов. По картинкам выше можно заметить расхождения в данных даже для маленького сайта. Для больших сайтов (начиная от 10 000 страниц) данные по индексации могут очень сильно искажаться!

Как же корректно проверить сайт на индексацию, чтобы данные были точными?

В отличие от сайта целиком, поисковые системы выдают точные данные об индексации каждой конкретной страницы. Следовательно, необходимо взять все нужные страницы сайта и проверить индексацию каждой из них по отдельности, а затем свести все данные вместе для получения целостной картины индексации всего сайта. Это верно как для Яндекса, так и для Гугла.

Большинство онлайн сервисов по проверке индексации дают возможность проверить небольшое количество страниц — от 10 до 100. А что делать, если нужно проверить на индексацию большой интернет-магазин или портал размером 100 000 или несколько миллионов страниц? Для задач такого масштаба в Rush Analytics был запущен модуль проверки индексации в Яндексе и Гугле. Основные преимущества и возможности данного модуля:

• Удобная пакетная загрузка страниц на проверку индексации тремя способами:

а) С помощью списка URL
б) С помощью файла, поддерживаются форматы xls, xlsx, xml
в) С помощью файла Sitemap.xml – просто укажите путь к карте сайта, мы сами спарсим ее, достанем оттуда URL и пробьем их на индексацию!

• Неограниченное количество URL на проверку – вы можете за раз проверить на индексацию от одной, до нескольких миллионов страниц!
• Доступна проверка индексации как в Яндексе, так и в Гугле: вы можете отправить свои страницы на проверку только в одной поисковой системе или в обоих сразу, достаточно поставить всего одну галку
• Удобная выгрузка в Excel. Вы можете просматривать данные как в веб-версии сервиса, так и быстро выгрузить их файлом

У нас предусмотрены особые условия для больших сайтов и порталов. Если у вас есть потребность в разовой или постоянной проверке на индексацию в Яндекс и Google от 200 000 страниц, напишите нам в поддержку на [email protected] и мы найдем что вам предложить!

www.rush-analytics.ru