Index-Pages — общее количество индексируемых страниц
Главная суть
Для оценки качества продвижения необходимо понимать сколько на сайте индексируемых страниц — реальное или приближенное значение.
Реальное количество индексируемых страниц можно получить путем парсинга сайта с настройками краулера приближенными к поисковым системам.
Количество страниц проиндексированных Яндексом (YIndex-Pages) и Google (GIndex-Pages) могут отличаться от реальности. Если это так — значит есть присутствие недостаточно-качественного материала на сайте, дублей мусора и прочего.
Формула
Index-Pages = (реальное кол-во индексируемых документов)Частный случай
YIndex-Pages = (кол-во страниц в поиске Яндекса)GIndex-Pages = (кол-во страниц в поиске Google)В идеале
Index-Pages = YIndex-Pages = GIndex-PagesНо к такому значению можно приблизиться за счет улучшения показателя Tr-Pages,% => 100%.
От куда брать данные?
Google Search Console
Отчет покрытие в Гугл вебмастере.
Альтернатива. Поиск Google
Используем оператор site:hostname.ru, где hostname.ru — название исследуемого хоста.
Проверка индекса в поиске Google.
Минус подхода: смотрим данные на текущий момент.
Результаты являются значением GIndex-Pages или Index-Pages (если принимаем данное количество за истину).
Яндекс.Вебмастер
«Индексирование» => «Страницы в поиске» => смотрим количество страниц на определенную дату.
Отчет «Страницы в поиске» в вебмастере Яндекс.
Альтернатива. Поиск Яндекс
Используем аналогично оператор host:hostname.ru | host:www.hostname.ru
Проверка индекса в поиске Яндекса. «Нашлось Х результатов» — где Х — нужное нам число.
Минус подхода: смотрим данные на текущий момент.
Результаты являются значением
Примечание. В вебмастерах Гугла и Яндекса необходимо смотреть количество страниц в индексе по всем версиям сайта: с префиксом www и без, с http- и https-протоколами — т.е. суммировать показатель.
Инструменты Netpeak Spider или Screaming Frog SEO Spider
Тут важно задать правильные настройки сканирования, аналогично краулерам поисковиков.
Учет файла robots.txt, директивы meta robots noindex, соблюдение тега Canonical, следование редиректам и т.п. Так же желателен учет Sitemap. Это всё делается с целью поиска всех возможных url.
Netpeak Spider
Сканируем сайт с необходимыми настройками и получаем значение («Индексируемые URL«):
Screaming Frog SEO Spider
Парсим сайт, в фильтре выбираем тип документов «HTML». В столбце « Indexability» — делаем сортировку, чтобы первыми шли «Non-Indexable«. Считаем количество таких страниц и вычитаем из общего количества отфильтрованных.
Т.е. считаем количество HTML-контент со значением «Indexable«:
Примечание. Помните, что если у вас не настроены базовые редиректы, то url сайта с префиксом www и без, с http- и https-протоколами — то одна страница будет доступной по нескольким url-ам. Существуют и другие варианты дублирования контента, эта тема отдельной статьи.
После парсинга сайта отбираем индексируемые HTML-страницы отдающие код 200. Количество таких страниц является истинным значением Index-Pages.
Вместо заключения
Оценка индекса позволяет выявить проблемы индексации, определить текущий потенциал сайта.
Показатели YIndex-Pages и GIndex-Pages могут быть не точными — в индексе поисковиков могут оставаться еще не склеенные страницы после простановки редиректов и тега Canonical…
Слишком большие различия между поисковиками — могут свидетельствовать о дублировании контента (чаще всего), а также о его низком качестве.
Большие различия между результатами поисковиков и реальным количеством — может говорить об отсутствии корректной настройки индексации сайта.
Обновлено: 19.12.2019 957 (в день: 4.161)
soltyk.ru
Быстрая индексация в Яндекс и Google: секреты индексирования страниц сайта
Специалист SEO-сервиса Labrika Добавляя информацию на сайт, нам хочется, чтобы она сразу же попала в выдачу, а еще лучше сразу в топ. Но поисковые системы так не делают, у них свое расписание, и иногда приходится неделями ждать индексации. У всех свои методы решения этой проблемы, мы расскажем о наиболее действенных средствах ускорения индексации.Быстрая индексация в Google
1. Google Webmaster
После появления нового материала на сайте, необходимо добавить ссылку на него в файл sitemap.xml. И отправить карту сайта Google через аккаунт в GWT. Еще одной полезной фишкой данного сервиса является возможность отправки URL новой страницы непосредственно на индексацию. Вы сообщаете Google, что у вас появилась новая страница (даете ссылку) и робот в ближайшее время ее проиндексирует.Как это сделать?
Заходите в аккаунт Google Webmaster и выбираете в меню «посмотреть как Googlebot». Далее указываете ссылку на новую страницу и нажимаете «Получить и отобразить». Google просканирует страницу и отобразит результат в графе «статус».
Если все прошло успешно, у Вас появится действующая кнопка «Добавить в индекс», туда и жмем. Откроется вот такое окно:
Здесь можно выбрать 2 варианта:
- Сканировать только этот URL. Будет проиндексирована только данная страница. Лимит 500 страниц в неделю
- Сканировать этот URL и прямые ссылки. В этом случае будут добавлены в индекс и те страницы, на которые идут ссылки с указанного URL. Лимит 10 в месяц.
Гарантий индексации это не дает. Но если информация на странице полезная, все требования поисковой системы к качеству соблюдаются – считайте она в индексе.
2. Социальные сети
Еще один очень популярный и действенный способ ускорения индексации в Google – это добавление ссылок в соц.сети. Лучше всего в этом вопросе помогает Twitter. Важно, чтобы указанная ссылка не просто появилась в Twitter, а распространялась. Поэтому у Вашего аккаунта должно быть как можно больше подписчиков, иначе получить желаемый результат не получится.
Полезная фишка данного способа – хэштеги. Если Вы найдете популярный хэштег дня, подходящий к теме Вашей статьи (хотя бы отдаленно), Ваш пост будет более популярным. Значит, и поисковый робот быстрее обратит свое внимание на ссылку.
3. RSS
Установите на наиболее обновляемые разделы сайта RSS канал. Так робот сможет отслеживать все новые публикации. Есть специальные сервисы для работы с RSS, например, FeedBurner. Этот сервис принадлежит Google, поэтому его добавление на сайт не останется незамеченным. Но помимо ускорения индексации, FeedBurner может исправить ошибки в RSS ленте, чтобы она корректно отображалась у всех пользователей.
Фишка в том, чтобы совместить Twitter и RSS. То есть, настраиваем кросспостинг из RSS в Twitter и ускоряем процесс индексации. Да и подписчики Ваши будут быстрее узнавать об обновлениях.
4. Перелинковка
О пользе правильной перелинковки уже говорилось много раз. Мы решили добавить ее в список лишь как напоминание. Если у Вас крупный многостраничный сайт – без нее индексация будет очень затрудняться. Позаботьтесь о правильной перелинковке сайта в первую очередь. Иначе все остальные труды по ускорению индексации будут напрасны.
Время индексации
Googlebot работает очень быстро. Мы говорили, что он посетит страницу в ближайшее время. Стоит уточнить, что «ближайшее время» — это буквально минут 10. Естественно, лучше всего применять все указанные способы вместе. Тогда страница появится в поиске моментально.
Быстрая индексация в Яндекс
Проблемы индексации в Яндексе мучают оптимизаторов постоянно. Мы дадим 6 советов о том, как повлиять индексацию, но предоставить гарантии быстрого попадания в индекс, все же, не можем. Многое зависит от самого сайта, качества текстов, специфики. Так что, опять вспоминаем о перелинковке и внутренней оптимизации, а потом переходим к советам:1. Обязательно добавьте сайт в Яндекс.Вебмастер
Помимо того что Яндекс будет в курсе существования Вашего сайта, Вы сможете найти там полезные функции. Например, защиту контента от воровства с помощью сервиса «Оригинальные тексты». Это, кстати, хороший способ показать Яндексу, что у Вас появился новый материал. А еще добавьте в аккаунт свою карту сайта.
2. Социальные сети
Они полезны как в Google, так и в Яндексе. Стоит отметить, что Яндекс придает им гораздо меньше значения, но лишним это точно не будет. Особенно если у Вас популярный аккаунт с большим количеством подписчиков, например, +500 в Twitter, то быстроробот Яндекса не останется в стороне.
3. RSS
4. Каталоги
Прогон по каталогам может помочь в ускорении индексации, но только если сделать все правильно. Подобрать правильную тематику, правильное количество каталогов и загрузить в правильное время. Иначе можно только хуже сделать.
5. Распорядок
Основные сложности с индексацией возникают, когда на сайте появляется сразу много новых материалов. Если добавлять страницы с определенным интервалом, допустим, 2 статьи в неделю, то робот будет приходить как раз вовремя. Но это если Вы уже достаточно намучились с Яндексом и заслужили его уважение как полезный трастовый сайт.
6. Реклама Яндекс.Директ
Это наиболее действенный метод ускорения индексации. При добавлении на страницу рекламы от Яндекс.Директ, поисковая система должна просканировать контент и подобрать подходящее объявление. Поэтому индексация таких страниц происходит практически моментально. Но ставить объявления на каждую страницу не всегда возможно.
Время индексации
В среднем, срок индексации может сократиться до 7-10 дней. Звучит не очень радостно, но по сравнению с обычными месяцами ожидания, это очень быстро.
www.seonews.ru
Как часто Яндекс индексирует сайты и как ускорить индексацию
Привет, Друзья! Очень часто вы задаёте мне следующие вопросы: — «почему мой сайт долго индексируется», «как часто яндекс индексирует сайты», «могут ли мой контент украсть до индексации и обвинить меня в воровстве», как ускорить индексацию сайта яндексом» и так далее. Ответов на почту всем интересующимся я послал более 50 и решил упростить свой труд и ответить на вышеописанные вопросы в этой статье, так сказать убить двух зайцев с одного выстрела))) Итак, начинаем охоту!
Как часто Яндекс индексирует сайты
Давайте сначала разберем два понятия, индексация и апдейт. Постараюсь кратко написать, что они из себя представляют и с чем их едят.
Индексация сайта — это обработка сайта роботами-поисковиками, то есть программами, сканирующими сайт и заполняющими базы данных поисковиков результатами для поисковых запросов. Если индексация выполнена верно, то пользователь легко найдет нужные страницы сайта. В противном случае веб-ресурс не будет отображаться в поисковых системах, проще говоря, его не увидят пользователи и не приобретут товар, не воспользуются услугой и так далее.
Термин «апдейт» происходит от английского слова – update, что в переводе означает – обновление. Среди специалистов, занимающихся SEO-продвижением, он используется часто и дословно означает «обновление данных». Разновидностями такого обновления будет доработка интерфейсной части сайта или внесение изменений на конкретной странице. В среде специалистов используется также сокращенная форма слова – «ап».
Появление новых результатов поиска, после запроса по одной и той же ключевой фразе в поисковике, например, Google или Яндекс – вот что такое «апдейт» применительно к поисковой оптимизации. У поисковых движков есть индексы, в которых все страницы расположены по порядку. Апдейт приводит к изменению позиций уже существующих записей веб-ресурсов или добавлению новых в ответах на пользовательские запросы. Связанный с апдейтом процесс, приводит к обновлению кэша поисковой машины и индексации сайтов в ее базе данных.
Более подробно об этих двух понятиях можете прочитать на страницах моего сайта, вот ссылки на то — что такое апдейт и что такое индексация.
Ну думаю с этим разобрались, теперь переходим к вашим вопросам.
Почему мой сайт долго индексируется
Здесь всё зависит, как раз от поискового робота. Именно он заходит на сайты по определённому графику, известному только в компании Яндекс и сканирует миллионы WEB проектов на наличие обновлений. К примеру, если контент (статьи, фотографии, видео, карточки товаров) на своем сайте вы добавляете или меняете раз в месяц, то робот рано или поздно это поймёт и будет заходить на ваш ресурс лишь раз в месяц. Отсюда и срок индексации сайта будет такой же.
Чем чаще вы добавляете контент, тем чаще робот будет к вам приходить на сайт. На новостных ресурсах, таких как Фонтанка.ру или RBK роботы просто «живут» и не выходят от туда. Новости на таких сайтах обновляются и добавляются в день десятками, а то и сотнями и поисковые боты их скандируют и индексируют практически мгновенно.
Думаю вопрос, почему сайт долго индексируется снят с повестки дня, также как и вопрос, как часто нужно публиковать статьи на сайте.
Могут ли украсть контент до индексации сайта
Да могут! И именно так это и делается. Пока сайт молодой и только начинает свой жизненный путь, он индексируется раз в месяц, а то и два. Весь контент, который публикуется на таком сайте, может быть украден, как в ручную, так и автоматически (что бывает чаще) программами парсерами, работающими в самонаполняющихся сайтах. Большинство моих учеников очень удивляется, когда я анализирую их сайт и выявляю не уникальный контент.
Последний мой ученик, опубликовал на своём молодом сайте сразу 15 статей и через месяц был очень удивлён, тому что Яндекс обвинил его в копипасте и наложил на сайт фильтр. Доказать Яндексу (Платону Щукину), что это не он вор, а наоборот у него статьи украли, не получилось. Сделать это теперь очень проблематично и к тому же, чтобы вытащить сайт из под фильтра, придётся все эти статьи удалять и писать новые. Результат от незнания и неправильных действий — потеря денег, потеря контента и попадание под фильтр.
Как обезопасить свой контент от воровства можете прочитать здесь, либо посмотреть моё видео, если лень читать))) Подробно об этом писать здесь не буду.
Как защитить контент от воровства
Теперь поговорим о том, как ускорить процесс индексации.
Как ускорить процесс индексации
Для того чтобы индексация вашего сайта и вновь добавленного контента прошла быстрее, нужно «попросить» яндекс-бота посетить ваш сайт. Делаю я это просто и несколькими способами.
Первый способ ускорения индексации сайта
Я привлекаю на свой сайт робота, методом расшаривания постов опубликованных статей через социальные сети. Делаю я это с помощью блока кнопок социальных сетей. Как только пост опубликован его видят роботы, так как в социальных сетях они живут постоянно и не выходят от туда, как и с новостных лент.
Публикация статей в социальные сети передаёт на сайт соц-сигналы и помимо ускорения индексации пладотворно влияет на продвижение сайта в Google и Яндекс. Напомню, перед расшариванием текстов, обязательно дайте понять Яндексу, что они ваши (смотри видео выше).
Второй способ ускорения индексации сайта
Здесь мы информируем Яндекс-Бота о том, что на нашем сайте появился новый контент, через Яндекс Веб мастер, раздел которого в простонародии называется Адурилкой.
Заходим в Яндекс Вебмастер, регистрируемся, добавляем свой сайт и переходим на вкладку индексирование — переобход страниц. Затем копируем URL той страницы, которую хотите быстро проиндексировать и добавляете в графу, как на картинке ниже и нажимаете кнопку отправить.
После этого ждём обхода робота. Добавление новых URL адресов в адурилку существенно ускоряет процесс индексации, а когда вы работаете в связке с сервисом оригинальные тексты Яндекс, то ещё и полностью исключаете воровство вашего контента. Все на самом деле очень просто, если всё это знать.
Также просто и продвигать сайты в Яндекс. Делать это можно самостоятельно и абсолютно бесплатно, но опять же нужны знания. Если хотите, могу научить и этому (информация ниже).
Обучение продвижению сайтов
Для тех кто хочет научиться выводить сайты в ТОП 10 поисковых систем Яндекс и Google, я организовал онлайн-уроки по SEO-оптимизации (смотри видео ниже). Все свои интернет-проекты я вывел на посещаемость более 1000 человек в сутки и могу научить этому Вас. Кому интересно обращайтесь!
На этом сегодня всё, всем удачи и до новых встреч!
hozyindachi.ru
Сколько времени Яндекс индексирует сайты
Обычно средний срок индексации «Яндексом» составляет 1–2 недели.
Некоторые блоги индексируются гораздо быстрее. Посты, которые я публикую в своем блоге индексируются Яндексом в течение двух часов, или даже в течение двух минут. Но бывают исключения.
Так произошло с двумя страницами «Как писать тексты, чтобы выйти в топ?» (14.04.2011) и «iForum 2011. Что было в этом году» (18.04.2011). Что с ними? Почему они не в индексе? Уже прошло столько времени.
Я уже и перепостил в твиттер и разместил ссылки на двух других блогах и воспользовался формой добавления //webmaster.yandex.ru/site/add.xml.
Но время шло, а ссылки не индексировались. Я уже не знал что делать. Я даже написал письмо в службу поддержки Яндекса.
Здравствуйте.
Мой блог достаточно быстро индексируется Яндексом, но почему-то страница fortress-design.com/iforum-2011-vpechatleniya/ так и не находится в поисковом индексе. Подскажите, пожалуйста, в чем может быть причина.
С уважением, Илья.
В скором времени пришел ответ Платона:
Здравствуйте, Илья!
Указанная страница уже проиндексирована роботом и должна появиться в результатах поиска после следующего обновления поисковых баз. Пожалуйста, подождите еще несколько дней.
—
С уважением, Платон Щукин
Служба поддержки Яндекса
help.yandex.ru
Честно говоря, я был утешен этим ответом. Но после обновление поисковой выдачи Яндекса, которое произошло 29.04.2011 я стал опять обеспокоен. Эти страницы так и не появились в поисковой выдаче. Но почему? Что с ними не так? Продвижение неизбежно только с проиндексированными ссылками. Иначе они попросту не учитываются, хотя и размещены на странице.
Гугл, между прочим, проиндексировал оба документа.
Ну ладно, пока Яндекс обновляет свои базы поисковой выдачи, предлагаю вашему вниманию замечательный ролик о технологиях будущего, выполненных на стекле. В принципе, веб-сайты, думаю, тоже будут развиваться в этом направлении. В частности, интерфейсы и навигация уже частично выглядит так уже сейчас.
P.S. 30 апреля проверил — страницы уже в индексе Яндекса. 24.04.2011 [17:57:44] была сохранена копия этих страниц. Ура!
С новыми сайтами дела не всегда выглядят хорошо. Яндекс их очень меддленно индексирует. В Яндекс.Вебмастере написано:
Ваш сайт не проиндексирован Яндексом. (Сайт успешно добавлен в очередь на индексирование)
Если сайт новый и ранее не был известен роботу, то после добавления его в сервис Яндекс.Вебмастер он начнёт индексироваться и затем появится в поиске. Обычно это происходит в течение двух недель с момента добавления сайта.
Яндекс.Вебмастер пишет, что сайт не проиндексирован, потому что новый, но в тоже время может проиндексировать 2 страницы. Вот почему, для проведения конкурсов «Продвижение неизбежно» соревнования проводятся в русском Гугле.
При добавлении нового сайта в Яндекс.Вебмастер, появляется сообщение, что сайт добавлен в очередь на индексацию. По истечение двух-трех дней уже есть сдвиги:
Сайт начал индексироваться. Страницы должны появиться в поиске через 1-2 обновления поисковой базы. В поиске могут присутствовать страницы проиндексированные быстрым роботом.
В связи с задержкой последних апов, Яндексу задают вопросы на которые он дает не менее познавательные ответы 
Что касается статистики апов, она отображена в таблице.
Частота апдейтов Яндекса оставляет желать лучшегоКак ускорить индексацию сайта
Ну и наконец небольшой лайфхак, как поспособствовать ускорению индексации сайта. Просто-напросто нужно обзавестись парой-тройкой жирных внешних ссылок на нужную вам страницу (например, новую статью в вашем блоге). Важно, чтобы ссылки шли с трастовых сайтов и популярных (тематических) групп социальных сетей, куда быстроробот заходит очень часто.
Чтобы не искать их вручную, можно создать проектик в PromoPult и для нужных страниц настроить покупку ссылок по требуемым параметрам. Конечно, это не панацея, и гарантировать результат быстрой индексации не буду, но часто такой метод выручает вебмастеров.
fortress-design.com