Как проверить проиндексирован ли сайт и ускорить этот процесс

Доброго времени суток, дорогие друзья. Многие начинающие веб-мастера, самостоятельно занимающиеся продвижением своих сайтов, не уделяют должного внимания индексации своего ресурса. Это приводит к потере времени и денег, затраченных на создание неэффективной интернет-площадки, которую не любят поисковики, а соответственно, и пользователи с рекламодателями.

Поэтому сегодня, продолжая цикл статей о сайтостроительстве, мы поговорим о том, как проверить проиндексирован ли сайт в целом и его отдельные страницы в частности, а также обсудим, как и для чего нужно ускорять процесс индексации.

Что такое индексация и зачем она нужна

Мы уже не раз говорили о том, что зарабатывать на своем сайте можно только при условии достижения высокого уровня посещаемости, интересного потенциальным рекламодателям.

Большинство пользователей попадает на определенный ресурс из поисковых систем, вводя в них интересующие их запросы. Поисковые роботы сверяют эти запросы со своей базой данных и выводят оптимальные результаты поиска. Для того чтобы сайт попал в эту базу, он должен быть проиндексирован поисковой системой. В противном случае посетители просто не смогут найти его.

При этом очень важно, чтобы не просто ресурс, но каждая его новая страничка была максимально быстро учтена поисковиком. Оптимально, если она содержит внутреннюю перелинковку, позволяющую не только заносить в базу новый материал, но и по указанным ссылкам обновлять старый.

Почему индексация должна быть быстрой?

Кроме увеличения трафика посетителей скорость индексирования влияет и на многие другие показатели ресурса.

Ежедневно в сети появляются новые сайты, тематика которых конкурирует с вашей веб-площадкой. Все они наполняются схожим контентом, который по мере роста численности конкурентов, теряет свою уникальность. Это происходит оттого, что большинство сайтов занимается публикацией многочисленных рерайтов. Простым языком, если вы написали уникальную статью и сразу не позаботились о ее учете поисковиком, не факт, что в момент такового материал останется уникальным.

Кроме того, не проиндексированный контент становится лакомой мишенью для мошенников. Недобросовестному веб-мастеру ничего не мешает попросту скопировать материал на свой ресурс, провести быстрое индексирование и получить от поисковых роботов право на его авторство. А вашу статью поисковики в дальнейшем сочтут не уникальной, что может привести к бану интернет-площадки. Поэтому контролировать и ускорять процесс индексации особенно важно для молодых ресурсов, пробивающих себе дорогу.

Еще одним моментом, зависящим от быстрого индексирования каждой страницы, является возможность получать деньги за платные ссылки. Ведь до тех пор, пока статья с ссылкой не будет проиндексирована поисковиками, свое вознаграждение вы не получите.

Как проверить проиндексирован ли сайт в целом?

Для начала стоит убедиться, что ваш сайт попадает в базу поисковиков. Для этого нужно узнать общее число его страниц. При наличии современной системы управления веб-ресурсом, посмотреть данную цифру можно в административной части. При этом учитывается итоговое число страничек и записей.

Если по какой-либо причине данная информация недоступна, можно воспользоваться сервисом Xml-sitemaps.com. Учтите, что он бесплатен только при работе с сайтами, имеющими в своем арсенале до полутысячи страниц.

Узнав требуемое число, можно приступать к проверке индексирования площадки в главных поисковых системах – Яндекс и Google. Для этого существует несколько способов:

• Использование специальных инструментов для веб-мастеров: webmaster.yandex.ru и google.com/webmasters. Зарегистрировавшись в них и добавив свой ресурс в систему, вам станут доступны не только данные о количестве проиндексированных страничек, но и статистика других «пузомерок».
• Ручная проверка через ввод специальных команд в строку поиска. При этом в Яндексе нужно ввести конструкцию host:имя сайта+домен либо host:www+ имя сайта+домен, например, host:abc.ru. На это система выдаст все проиндексированные страницы. Для проверки в Google потребуется ввести запрос: site:имя сайта+домен, т.е. site:abc.ru.
• Использование автоматических сервисов, проверяющих индексацию сразу в обеих поисковых системах. К числу таких относятся, например, Site-auditor.ru, Pr-cy.ru или Seolib.ru. Также можно добавить в свой браузер плагин RDS Bar, который будет показывать сведения о ресурсе, включая индексацию страничек, на котором вы находитесь.

С помощью любого из данных методов можно узнать, проиндексирован ли сайт в целом, и определить число занесенных в базу поисковиков страниц ресурса.

Что делать с полученной информацией?

В идеале, количество страничек сайта должно совпадать с числом проиндексированных страниц. К сожалению, так бывает далеко не всегда. Гораздо чаще встречаются два варианта развития событий:

• Проиндексированное число элементов – меньше. Соответственно, вы сильно теряете в трафике, ведь по многим запросам пользователей ваш сайт остается недоступным для них.
• Количество проиндексированных страниц превышает реальное число таковых. Если у вас подобный вариант, радоваться не стоит. Вероятнее всего имеет место дублирование страничек, что размывает их вес, увеличивает число повторяющегося материала и мешает продвижению ресурса.

Обе проблемы необходимо максимально быстро решить.  Иначе вы рискуете получить неэффективную веб-площадку, заработать на которой можно только в мечтах. А для этого придется проверить индексацию всех страниц по отдельности, чтобы узнать, какие из них «стратили».

Как проверить индексацию отдельной или всех страниц

Проверка отдельной странички нужна, когда необходимо убедиться, что новый  опубликованный контент успешно «замечен» поисковыми системами. Или когда вы приобрели на чужом ресурсе платную ссылку и теперь с нетерпением ждете ее индексации. Это можно сделать через:

• Ввод URL страницы в строку поиска Яндекс или Google. В случае если проблем с восприятием страницы поисковиками нет, она первой отобразится в результатах поиска.
• Уже упомянутый плагин RDS Bar.

Для проверки индексации всех страничек сайта понадобится список их адресов (URL). Для этого можно воспользоваться каким-либо генератором карт веб-ресурсов, к примеру, Sitemap Generator. Чтобы собрать только URL страниц, не забудьте внести маску ненужных адресов, например, на комментарии, в окне «Exclude Patterns». По окончании процесса следует перейти во вкладку Yahoo Map/Text, откуда скопировать сгенерированный перечень всех адресов.

Имея его на руках, индексацию всех страничек не составит труда проверить с помощью программы YCCY.ru. Просто добавьте данные в список исходных URL и выберите одну из предложенных поисковых систем: Google, Яндекс или Rambler. Нажмите кнопку «Начать Проверку» и получайте утешительные или не очень результаты.

Как улучшить и ускорить процесс индексации?

Узнав перечень непроиндексированных страниц, необходимо разобраться в причинах этого. Прежде всего, стоит проверить качество работы хостинга и самой веб-площадки и убедиться в уникальности размещенных материалов. Далее промониторьте ресурс на наличие контента слишком короткого (до 2 000 символов без пробелов), содержащего более 2-3 ссылок на сторонние ресурсы, либо много Java и Flash ссылок. Все эти факторы в первую очередь могут влиять на то, что ваш материал остается «невидимым» для поисковиков.

Ускорить процесс индексирования сайта можно с помощью:

• частого обновления уникального материала, что очень ценят поисковики;
• грамотной внутренней перелиновки страниц, позволяющей поисковым системам видеть новый и обновлять уже содержащийся в базе контент;
• публикации ссылок на статьи во всех социальных сетях и тематических форумах;
• закупки ссылок с прокачанного аккаунта.

Надеюсь, вы поняли, что быстрая индексация страниц ресурса – основа его продвижения в поисковиках, от которой напрямую зависит ваш потенциальный доход.

Если я глаголил не зря, прошу порекомендовать мою статью в социальных сетях, поспособствовав ее индексации 🙂 На этом прощаюсь и желаю успехов в любом деле!

P.S. Телеграм канал блога — t.me/investbro_ru — подписывайтесь!

Индексируются ли страницы с #

Для начинающих специалистов 

На тему индексации URL-адресов с # до сих пор идут споры в интернет-сообществе. Многие утверждают, что страницы с хештегами в URL-адресах не индексируются поисковыми системами, другие говорят, что индексируются, и приводят примеры страниц с # в URL, которые увидели в выдаче поисковой системы.

Так кто же из них прав? И те и те, но попробуем внести ясность в этот, на первый взгляд, простой вопрос.

 

Что такое # и для чего он нужен?

Для начала давайте разберемся, что из себя представляет # и где он применяется. Хештеги в социальных сетях мы рассматривать не будем, так как они к теме статьи не имеют никакого отношения.

Якорем называется закладка с уникальным именем на определенном месте веб-страницы, предназначенная для создания перехода к ней по ссылке. Якоря удобно применять в документах большого объема, чтобы можно было быстро переходить к нужному разделу, – htmlbook.ru.

Т.е. при помощи хештега можно сделать ссылку на определенный элемент страницы. Это очень удобно для навигации по большим документам, форумам, комментариям.

Можно дать ссылку другу на определенную главу текста, пост на форуме или же комментарий в статье.

Пример ссылки с якорем:

https://ru.wikipedia.org/wiki/%D0%A1%D0%BF%D0%B8%D1%81%D0%BE%D0%BA_%D0%BA%D0%BE%D0%B4%D0%BE%D0%B2_

%D1%81%D0%BE%D1%81%D1%82%D0%BE%D1%8F%D0%BD%D0%B8%D1%8F_HTTP#.D0.9E.D1.88.D0.B8.D0.B1.D0.BA.D0.B0_.

D1.81.D0.B5.D1.80.D0.B2.D0.B5.D1.80.D0.B0

При переходе по ней пользователь сразу попадает на главу «Ошибка сервера».

Очень удобная штука, и все ее используют.

Индексируют ли поисковые системы ссылки с якорями? Нет!

Поисковой системе нет никого смысла добавлять страницы с якорями в индекс. Так как, по сути, это одна и та же страница.

Когда страницы с # в URL индексируются поисковыми системами?

Поисковые системы будут сканировать страницы сайта, которые содержат в URL-адресе #, в случае, если это Ajax-сайт и все сделано правильно для его индексации по рекомендациям поисковых систем.

Возьмем к примеру сайт http://www.keragros.com/, он сделан на Ajax и индексируется поисковыми системами.

И, как мы видим из поисковой выдачи, страницы сайта индексируются и содержат #! в URL-адресе:

Но если мы посмотрим кэш одной из внутренних страниц этого сайта, то увидим, что сохраненная копия страницы содержит совсем другой URL-адрес.

Пример:

В выдаче поисковой системы страница имеет URL http://www.keragros.com/#!cf-systems/c1yi9.

А кэш данной страницы – http://www.keragros.com/?_escaped_fragment_=cf-systems/c1yi9.

Почему так происходит? Из-за технологии индексирования сайтов на Ajax. Более подробно вы сможете ознакомиться с ней в Справке поисковой системы Яндекс.

Выводы

Страницы с # в URL-адресах не индексируются, но бывают случаи, когда можно заметить в выдаче поисковых систем страницы с # в URL, но не стоит на это обращать внимание, так как робот при помощи конструкции #! запрашивает HTML-версию страницы и уже ее добавляет в свой индекс.

Как проверить индексируется ли сайт поисковиками, нет ли фильтров от поисковых систем

10.07.2014.

Перед началом активного продвижения сайта, необходимо проверить, нормально ли индексируется сайт поисковыми системами и не наложены ли на него фильтры от ПС.

Проверяем индексацию

Проверить, сколько страниц сайта проиндексировано Яндексом можно, задав Яндексу запрос:

url:realyseo.ru* | url:www.realyseo.ru*

Вместо  realyseo.ru  подставьте ваш домен. Проверить сколько страниц на сайте проиндексировал Google можно, задав запрос:

site:realyseo.ru

Либо, можно проверить индексацию специальными программами (например, Site-Auditor) или воспользоваться онлайн-сервисами (запрос в поисковик — «проверить индексацию сайта онлайн»), либо, посмотреть данные в панелях вебмастера Яндекс и Google.

Далее есть два варианта — сайт индексируется или не индексируется (ничего не найдено, 0 страниц). Если сайт не индексируется — добавляем главную страницу в Яндекс и Google, регистрируем сайт в в Яндекс Вебмастер и в Инструменты для веб-мастеров Google, ждем индексации или сообщения об ошибке в панелях вебмастеров.

Либо, сайт индексируется, тогда проверяем следующее:

Если количество страниц, проиндексированное Яндексом примерно равно количеству страниц, проиндексированных Google и примерно совпадает с количеством страниц (статей, товаров, материалов) на сайте — то с индексацией всё в порядке. Нужно отметить, что «примерно равно» означает — не отличается на порядок (обычно, в индексе Google больше страниц, чем в Яндексе, а подсчитать точное количество страниц, доступное поисковым роботам на сайте по опубликованным материалам довольно проблематично, так как есть ещё и страницы навигации, постраничный вывод статей/товаров и т.п.). Если же цифры сильно разнятся, то с индексацией сайта что-то не так. Проверяем, открыты ли все нужные разделы и страницы сайта для индексации поисковыми системами (скоро будет отдельный пост), смотрим, не наложены ли на сайт фильтры.

Нет ли на сайте фильтров ПС

Фильтры применяются поисковыми системами для того, что бы исключить из выдачи (или сильно понизить позиции) низкокачественные страницы сайта (например, не содержащие уникальный и полезный контент, созданные только для привлечения поискового трафика, не несущие никакой пользы посетителям и т.п.). На сегодня фильтров поисковики используют довольно много, мы рассмотрим самые простые и универсальные способы узнать, нет ли на сайте фильтра.

АГС от Яндекса

Серия фильтров АГС (17, 30, 40) от Яндекса сейчас уже не так распространена, как ещё полгода назад, но до сих пор встречается на сайтах. Главный признак — маленькое количество страниц в индексе Яндекса. Если на сайте есть более 30 страниц, доступных для индексации, в Google проиндексировано более 30 страниц, а в Яндекс 1-10 страниц, то, скорее всего, на сайт наложен фильтр АГС.

Как избавиться от АГС

• Проверяем все тексты сайта на уникальность в интернете (используя, например, программу Адвего Плагиатус), переписываем не уникальные, стараемся, что бы тексты были полезны для пользователей (не очередной пересказ своими словами статьи «как повесить картину», а полезный материал с фотографиями о том, как я самостоятельно вешал картину).
• Запрещаем индексацию не нужных страниц (профили пользователей, панель управления сайтом, страницы тегов и т.д.).
• Стараемся сделать сайт полезнее для посетителя (например, делаем какой-либо калькулятор или онлайн сервис).
• Пишем письмо в службу поддержки Яндекса (через Яндекс.Вебмастер), спрашиваем — Что не так сайтом, почему он плохо индексируется? Ждем ответа пару дней, если напишут, что сейчас с сайтом все хорошо — ждем индексацию, если же — что у сайта остались проблемы — исправляем.

Пессимизация сайта в Яндекс и Google

У обоих крупнейших в России поисковых систем есть несколько разных фильтров для пессимизации (занижения позиций) сайтов. На каждом отдельно в этой статье останавливаться я не вижу смысла, напишу, как можно понять, что сайт пессимизирован.

Простой и надежный способ проверить пессимизацию сайта — это взять фрагмент текста из статьи сайта и запустить поиск по нему в Яндекс и Google (нужно брать текст с проиндексированных (старых) страниц). Не используйте более одного предложения для такого поиска (не нужно, что бы в середине текста стояла точка). Если ваш сайт по длиной фразе с него находится поисковиками и стоит на первом месте выдачи — то пессимизации нет, если же сайт не на первом месте или не находится совсем — пробуем этот же текст заключить в кавычки (поиск точного совпадения) и повторить поиск.

Если же и поиск в кавычках не даст результата, либо сайт окажется не на первом месте — он, скорее всего, находится под фильтрами поисковой системы. В рамках данной статьи не считаю необходимым приводить тут дальнейнейший алгоритм действия по выявлению конкретного фильтра, наложенного на сайт, а просто посоветую читателю обратиться в поддержку Яндекса или Google (тут всё сложнее, не отвечают часто) и спросить — что не так с сайтом — иногда можно получить вполне понятный ответ. Либо — обратиться к профессионалам для установки фильтра, наложенного на сайт и проведения работ по его снятию.

 

Понравилась статься? Подпишитесь на обновления:

Причины почему плохо индексируется сайт

Часто бывает такое, что вебмастер работает над его оптимизацией – выкладывает качественный контент, распространяет в социальных сетях и другими способами привлекает пользователей, но в результате очень мало страниц в индексации или же они там появляются очень медленно. Этому могут быть разные причины, основные мы опишем в этой статье.

Диагностика проблемы

Но прежде необходимо удостовериться в том, что неполадки с индексацией сайта на самом деле существуют. Проверку можно выполнить при помощи сервисов Яндекс.Вебмастер и Google search Console.

В Яндекс.Вебмастер нужно зайти в раздел «Индексирование», подраздел «Страницы в поиске», в Google Search Console нужно зайти на раздел «Покрытие», подраздел «Индекс».

В этих разделах можно просмотреть все изменения насчет страниц вашего сайта: удаление и исключение страниц из индекса поисковых систем, можно просмотреть историю и узнать, заходит ли поисковый робот на сайт. Если добавленных в индекс страниц не было продолжительное время, значит, робот забыл про ваш сайт.

Также можно прибегнуть к поисковым командам: в строке поиска ввести запрос «site:exemple.ru» и в результатах поиска появятся все страницы, которые есть в индексе. Если страниц в поиске не будет или разница между результатами двух поисковиков очень большая, то это повод для выяснения причины, по которым сайт плохо индексируется.

Причина №1. Закрытый от индексирования сайт

Первым делом нужно заглянуть в файл robots.txt и посмотреть, нет ли там директив, закрывающих весь сайт от посещения поисковыми роботами. Нужно искать строку «disallow: /».

Частой причиной может быть неправильное функционирование тега noindex, вследствие чего от индексации закрылись нужные страницы. Также нужно посмотреть в настройках WordPress и SEO плагина не закрыт ли сайт для поиска. И нужно заглянуть в файл .htaccess  – не прописана ли там блокировка сканирования поисковыми роботами.

Причина №2. В базе поисковиков нет данных о сайте или странице

Обычно такая ситуация возникает у молодых сайтов, иногда регистрация в базе поисковой системы затягивается, и он не стоит в очереди на сканирование. Для посещения вашего сайта поисковым системам нужно минимум две недели после того, как они были добавлены Яндекс.Вебмастер и Google Search Console.

Причина №3. Сайт в бане поисковой системы

Яндекс и Google применяют санкции за различные правонарушения и заносят в черный список, в результате поисковый робот на такие сайты на заходит. Трудность этой ситуации в том, что сложно заметить, что произошел бан. В Яндекс.Вебмастере вы еще можете получить об этом уведомление, то в случае бана в Google определить причины, по которым сайт плохо индексируется, можно не всегда.

Фильтры применяются за нерелевантный контент или если он низкого качества, надоедливая реклама, ссылочный спам или есть он есть в семантическом ядре, искусственные поведенческие факторы, лишний или вредоносный код в страницах.

Причина №4. Технические ошибки на сайте

Обычно это грубые ошибки, исправив которые, плохая индексация пропадает, это могут быть:

• Некорректные HTTP-заголовки;
• Неправильные редиректы;
• Неправильно указана кодировка на страницах, которую поисковик видит как набор непонятных символов;
• Различные ошибки после сканирования, какие можно посмотреть в панелях для веб-мастеров;
• Перебои в работе хостинга – очень желательно, чтобы он работал стабильно;
• Нет файла sitemap.html или неправильная его настройка.

Причина №5. Низкое качество контента

Если контент не удовлетворяет требованиям, то поисковые системы немедленно применят санкции.

Основания для потери позиций:

• Неуникальность контента – полностью или частично скопированный контент с других сайтов или страницы с одинаковым содержимым.
• На многих страницах статьи с одинаковой структурой заголовков, и одни и те же мета-теги.
• Низкая скорость загрузки страниц из-за тяжелых картинок или громоздкого кода.

Если ваш сайт плохо индексируется, то первым делом нужно проверить описанные выше причины. При обнаружении проблем, не следует вдаваться в панику. Нужно собраться и устранить причины плохой индексации сайта или полного отсутствия этого процесса. На самом деле занесение данных о сайте в поиск – процесс достаточно простой. Но главная его проблема в инертности – он происходит долго, неделями. Поэтому результат ваших действий может быть виден не сразу.   

Запоминайте или записывайте действия, которые выполняйте в рамках улучшения индексации сайта. А затем, через некоторое время анализируйте результаты. Таким образом вы сможете понять, что именно приводит к тому или иному итогу.

Индексируются ли страницы с #

На тему индексации url-адресов с # до сих пор идут споры в интернет сообществе. Многие утверждают что страницы с хештегами в url-адресах не индексируются поисковыми системами, другие говорят что индексируются и приводят примеры страниц с # в url, которые увидели в выдаче поисковой системы.

Так кто же из них прав? И те и те правы, но попробуем внести ясность в этот, на первый взгляд, простой вопрос.

Что такое # и для чего он нужен?

Для начала давайте разберемся что из себя представляет # и где он применяется. Хештеги в социальных сетях мы рассматривать не будем, так как они к теме статьи не имеют никакого отношения.

Якорем называется закладка с уникальным именем на определенном месте веб-страницы, предназначенная для создания перехода к ней по ссылке. Якоря удобно применять в документах большого объема, чтобы можно было быстро переходить к нужному разделу. (с)htmlbook.ru

Т.е. при помощи хештега можно сделать ссылку на определенный элемент страницы. Это очень удобно для навигации по большим документам, форумам, комментариям.

Можно дать ссылку другу на определенную главу текста, пост на форуме или же комментарий в статье.

Пример ссылки с якорем:

Пример ссылки из википедии

При переходе по ней пользователь сразу попадает на главу «Ошибка сервера».

Очень удобная штука и все её используют.

Индексируют ли поисковые системы ссылки с якорями? Нет!

Поисковой системе нет никого смысла добавлять страницы с якорями в индекс. Так как по сути это одна страница. Нет ведь никакого смысла добавлять в индекс одну и ту же страницу несколько раз, верно?

Когда страницы с # в url индексируются поисковыми системами?

Поисковые системы будут сканировать страницы сайта, которые содержат в url-адресе #, в случае если это ajax сайт и всё сделано правильно для его индексации по рекомендациям поисковых систем.

Возьмем к примеру http://www.keragros.com/, он сделан на Ajax, и он индексируется поисковыми системами.

И как мы видим из поисковой выдачи страницы сайта индексируются, и содержат #! в url-адресе:

Но если мы посмотрим кеш одной из внутренних страниц этого сайта, мы видим что сохраненная копия страницы содержит совсем другой url-адрес.

Пример:

В выдаче поисковой системы страница имеет url:

http://www.keragros.com/#!cf-systems/c1yi9

А кеш данной страницы — http://www.keragros.com/?_escaped_fragment_=cf-systems/c1yi9

Почему так происходит?

Из-за технологии индексирования сайтов на ajax, более подробно вы сможете ознакомиться с ней в нашей статье.

Выводы:

Страницы с # в url адресах не индексируются, но бывают случаи когда можно заметить в выдаче поисковых систем страницы с # в url, но не стоит на это обращать внимание, так как робот при помощи конструкции #! запрашивает html версию страницы и уже её добавляет в свой индекс.

Если вы нашли ошибку, выделите участок текста и нажмите Ctrl + Enter или воспользуйтесь ссылкой, чтобы сообщить нам.