Что такое индексация сайта и как быстро проверить её в Google

Руководитель Академии интернет-маркетинга WebPromoExsperts Антон Воронюк в новом выпуске справочника интернет-маркетолога ответил на вопрос: «Как проверить проиндексирован ли ваш сайт в Google?».

Что такое индекс

Понятие о том, что такое индексация сайта и кеширование, являются одним из самых важных в поисковой оптимизации.

Давайте разберемся, как работает поисковая система. Google работает по следующему принципу: когда вы задаете поисковый запрос у себя с ноутбука либо с планшета, либо с телефона, то робот не бросается по всем просторам интернета. Он ищет в своей базе данных.

База данных называется индексом и, в зависимости от того, являетесь ли вы частью индекса, нашел ли вас поисковый робот, напрямую зависит, покажет ли вас Google в результатах поиска.

Как проверить индексацию сайта в Google

Как проверить, видит ли ваш сайт Google и какие страницы он индексирует. Для этого мы пользуемся командой «site:» и после этого вбиваем название вашего домена.

Вы можете проверять как сайт в целом, так и конкретные страницы. Кроме этого вы можете увидеть, как Google помнит вашу страницу. Для этого мы пользуемся командой «cache:».

Закрепляем знания на практике

Для того чтобы закрепить и понять, как применять эти команды, перейдем к скринкасту и изучим это на практике.

Для того, чтобы проверить, проиндексирован ли сайт в Google или нет, мы пользуемся командой «site:».

Результат использования команды site:

Здесь вы видите результаты поиска Google. Точно также вы проверяете какую-то конкретную страницу. Если хотите узнать, как запомнил Google ваш сайт либо вашу страницу пользуетесь командой «cache:». Вбиваете в поисковую строку этот запрос и видите, как Google запомнил сайт или страницу.

Результат использования команды cache:

Используйте эти команды, чтобы узнать каким запомнила ваш сайт поисковая система и какие страницы сейчас находятся в индексе.

О том, как как открыть сайт для индексации и как ускорить индексацию сайта мы расскажем в следующих выпусках справочника интернет-маркетолога.

Выводы

Сегодня в выпуске справочника интернет-маркетолога мы разобрались, как проверить индексируется ли ваш сайт в поисковой системе Google, как проверить индексацию страницы и как поисковик запомнил вашу конкретную страничку либо проект.

Видео на нашем YouTube канале:

Как проверить проиндексирована ли ссылка в Google, Яндекс простым способом

В статье описан простой способ как проверить, проиндексировалась ли ссылка после закупки на биржах. Отличие проверки индексации в Гугле и Яндексе.

При закупке ссылок на биржах необходимо знать, проиндексировалась ли ссылка, размещенная на странице сайта в поисковиках Google и Яндекс. Проверить индесацию можно простыми способами.

Как проверить, проиндексировалась ли ссылка в Google

Чтобы проверить, проиндексирована ли ссылка в Google необходимо в адресной строке браузера скопировать адрес страницы, на которой размещена закупленная ссылка и вставить ее в поле поиска Google (или в адресную строку браузера, при условии, что поиск в ней установлен с помощью Гугла), заключив спереди и сзади В КАВЫЧКИ!, чтобы не допустить простого перехода по адресу на сайт. В поиске появится сниппет искомой страницы, при условии, что она сама проиндексирована (про индексацию в Гугле и Яндексе читайте ниже). В сниппете, где показывается адрес страницы (зелеными символами) в конце надо нажать на маленький треугольник, после чего появится всплывающее меню, где выбрать и нажать на пункт СОХРАНЕННАЯ КОПИЯ.

Будет осуществлен переход на страницу, где должна быть размещена купленная ссылка. Например:

Если эта ссылка на странице есть, значит она проиндексирована. Если ее там нет, значит поисковый робот эту страницу еще не переиндексировал и, соответственно, ссылка не проиндексирована. Значит надо принудительно отправить робота на индексацию. Как ускорить индексацию читайте здесь.

Как узнать, проиндексировалась ли ссылка в Яндексе

Узнать, проиндексирована ли ссылка в Яндексе можно аналогичным способом. Отличием является то, что при проверке индексации адрес в кавычки заключать не надо, а просто вставить в поле поиска (не в адресную строку браузера!).

 

Нажимаем в сниппете на треугольник в конце адреса и выбираем СОХРАНЕННАЯ КОПИЯ.

Далее проверяем наличие нашей ссылки на сайте. Если она есть, то она проиндексирована.

Надо знать, что в Яндексе переиндексация происходит гораздо дольше, чем в Гугле.

 

Как узнать проиндексированные страницы сайта в Google

Сегодня на sitesnulya.ru мы изучим вопрос, как проверить какие страницы сайта проиндексированы поисковой системой Google, а какие нет и почему.


Напомним, сначала нужно зарегистрировать сайт в поисковых системах, чтобы они начали его индексировать. Можно этого не делать и со временем поисковики сами найдут ваш проект, но это будет не оправдано долго.

Процесс индексации нового ресурса происходит не мгновенно. Что бы ускорить — необходимо создать файл robots.txt для поискового робота, а также  xml карту сайта, и указать на них поисковой системе. В Гугл для этой цели используется панель вебмастера Google. Именно работая с ним, вы сможете повлиять на наличие определенных страничек своего сайта в поиске.

Какие страницы проиндексировал google

Для вебмастера есть несколько способов определить проиндексированные страницы в  Google.

Самый простой — это ввести в поисковую систему «site:ваш_сайт.ru». Здесь вам будут представлены все страницы, которые поисковый робот нашел на вашем сайте. Тут могут быть даже те, которые заблокированы

файлом robots.txt.

Обратите внимание, что результатов поиска может быть гораздо больше, чем количество реальных ваших страниц на сайте. Сюда добавляются заблокированные страницы роботс.тхт, дубли страниц. В обычном состоянии они будут в так называемом «дополнительном индексе», то есть при поиске обычными пользователями, они не участвуют в выдаче.

Но нужно быть осторожными:

• во-первых, большое количество дублей и мусорных страниц могут дать сигнал Гуглу, что ваш ресурс не качественный, а значит существенно понизить в выдаче нормальные страницы;
• во-вторых, в дополнительный индекс могут угодить и хорошая страница в силу различных причин, а значит она не будет повышать вам релевантность и привлекать новых посетителей.

Есть и другой способ более подробно изучить «кухню» Google и узнать какие страницы им проиндексированы.

Проверка проиндексированных страниц сайта — панель инструментов вебмастера Гугл

Каждая поисковая система имеет свои специальные «кабинеты», где владельцы сайтов могут отслеживать ситуацию со своими сайтами, а также влиять на неё. Для Google — это Search Console. Мы уже рассматривали довольно подробно эту панель вебмастера Гугл, но сегодня обратим внимание конкретно, на то, что поможет нам узнать проиндексированные страницы, а также те, что были заблокированы.

Итак, когда вы входите в Панель инструментов, еще не выбирая конкретное меню, вам показывают общую короткую сводку по сайту.

Слева вы увидите проиндексированные страницы Google. Это те, которые системе показала xml карта сайта — sitemap.

 

Можно нажать на «Файлы Sitemap» и увидите график динамики индексации, а также предупреждения. У нас предупреждения связаны с тем, что две ссылки из sitemap запрещены к индексации в robotx.txt.

Далее вы можете более подробно посмотреть как Гугл видит каждую отдельную страницу, которую проиндексировал — «Вид в поиске» — «Структурные данные». Здесь также можно понять, какие ошибки поисковый робот находит на некоторых участках вашего ресурса. А следовательно и исправить.

Более интересный пункт меню «Индекс Google». Тут вам показывают сколько всего проиндексировано страниц, а если нажать на «Расширенные данные», то и сколько заблокировано файлом роботс.тхт.

Во вкладке меню «Заблокированные ресурсы» — смотрите что именно было блокировано. Если находите страницы, которые не нужно закрывать от индексации — нужно исправлять robots.txt.

Как вы поняли, именно этот файл и играет главную роль в определении, какие страницы будут индексироваться, а какие нет.

Как проиндексировать страницу в Google

Мы рассмотрели, как можно подробно узнать, какие уже странички вашего сайта видит Гугл и включил в выдачу.

Но ведь вы наверняка постоянно улучшаете свой проект, пишите различные материалы, добавляете статьи или другой контент, если желаете, чтобы он развивался. Именно это и есть верный путь к популяризации сайта.

Так вот, поисковые системы могут самостоятельно со временем обновлять информацию о вашем ресурсе и, соответственно, добавлять новые данные в индекс.

А вот если вы желаете ускорить этот процесс, то проиндексировать новую страницу в Гугл довольно просто.

Всё в той же панели вебмастера Google, заходите в меню «Сканирование» — «Посмотреть как Googlebot».

Мы уже описывали раньше для всего сайта, но повторим:

 

Вводите в указанное поле URL адрес новой страницы, но без названия сайта. Нажимаете «Сканировать». Через несколько секунд у вас в списке появится указанный путь, а в колонке «Статусе» будет активна кнопка «Добавить в индекс».

Нажимаете эту кнопку и выбираете вариант добавления страницы в индекс — лишь её или с подробным анализом прямых ссылок.

Первый подходит, если вы хотите проиндексировать обычную страницу, второй — если новый раздел или определенную область сайта.

Google установил ограничение на такой способ добавления информации в индекс — обычной страницы 500 штук в месяц; подробный анализ с прямыми ссылками — не  более 10 в месяц.

На наш взгляд, этого более чем достаточно как для начинающих проектов, так и для раскрученных.

Как видите, быстро проиндексировать страницу в Гугле вполне реально, а появляется она в результатах поиска буквально в течении нескольких минут, что очень удобно.

Также стоит прочитать

Как найти страницы, непроиндексированные Google

Автор: Пол Шапиро (Paul Shapiro) – руководитель SEO-направления агентства Catalyst Digital, США.

Узнать, сколько страниц было проиндексировано Google, можно с помощью Search Console. Но как отыскать те URL, которые отсутствуют в индексе поисковой системы? Справиться с этой задачей поможет специальный скрипт на Python.

Органический поиск включает три основных компонента: сканирование, индексирование и ранжирование. Когда поисковый робот заходит на сайт, он сканирует все найденные ссылки. Эта информация затем передаётся в индекс поисковой системы, после чего определяется порядок её показа в результатах поиска.

SEO-специалисты основное внимание уделяют компоненту ранжирования. Но если поисковая система не смогла просканировать и проиндексировать страницы на сайте, он не получит трафика из Google. Обеспечение правильного сканирования и индексирования сайта – важная часть поисковой оптимизации.

Как узнать, сколько всего страниц проиндексировано

При наличии доступа к Google Search Console можно посмотреть, сколько страниц содержится в файле XML Sitemap, и сколько из них было проиндексировано. При этом в сервисе не уточняется, какие именно URL не попали в индекс поисковой системы.

Чтобы получить эту информацию, придётся проверить каждый URL вручную. Но эту задачу можно автоматизировать.

Как проверить, был ли URL проиндексирован Google

Чтобы узнать, был ли конкретный URL проиндексирован Google, можно использовать поисковый оператор «info:». Например:

info:http://searchengineland.com/google-downplays-google-algorithm-ranking-update-week-normal-fluctuations-258923

Если URL проиндексирован, результат будет таким:

В противном случае Google вернёт ошибку:

Как использовать Python для массовой проверки статуса индексирования страниц

Теперь вы знаете, как проверить отдельный URL. Но как провести массовую проверку? Используйте следующий скрипт на Python:

Чтобы использовать этот скрипт, на компьютере должен быть установлен Python 3. Также потребуется установить библиотеку BeautifulSoup. Для этого откройте командную строку и выполните следующую команду:

pip install beautifulsoup4

После этого вы можете загрузить скрипт на свой компьютер. В той же папке, где находится скрипт, создайте текстовый файл со списком URL. Каждый URL должен идти отдельной строкой.

Теперь, когда скрипт готов к работе, нужно установить и настроить Tor для использования его в качестве прокси-сервера. На Windows загрузите Tor Expert Bundle. Извлеките папку из архива в локальный каталог на ПК и запустите tor.exe. Окно можно свернуть.

Затем нужно установить Polipo для преобразования socks-прокси в http-прокси. Загрузите последнюю версию Windows binary (она будет называться «polipo-1.x.x.x-win32.zip») и извлеките папку из архива.

В папке Polipo создайте текстовый файл (например, config.txt) со следующим содержанием:

socksParentProxy = "localhost:9050"

socksProxyType = socks5

diskCacheRoot = ""

disableLocalInterface=true

Откройте командную строку и перейдите в папку Polipo. Выполните следующую команду:

polipo.exe -c config.txt

На этом этапе можно запускать Python-скрипт:

python indexchecker.py

Скрипт попросит указать количество секунд для ожидания между проверками каждого URL.

Затем он попросит ввести имя файла (без расширения) для выгрузки результатов в CSV.

Наконец, он запросит имя текстового файла, который содержит список URL для проверки.

Введите эти данные и запустите скрипт.

Конечный результат будет представлен в виде CSV-файла, который можно без труда открыть в Excel.

В итоговой таблице проиндексированным URL будет присвоено значение TRUE, непроиндексированным – FALSE.

Если скрипт не работает, то Google, возможно, блокирует Tor. В этом случае используйте свой собственный прокси-сервер, изменив следующие строки скрипта:

proxies = {

'https' : 'https://localhost:8123',

'https' : 'http://localhost:8123'

}

Заключение

Знать, какие страницы были проиндексированы Google, критически важно для SEO. Вы не сможете получить трафик из поиска, если ваших страниц нет в индексе поисковой системы.

К сожалению, Google не предоставляет информацию о том, какие URL не были проиндексированы. Но эта проблема решаема. Используя описанный выше скрипт, вы сможете получить эти данные без особого труда.