Как проверить индексацию сайта в поисковых системах

Как подготовиться к проверке индексации сайта Как проверить индексацию в Яндекс Вебмастере Как проверить индексацию в Google Search Console Как проверить индексацию без доступа к сайту Как проверить индексацию отдельных страниц Как контролировать процесс индексации

Читайте наc в Telegram

Разбираемся, что происходит в мире рассылок и digital-маркетинга. Публикуем анонсы статей, обзоры, подборки, мнения экспертов.

Смотреть канал

Станьте email-рокером 🤘

Пройдите бесплатный курс и запустите свою первую рассылку

Подробнее

Индексация — добавление информации о сайте и его страницах в поисковые системы — один из первых шагов в SEO. Не всегда можно полностью довериться Яндексу и Google в этом вопросе — за процессом индексирования нужно следить, иначе можно упустить время и потерять ценный трафик из поиска.

Есть несколько способов отследить то, как индексируется сайт: свой или чужой. Проверять можно сразу все страницы или каждую по отдельности.

Владелец сайта может добавить его в инструменты для вебмастеров от Яндекса и Google. Там можно получить самую полную и достоверную информацию об индексировании, а также узнать об ошибках.

Если доступа к управлению сайтом нет, вы можете проверить индексацию вручную в поисковой выдаче или автоматически — с помощью специальных сервисов и программ.

Теперь давайте обо всем по порядку.

Как подготовиться к проверке индексации сайта

Чтобы оценить, как хорошо индексируется сайт, нужно узнать, сколько на нем страниц.

Для этого пригодится карта сайта — главный помощник поискового робота. В ней указаны все страницы, которые должны быть проиндексированы. Файл находится в корневой папке сайта и называется sitemap.xml (например, site.ru/sitemap.xml).

Если вы используете WordPress с установленным SEO-плагином (например, Yoast), то карта сайта, как правило, генерируется автоматически.

Также можно использовать бесплатную программу Xenu, которая сканирует все страницы сайта. Но чтобы в список не попадало все подряд, ее нужно предварительно настроить.

Как проверить индексацию в Яндекс Вебмастере

Общие сведения об индексации отображаются на главной странице панели — в краткой сводке по сайту в правом столбике.

Плюс Яндекс предлагает целый список отчетов и инструментов в разделе «Индексирование».

В «Статистике обхода» можно узнать, как робот Яндекса исследует сайт, и не столкнулся ли он с проблемами во время сканирования. Здесь два отчета: по последним событиям и по страницам. Если вас интересует, какие изменения произошли недавно, откройте первый отчет.

В следующем подразделе «Все страницы» перечислены все просканированные URL сайта, начиная с последних.

Напротив каждого URL указан код ответа сервера, который получил робот. В идеале это 200. Ответов с кодом 500 на правильно работающем сайте быть не должно. 404-е ошибки встречаются, когда страница была удалена. Если она переехала в другое место, нужно настроить переадресацию.

Страницы, которые находятся в индексе, можно посмотреть в разделе «Страницы в поиске». Во вкладке «Последние изменения» — самая актуальная информация об URL, участвующих в поисковой выдаче Яндекса.

Здесь же можно посмотреть исключенные из поиска страницы.

В подразделе «Все страницы» можно скачать таблицу с информацией об индексации страниц сайта, которые присутствуют в файле sitemap. Напротив каждого URL также будет показан код ответа сервера и статус. Таблица в виде отдельного файла — не самый удобный способ представления данных. Но если напротив страницы указано слово searchable, это означает, что она находится в поиске.

Еще одна полезная опция для проверки индексации — «Мониторинг важных страниц». Чтобы не искать нужные страницы в списке проиндексированных, составьте список (до 100 URL) и добавьте его в специальное поле.

После настройки уведомлений поисковая система будет оповещать вас об изменениях, связанными с выбранными страницами.

Если необходимо, чтобы Яндекс быстрее находил новые страницы и чаще мониторил сайт, не забудьте включить обход по счетчикам. Для этого, конечно же, к сайту должен быть привязан счетчик Метрики.

Как проверить индексацию в Google Search Console

Узнать подробную информацию об индексации в Google Search Console можно в разделе «Покрытие».

Общая информация об индексировании представлена на графике. Все страницы поделены на четыре категории:

1. Без ошибок (нужно стремиться, чтобы важные страницы сайта были именно в этом списке).
2. С ошибками.
3. Без ошибок, но с предупреждениями (как правило, предупреждения можно игнорировать).
4. Исключенные.

Если количество страниц сайта совпадает с количеством страниц в зеленой и желтой зоне, все хорошо. В желтую зону часто попадают страницы, которые проиндексированы, несмотря на запреты в robots.txt.

Под графиком можно получить подробную информацию о страницах — по какой причине Google отнес их к той или иной категории.

Как проверить индексацию без доступа к сайту

Если вы не являетесь владельцем сайта, — и не имеете доступа к инструментам Google и Яндекса для вебмастеров, — индексацию можно проверить прямо в поисковике и с помощью специальных сервисов. У таких способов есть свои преимущества и недостатки.

Поисковые операторы

Самый быстрый и простой способ узнать количество проиндексированных страниц — заглянуть в поисковую выдачу. Чтобы проверить, есть ли в поиске страницы с конкретного сайта, есть специальный оператор — site. Он работает как в Яндексе, так и в Google.

В инструментах поиска можно отфильтровать результаты: например, отобразить только недавно проиндексированные страницы.

В Яндексе все работает аналогично, только количество проиндексированных страниц отображается справа. Так как Google и Яндекс — поисковики для разных стран, каждый со своим алгоритмом, то количество проиндексированных страниц в разных поисковых системах может отличаться.

В Яндексе тоже есть фильтры, которые можно применить к результатам поиска. Посмотреть недавно добавленные страницы здесь также очень просто. Только вариантов фильтрации всего три: за сутки, за 2 недели и за месяц.

Перемещаясь по страницам поиска, вы сможете посмотреть, какие URL вашего сайта есть в поиске, начиная с самых важных.

Минус такого способа проверки не только в том, что он отнимает больше времени — данные выдачи могут не совпадать с реальностью. Особенно часто этим грешит Яндекс. 

Например, при проверке моего сайта с помощью оператора site выяснилось, что в поиске всего 164 страницы. А в панели Яндекс Вебмастера (раздел «Страницы в поиске») отображаются все 330 страниц. Вебмастер дает более точную информацию, поэтому верить все же стоит ему, а не данным в выдаче.

SEO-сервисы и утилиты

Проверять по отдельности индексацию в каждом из поисковиков не всегда удобно. Иногда хочется получить информацию быстро, без погружения в подробности. Для этого существуют специальные онлайн-сервисы и программы, которые позволяют за несколько секунд проверить индексацию в обеих поисковых системах.

Существуют SEO-комбайны, предлагающие целый набор инструментов для поисковой оптимизации (например, «Топвизор», Netpeak и др.). Но эти сервисы и программы я рассматривать не буду, так как они обычно платные и предназначены для тех, кто вплотную занимается SEO.

Остановимся на бесплатных помощниках оптимизатора, которые способны проверять индексацию отдельных страниц и всего сайта.

Серпхант. Онлайн-сервис с возможностью бесплатной проверки индексации 50 страниц в Яндексе и Google.

Через какое-то время (в зависимости от количества страниц) сервис выдаст результат в виде таблицы. Данные можно скачать отдельным файлом.

SEO Magic. Это браузерное расширение для быстрой проверки основной информации о сайте, в том числе количества проиндексированных страниц. Перейдите на интересующий вас сайт, кликните на значок расширения, и через пару секунд появится краткий отчет.

Если вы делаете сразу много проверок, Яндекс может принять вас за робота, поэтому в результатах проверки появится undefined. Но если кликнуть по ссылке (все показатели кликабельны) — откроется выдача поисковика с уже введенным оператором site и данными о количестве проиндексированных страниц. Правда, сперва придется пройти проверку на ботов.

RDS Bar. Еще одно полезное расширение для SEO-специалистов. В разных браузерах работает по-разному. Лучше всего — в Firefox. В Chrome и Opera некоторые данные могут не отображаться, но их можно посмотреть, перейдя по ссылкам.

Данные об индексировании довольно подробные, но не всегда правдивые. Например, в данном примере расширение показывает, что страница не проиндексирована в Google. Но если нажать «Нет», откроется выдача, в которой эта страница присутствует. Расширение в целом удобное, но данные лучше перепроверять — для этого достаточно перейти по ссылкам.

И не забывайте, что данные в поиске тоже неточные (особенно в Яндексе). Если вы мониторите собственный сайт, лучше пользуйтесь отчетами Google Search Console и Яндекс Вебмастера.

Как проверить индексацию отдельных страниц

Иногда нужно узнать, проиндексирована ли конкретная страница в Google или Яндексе. Это тоже можно сделать прямо в поиске или в инструментах вебмастера.

Google Search Console. Строка ввода URL для проверки отображается в самом верху панели. Этим инструментом можно воспользоваться в любой момент — независимо от того, в каком отчете вы находитесь.

Если страница проиндексирована, вы получите ответ с зеленой галочкой. Чтобы отправить робота на страницу для сканирования (первичного или повторного), нажмите «Запросить сканирование».

Яндекс Вебмастер. Аналогичный инструмент называется «Проверить статус URL» и находится в том же разделе «Индексирование».

Также наличие страницы в индексе можно проверить в поисковой выдаче с помощью того же оператора site. Только теперь после двоеточия вместо домена нужно указать URL страницы (без пробелов).

Как контролировать процесс индексации

Это нужно, чтобы страницы быстро попадали в поиск и приносили трафик. Мало проверить индексацию, важно облегчить поисковым роботам их работу. 

Вот краткий список рекомендаций:

Добавьте сайт в Яндекс Вебмастер и Google Search Console. Так вы будете получать информацию об индексировании, посещаемости и техническом состоянии сайта из первых рук и сразу узнавать об ошибках, которые поисковые роботы могут выявить на вашем ресурсе.

Составьте карту сайта в формате xml. Если вы пользуетесь WordPress, ее можно создать автоматически с помощью плагина и его базовых настроек. Также карту можно сгенерировать в специальных онлайн-сервисах. Лучше, чтобы она была динамической и отображала дату последнего изменения страниц и файлов сайта (Last-Modified).

Также полезно добавить карту в панели вебмастера (оба поисковика предлагают такую возможность).

Создайте файл robots.txt. Он необходим для того, чтобы разрешать или запрещать обход определенных страниц сайта. Если у вас большой сайт с огромным количеством служебных страниц, их индексацию нужно запретить — так роботы Яндекса и Google не будут тратить краулинговый бюджет на ненужные страницы и быстрее проиндексируют то, что действительно важно.

Если важные страницы долго не индексируются, запросите их сканирование вручную. Это не всегда помогает, но не так сложно сделать запрос в Вебмастере или GSC, чтобы поисковый робот быстрее посетил новый URL.

Следите за актуальностью контента и регулярно обновляйте ресурс. Чем чаще на сайте публикуется что-то новое, тем активнее его исследуют поисковики. Если тематика сайта позволяет, заведите блог или придумайте другой способ публикации контента. Не забывайте запрашивать переобход измененных страниц у роботов Яндекса и Google.

Не оставляйте «страниц-сирот». На каждую страницу должна вести хотя бы одна ссылка, иначе поисковый робот никогда не найдет ее самостоятельно. В блоге я уже подробно разбирала, как сделать перелинковку на сайте.

Это самые базовые рекомендации, но их выполнение поможет избежать ошибок в индексировании и быстро «загнать» страницы в поиск.

Поделиться

СВЕЖИЕ СТАТЬИ

Другие материалы из этой рубрики

Не пропускайте новые статьи

Подписывайтесь на соцсети

Делимся новостями и свежими статьями, рассказываем о новинках сервиса

Статьи почтой

Раз в неделю присылаем подборку свежих статей и новостей из блога. Пытаемся шутить, но получается не всегда

Оставляя свой email, я принимаю Политику конфиденциальности

Наш юрист будет ругаться, если вы не примете 🙁

Как запустить email-маркетинг с нуля?

В бесплатном курсе «Rock-email» мы за 15 писем расскажем, как настроить email-маркетинг в компании. В конце каждого письма даем отбитые татуировки об email ⚡️

*Вместе с курсом вы будете получать рассылку блога Unisender

Оставляя свой email, я принимаю Политику конфиденциальности

Наш юрист будет ругаться, если вы не примете 🙁

что это, как настроить и ускорить индексирование в поисковых системах

Как только вы создадите сайт для своего бизнеса, однозначно столкнетесь с понятием «индексация в поисковых системах». В статье постараемся как можно проще рассказать, что это такое, зачем нужно и как сделать, чтобы индексация проходила быстро и успешно.

Что такое индексация в поисковых системах

Под индексацией понимают добавление информации о сайте или странице в базу данных поисковой системы. Фактически поисковую базу можно сравнить с библиотечным каталогом, куда внесены данные о книгах. Только вместо книг здесь веб-страницы.

Если совсем просто, индексация — процесс сбора данных о сайте. Пока информация о новой странице не окажется в базе, ее не будут показывать по запросам пользователей. Это означает, что ваш сайт никто не увидит.

Индексация сайта — базовая часть работы по продвижению ресурса. Только потом уже добавляются все остальные элементы по оптимизации сайта. Если у веб-страницы будут проблемы с индексированием, ваш бизнес не получит клиентов с сайта и понесет убытки.

Как проходит процесс индексации

Давайте посмотрим, как происходит индексирование страниц сайта.

1. Поисковый робот (краулер) обходит ресурсы и находит новую страницу.
2. Данные анализируются: происходит очистка контента от ненужной информации, заодно формируется список лексем. Лексема — совокупность всех значений и грамматических форм слова в русском языке.
3. Вся собранная информация упорядочивается, лексемы расставляются по алфавиту. Заодно происходит обработка данных, поисковая машина относит информацию к определенным тематикам.
4. Формируется индексная запись.

Это стандартный процесс индексации документов для поисковых систем. При этом у «Яндекса» и Google существуют небольшие отличия в технических моментах, про это мы расскажем дальше.

Читайте также:

Отличия SEO под Яндекс и Google

Технологии и алгоритмы индексации

Сразу стоит оговориться, что точные алгоритмы индексирования — закрытая коммерческая информация. Поисковые системы тщательно охраняют эти данные. Поэтому в этом разделе расскажем про алгоритмы только в общих чертах

Вначале нужно отметить: «Яндекс» при индексации ориентируется в основном на файл robots.txt, а Google на файл sitemap. xml.

Google

Основным отличием является использование технологии Mobile-first. Она подразумевает первоочередное сканирование и индексацию мобильной версии сайта. В индексе сохраняется именно мобильная версия. Получается, что если ваша страница при показе на мобильных устройствах будет содержать недостаточно нужной информации или в целом проигрывать основной версии сайта по качеству. Так, что она может даже не попасть в индекс.

Также Google подтверждает наличие «краулингового бюджета» — регулярности и объема посещения сайта роботом. Чем больше краулинговый бюджет, тем быстрее новые страницы будут попадать в индекс. К сожалению, точных данных о способах расчета этого показателя представители компании не раскрывают. По наблюдениям специалистов, тут оказывают сильное влияние возраст сайта и частота обновлений.

«Яндекс»

В «Яндексе» основной версией считается десктопная версия сайта, поэтому в первую очередь сканируется именно она. Официально краулингового бюджета здесь нет, поэтому индексирование происходит вне зависимости от траста и других показателей вашего ресурса. Еще может влиять количество выложенных в сеть на данный момент страниц. Речь про страницы, которые конкуренты и другие пользователи выкладывают одновременно с вами.

Приоритет при индексации имеют сайты с большой посещаемостью. Чем выше посещаемость, тем быстрее новая страница окажется в поисковой выдаче.

Также Яндекс не индексирует документы с весом более 10 Мб. Учитывайте это при создании страниц сайта. Советуем также почитать кейс: Продвижение сайта REG.RU за процент от продаж.

Заказать продвижение сейчас

Сайт

Телефон

Как настроить индексацию сайта

В целом сайт должен индексироваться самостоятельно, даже если вы не будете ничего предпринимать для этого. Но если вы разберетесь с настройкой, то получите быструю и надежную индексацию и в случае возникновения проблем с сайтом будете понимать, в чем причина.

Первое, что стоит сделать, — создать файл robots.txt. У большей части систем управления сайтом (CMS) есть автоматизированные решения для его генерации. Но нужно как минимум понимать, какие директивы используются в этом файле. На скриншоте показан стандартный документ для сайта на WordPress:

Типовой файл robots.txt сайта на WordPress

Обратите внимание, что здесь нет директивы host: она не используется «Яндексом» с 2018 года, а Google никогда ее и не замечал. Но при этом до сих пор встречаются рекомендации по использованию этой директивы, и многие по инерции вставляют ее в файл.

В таблице ниже указаны основные параметры, используемые в robots.txt:

Директива	Зачем используется
User-agent:	Показывает поискового робота, для которого установлены правила
Disallow:	Запрещает индексацию страниц
sitemap:	Показывает путь к файлу sitemap. xml
Clean-param:	Указывает на страницы, где часть ссылок не нужно учитывать, например UTM-метки
Allow:	Разрешает индексацию документа
Crawl-delay:	Указывает поисковому роботу минимальное время ожидания между посещением предыдущей и следующей страницы сайта

Рассмотрим более подробно код на следующем скриншоте. User-agent показывает, что директивы предназначены для «Яндекса». А директива Disallow показывает, какие страницы не должны попасть в индекс. Это технические документы, в частности админ-панель сайта и плагины.

Фрагмент кода robots.txt

Более подробно о том, каким должен быть robots.txt для сайта, можно прочитать в справке сервиса «Яндекс. Вебмастер».

Далее делаем файл sitemap.xml: фактически это карта сайта, созданная в формате xml. Сделано это для упрощения считывания данных поисковыми роботами. В файл вносятся все страницы, которые должны быть проиндексированы.

Для правильной индексации файл не должен превышать 50 Мб или 50000 записей. Если нужно проиндексировать больше адресов, делают несколько файлов, которые в свою очередь перечисляются в файле с индексом sitemap.

На практике сайты, работающие с бизнесом, редко имеют потребность в подобном решении — просто имейте в виду такую особенность.

На скриншоте показан фрагмент кода sitemap.xml, сгенерированный одним из плагинов WordPress:

Так выглядит файл sitemap.xml «изнутри»

Остается разобраться, как создать файл sitemap.xml. Решение зависит от CMS вашего сайта. Если он сделан не на популярном «движке», придется делать все руками. Можно воспользоваться онлайн-генератором: например, mySitemapgenerator. Вводим адрес сайта и через короткое время получаем готовый файл.

Для сайтов на CMS WordPress сделать такую карту сайта еще проще. У вас все равно уже установлен один из плагинов для SEO-оптимизации ресурса. Заходим в настройки плагина и включаем генерацию sitemap.xml. На скриншоте показан пример включения карты сайта через плагин AIOSEO:

Плагин для настройки sitemap.xml в WP

Чтобы сайт максимально быстро индексировался, следует обеспечить перелинковку. Тогда поисковый робот без проблем будет переходить по страницам и своевременно найдет новый документ.

Далее необходимо выполнить настройку индексирования в «Яндекс.Вебмастер» и Google Search Console.

Читайте также:

Подробный гайд по оптимизации сайта на WordPress

Как ускорить индексацию сайта

В начале статьи мы рассказывали, как настроить индексирование. Теперь поговорим о том, как ускорить это процесс. В целом современные поисковые роботы довольно быстро собирают информацию о ресурсе: по моим наблюдениям, новые страницы появляются в индексе уже через 20–40 минут. Но так бывает не всегда, потому что может произойти сбой или еще какая-то нештатная ситуация, и страница будет индексироваться очень долго.

Появление адреса в списке проиндексированных страниц «Яндекс.Вебмастера» не совпадает с моментом индексации. На практике URL оказывается в индексе намного раньше, а в кабинете только при очередном апдейте.

При этом есть ситуации, когда индексирование нужно ускорить:

• Сайт выходит из-под фильтров.
• Молодой ресурс обладает небольшим краулинговым бюджетом.

В обоих случаях рекомендуется подтолкнуть поисковых роботов. Отметим, что для «Яндекса» и Google подход будет разным.

Начнем с отечественной поисковой системы. Заходим в «Яндекс.Вебмастер» и в меню слева, во вкладке «Индексирование», находим ссылку «Переобход страниц». Переходим по ней:

Яндекс.Вебмастер — подраздел «Переобход страниц» в меню «Индексирование»

На следующей вкладке вводим URL новой страницы, после чего жмем кнопку «Отправить». Отследить статус заявки можно в расположенном ниже списке:

Процесс отправки страниц сайта на переобход

Так можно поступать не только с новыми страницами, но и в случае изменения уже имеющихся на сайте. Только помните, что количество отправок в сутки ограничено, причем все зависит от возраста и траста сайта.

В самом «Вебмастере» предлагается для ускорения индексирования подключать переобход по счетчику «Яндекс.Метрики». Это не самое лучшее решение. Дело в том, что поисковый робот может ходить по всем страницам — даже тем, которые не нужно индексировать, причем в приоритете будут наиболее посещаемые документы. Может получиться ситуация, когда старые страницы робот обошел, а новые не заметил. Или вообще в поиск попадут технические страницы: например, страница авторизации или корзина интернет-магазина.

У Google ускорение индексации состоит из двух этапов. Сначала идем в Search Console, где на главной странице вверху находится поле «Проверка всех URL». В него вставляем адрес страницы, которую нужно проиндексировать. Далее нажимаем на клавиатуре «Enter».

Поле для ввода URL страницы, которую мы хотим добавить для индексирования

Ждем около минуты. Сервис нам будет показывать вот такое окно:

Всплывающее окно в Search Console о получении данных из индекса

Следующая страница выглядит вот так:

Как видите написано, что URL отсутствует в индексе, поэтому нажимаем на кнопку «Запросить индексирование»

Некоторое время поисковая машина будет проверять, есть ли возможность проиндексировать адрес:

Техническое окно с сообщением о проверке

Если все прошло успешно, Google сообщает, что страница отправлена на индексирование. Остается только дождаться результатов.

Сообщение об отправке запроса. Обратите внимание, что не стоит повторно отправлять на индексацию один и тот же URL

При отправке на индексирование страниц сайта, следует помнить, что Google до сих пор очень ценит ссылки. Поэтому, существует альтернативный способ ускорения индексации — Twitter.

Сразу после публикации страницы идем в Twitter и делаем твит с нужным адресом. Буквально через полчаса URL будет уже в индексе Google.

Лучше всего использовать эти обе способа совместно. Так будет надежнее.

Читайте также:

Внешняя оптимизация сайта: как продвигать сайт с помощью сторонних ресурсов

Как запретить индексацию страниц

В некоторых случаях может потребоваться не проиндексировать, а наоборот запретить индексацию. К примеру, вы только создаете страницу и на ней нет нужной информации, или вообще сайт в разработке и все страницы — тестовые и недоработанные.

Существует несколько способов, чтобы «спрятать» страницу от поисковых роботов. Рассмотрим наиболее удобные варианты.

Способ первый

Если вам нужно скрыть всего один документ, можно добавить в код страницы метатег Noindex. Эта команда дает поисковому роботу команду не индексировать документ. Размещают его между тегами <head>. Вот код, который нужно разместить:

<meta name=»robots» content=»noindex» />

Большая часть CMS позволяют использовать этот метод в один клик, предлагая готовые решения. У WordPress, например, для этого имеется отдельная строчка в настройках редактора, а в «1С-Битрикс» путем настроек раздела и конкретной страницы.

Способ второй

Заключается в редактировании файла robots.txt. Разберем несколько примеров закрытия страниц от индексирования.

Начнем с полного закрытия сайта от индексирования. На скриншоте код, который выполняет эту задачу: звездочка говорит, что правило работает для всех поисковых роботов. Косая черта (слеш) показывает, что директива Disallow относится ко всему сайту.

Полное закрытие сайта от индексирования

Если нам нужно закрыть ресурс от индексирования в конкретной поисковой системе, указываем название ее краулера. На скриншоте показано закрытие от робота «Яндекса».

Закрываем сайт от индексации «Яндексом»

Когда нужно избежать индексирования конкретной страницы, после слеша указываем параметры пути к документу. Пример показан на скриншоте:

Закрытие одной страницы в Robots.txt

Для Google все перечисленные способы работают аналогично. С разницей лишь в том, что если страницу или целый сайт нужно скрыть конкретно от этой поисковой системы, в User-agent указывают атрибут Googlebot.

Закрытие страниц от индексации используется довольно часто. В процессе развития своего веб-ресурса вам часто придется делать новые страницы, или переделывать имеющиеся. Чтобы избежать попадания в поисковую выдачу не готовых к показу страниц, имеет смысл закрывать их от индексации.

Присоединяйтесь к нашему Telegram-каналу!

• Теперь Вы можете читать последние новости из мира интернет-маркетинга в мессенджере Telegram на своём мобильном телефоне.
• Для этого вам необходимо подписаться на наш канал.

Распространенные ошибки индексации

Чаще всего проблемы возникают из-за случайного закрытия сайта от индексирования. У меня был случай, когда клиент при самостоятельном обновлении плагинов как-то внес изменения в файл robots.txt, и сайт исчез из поисковой выдачи. Поэтому при всех действиях, которые связаны с этим файлом, обязательно проверяйте, нет ли изменений в директивах.

Для проверки можно использовать инструмент Яндекс.Вебмастер «Анализ robots.txt».

Анализатор robots.txt — бесплатный и полезный инструмент проверки файла на корректность записанных директив

В некоторых случаях могут индексироваться технические страницы. К примеру, на WordPress при размещении изображений в виде медиафайла поисковый робот может индексировать каждую картинку в качестве отдельной страницы. В таком случае делаем редирект с этой страницы на тот документ, где изображение будет выводиться.

Читайте также:

Как сделать редирект — подробное руководство по настройке и использованию

Иногда встречаются проблемы с индексированием из-за неполадок на сервере или хостинге, но это уже нужно решать с администратором сервера, что выходит за рамки этой статьи.

Медленное индексирование может быть следствием наложения фильтров со стороны поисковых систем. Посмотрите, нет ли предупреждений в сервисах для вебмастеров: если они есть, устраните проблемы.

Как проверить индексацию сайта

Проверить индексацию сайта можно несколькими способами. Самым простой — в поисковой строке браузера набрать адрес сайта с оператором «site» или «url». Выглядит это вот так: «site: kokoc.com». На скриншоте показан запрос с проиндексированной страницей.

Проверка индексирования в поисковой системе

Если страница еще не вошла в индекс, вы увидите вот такую картину. Проверка в Google производится аналогично.

Страница не проиндексирована

Также можно посмотреть статус документа в «Яндекс.Вебмастер». Для этого находим в меню «Индексирование» и переходим на «Страницы в поиске».

Меню «Яндекс.Вебмастер»

Внизу страницы будут три вкладки. Нас интересуют «Все страницы», там можно увидеть статус документа, последнее посещение и заголовок.

Проиндексированные страницы

Обязательно посмотрите вкладку «Исключенные страницы». Тут вы увидите, какие документы оказались вне поискового индекса. Также указана причина исключения.

Исключенные страницы

При любых сложностях с индексированием в первую очередь следует смотреть конфигурационные файлы robots.txt и sitemap.xml. Если там все в порядке, проверяем, нет ли фильтров, и в последнюю очередь обращаемся к администратору хостинга.

Выводы

Индексация страниц сайта сейчас происходит в самые короткие сроки. При правильной настройке документы могут попадать в индекс поиска уже через полчаса после размещения.

Настройка сводится к созданию правильных конфигурационных файлов и созданию удобных условий для поискового робота для перехода по страницам сайта. Вот какие шаги нужно сделать для правильной индексации:

1. Создаем и настраиваем файл robots.txt.
2. Генерируем файл sitemap.xml.
3. Регистрируем сайт в сервисах Google Search Console и «Яндекс. Вебмастер».
4. Каждый раз после размещения статьи или новой страницы отправляем URL на проверку.
5. Используем дополнительные инструменты: размещение ссылок в Twitter и на других трастовых ресурсах.

После этого вероятность возникновения каких-либо проблем с индексированием будет стремиться к нулю. Теперь нужно наращивать позиции в топе — но это уже совсем другая история…

Продвижение сайта в ТОП-10

• Оплата по дням нахождения в ТОП
• Подбираем запросы, которые приводят реальных покупателей!

Индексация — Вебмастер. Справка

1. Добавить сайт в Яндекс.Вебмастер.

2. Карта сайта. Карта сайта — это специальный формат, разработанный для веб-мастеров и поисковых систем для описания структуры сайта. Представляет собой список ссылок на внутренние страницы сайта, представленный в формате XML. Яндекс также поддерживает этот формат. Вы можете загрузить карту сайта для своего сайта на специальной странице в Яндекс.Вебмастере. Используйте его, чтобы установить приоритет сканирования определенных страниц для робота. Например, если какие-то страницы обновляются чаще, сообщите об этом, чтобы робот правильно планировал сканирование.

3. Robots.txt — это файл для роботов поисковых систем. В этом файле вебмастер может указать параметры индексации для всех роботов или для каждой поисковой системы отдельно. Вот три наиболее важных параметра, указанные в этом файле:

   Disallow

   Эта директива используется для запрета индексации определенных разделов сайта. Используйте его, чтобы предотвратить индексацию технических страниц и страниц, которые не важны для пользователей и поисковых систем. В том числе:

   Дополнительные сведения см. в разделе Использование robots. txt.

   Очистить параметр

   Используйте эту директиву, чтобы указать роботу, какие параметры CGI в URL-адресе страницы не важны. Иногда URL-адреса страниц содержат идентификаторы сеансов. Формально страницы с разными ID разные, но содержание у них одинаковое. Если на сайте много таких страниц, робот может начать индексировать такие страницы, а не скачивать полезный контент. Дополнительные сведения см. в разделе Использование robots.txt.

4. Яндекс индексирует основные типы документов, распространяемых в сети. Но существуют ограничения, которые влияют на то, как документ индексируется и индексируется ли он вообще:

   • Большое количество параметров CGI в URL-адресе, большое количество вложенных каталогов и слишком длинные URL-адреса могут мешать индексированию документа.

   • Размер документа важен для индексации. Документы размером более 10 МБ не индексируются.

   • Indexing Flash:

     1. Робот индексирует файлы *. swf, если на них есть прямая ссылка или они встроены в HTML с тегами object или embed.

     2. Если Flash содержит полезное содержимое, исходный HTML-документ можно найти по содержимому, проиндексированному в swf-файле.

   • В документах PDF индексируется только текстовое содержимое. Текст, представленный в виде изображений, не индексируется.

   • Яндекс индексирует документы в форматах Open Office XML и OpenDocument (включая документы Microsoft Office и Open Office). Но поддержка новых форматов может занять некоторое время.

   • Вы можете использовать теги и. Робот Яндекса индексирует загруженный в них контент и находит исходный документ по содержимому фреймов.

5. Если вы задали другое поведение сервера для несуществующих URL-адресов, убедитесь, что сервер возвращает код ошибки 404. Как только поисковая система получает код 404, она удаляет документ из индекса. Убедитесь, что все необходимые страницы на сайте отвечают кодом 200 OK.

6. Убедитесь, что заголовки HTTP указаны правильно. Ответ сервера на запрос «if-modified-since» важен. Заголовок Last-Modified должен содержать правильную дату последнего изменения документа.

7. Размещать версии сайта, адаптированные для мобильных устройств, а также языковые версии в поддоменах.

Примечание.

Управлять роботом Яндекса и запрещать индексацию страниц, не предназначенных для пользователей.

Далее

Если страницы доступны для робота и отправлены на переиндексацию, но не появляются в поиске более двух недель, заполните форму ниже:

Может ли категория noindex препятствовать индексации других страниц на Яндексе?

Спросил 6 лет, 2 месяца назад

Изменено 5 лет, 11 месяцев назад

Просмотрено 92 раза

На своем сайте я поставил noindex на страницах моих категорий, но не на страницах под ним. Несмотря на то, что прошло две недели, единственная проиндексированная страница — это моя домашняя страница, которая не входит ни в одну из категорий.

Когда я смотрю на yandex webmasters, в разделе индексация>статистика>исключенные страницы я вижу как www.example.com/category , так и www.example.com/category/ . Интересно, означает ли www.example.com/category/ (косая черта в конце) «Я не индексирую никакие страницы под ним», а www.example.com/category означает, что я не индексирую категорию.

• поисковая-индексация
• noindex
• yandex
• yandex-webmaster-tools

1

страницы индексируются, если:

• их нет noindex ,
• у них есть входящие ссылки (внутренние и/или внешние),
• входящие ссылки на них не являются nofollow .
• бот имеет непрерывный URL-адрес от точки входа до страницы, которая должна быть проиндексирована, например: URL-адрес входа ссылается на url1 (№ nofollow ) -> url1 ссылается на url2 (нет nofollow ) -> url2 ссылки на url должны быть проиндексированы (нет nofollow ) -> url, который должен быть проиндексирован ( )

0

Бот не может понять, какой каталог является каталогом, а какой нет, из-за множества конфигураций на стороне сервера, позволяющих использовать конечную косую черту или нет, по желанию веб-мастера.