Почему не индексируется сайт в Яндексе и Google, запрет в robots txt, технические ошибки, качество страниц

Продолжаем цикл статей про технический аудит, и сегодня рассмотрим очень важную тему: анализ проблем индексации документов.

Выделим пять основных причин отсутствия страниц в индексе Яндекса (для Google аналогичные ситуации):

1. Робот просто не знает о сайте или документе. Как правило, это характерно для молодых площадок или новых страниц;
2. Присутствует техническая ошибка (неверная кодировка, обрыв соединения, неверное формирование URL, ошибка DNS и другие).
3. Сайт получил фильтр от поисковых систем. Как правило, это бывает при использовании «серых» и «черных» способов продвижения. Однако ни один проект не застрахован от получения санкций;
4. Страница низкого качества. Алгоритмы поисковой системы настроены таким образом, чтобы хорошо индексировать и высоко ранжировать качественные ресурсы, которые дают содержательные ответы на вопросы пользователей.
5. Весь сайт или некоторые его страницы закрыты от индексирования в robots.txt.

Но прежде чем пытаться исправить проблемы, необходимо точно убедиться в том, что они есть.

Поиск проблем индексации

Сделать это можно при помощи следующих способов:

1. Проверить сведения о сканировании в Яндекс.Вебмастер и Google Search Console.В Яндекс.Вебмастере необходимо перейти в раздел «Индексирование» — «Страницы в поиске»

   Далее мы попадаем в раздел «Страницы в поиске»:

   В данном разделе мы можем найти все страницы, которые имеют проблемы. Для этого в столбце “Статус и URL” указываем необходимый параметр:

   Таким образом мы можем видеть все страницы, имеющие проблемы с индексаций, о которых известно роботу Яндекса.В Google Search Console необходимо открыть раздел «Индекс» вкладку «Покрытие»:

   Перейдя на страницу покрытия, необходимо выбрать, какие проблемы отобразить: «Ошибка», «Без ошибок, есть предупреждения»,  «Страница без ошибок», «Исключено».

   После выбора требуемых проблем, под графиком появятся наблюдаемые ошибки. Перейдя на них, можно увидеть список страниц с данными ошибками.

   Здесь же можно найти последние изменения относительно появления ошибок за определенную дату. Данная информация позволяет оценить, как новые ошибки повлияли на динамику показов.

2. Проверить индексацию страницы можно через поиск: В строке поиска Google можно ввести оператор «site:» с адресом вашего сайта. Тогда будут найдены все страницы. Это целесообразно в случае, если большинство продвигаемых документов не в индексе, т.е. когда возникнет вопрос, а есть что-то в индексе?Если же необходимо проверить индексацию конкретной страницы, то необходимо использовать полный URL. Таким же образом можно искать страницы отдельно по поддомену:Например: http://tools.discript.ru/yacache-check/

   В Яндексе необходимо использовать один из операторов: «site» (для поиска по всему сайту, включая поддомены), «host» (для поиска по всему сайту без учета поддоменов), «url» (для поиска по определенному адресу).

   Согласно статистике, существует ограничение на максимально число документов, которые будут показаны в индексе. Определенного значения нет, однако это следует учитывать при работе с большими сайтами. Например:Для сайта ozon.ru Яндекс выдает 113 тысяч результатов:

   Но на самом деле их значительно больше.Например, для сайта ozon.ru Google выдает более 8 миллионов страниц:

   И это уже намного ближе к реальности.Если же при использовании оператора site вашего сайта не будет в выдаче, нужно определить, почему это произошло.

3. Проверить с помощью сервиса http://tools.discript.ru/yacache-check/. Инструмент позволяет проверить одновременно до 25 URL для незарегистрированных пользователей и до 100 URL для зарегистрированных.

Причины проблем с индексацией

Причина 1: Робот просто не знает о сайте или документе.

Поисковым системам необходимо время на обнаружение сайта (Google добавляет в индекс в режиме реального времени за 2-3 дня, а  Яндекс — примерно раз в 2 недели). При этом важно сообщить о сайте поисковикам, добавил его в панель Яндекс.Вебмастера или Google Search Console, подключив Яндекс.Метрику и установив ссылки с внешних источников. Например, если на сайте (или внешнем источнике) нет ссылок на страницу и в файле Sitemap также нет ссылки, то поисковик не узнает о новом документе нем.

Причина 2: Сайт находится под санкциями

Яндекс и Google исклюбают сайты из ранжирования за разные «правонарушения». Такие сайты попадают под санкции, и робот хоть и приходит их индексировать, но делает это гораздо реже. Как Яндекс, так и Google показывают уведомления о нарушениях в панелях Вебмастера только в том случае, если санкции применяются для всего сайта сразу. Для отдельных же его документов стоит ориентироваться на резкое падение трафика или снижение позиций по запросам.

Причина 3: Отдельные страницы или разделы показывают низкое качество

Иногда качество материала на сайте может быть настолько низким, что поисковики сразу его исключают из индекса. Для этого оснований у них может быть множество: неуникальный контент,

• одинаковые заголовки,
• слишком тяжелые изображения,
• множественные дубли страниц (подробную информацию о дублях и сопутствующих проблемах можно получить в статье «Технический аудит: поиск дублей страниц») и т.д.

Некачественные страницы получают ограничения в ранжировании специальными алгоритмами. Эти ограничения могут влиять на индексирование и ранжирование сайта. Со всеми примерами не качественных страниц можно ознакомиться здесь: https://yandex.ru/support/webmaster/error-dictionary/

Причина 4: Присутствует техническая ошибка

Исправление некоторых технических параметров помогает улучшить индексацию сайта. Например, некорректные HTTP – заголовки, неверно указанная кодировка, нестабильная работа хостинга, много ошибок с кодом 3хх и 4хх (подробнее об этих ошибках в статье «Технический аудит: контроль битых ссылок») и т.д.

Весь перечень ошибок, возвращаемых роботом Яндекса в случае, если ему не удалось загрузить какой-либо документ с вашего сайта, можно посмотреть здесь: https://yandex.

ru/support/webmaster/site-indexing/excluded-pages.html

Причина 5: Весь сайт или некоторые его страницы закрыты от индексирования.

Несмотря на то, что ряд страниц могут быть закрыты осознанно, часто встречается и ошибочное закрытие отдельных разделов, документов или целых сайтов в файле robots.txt.

Файл robots.txt – это текстовый файл, расположенный в корневом каталоге и содержащий указания по индексации страниц для роботов поисковых систем. В этом документе есть своя структура и директивы, и он выполняет своего рода функцию «фильтра». Проще говоря, при помощи robots.txt мы указываем, какие страницы сайта робот может сканировать, а какие – нет. Когда робот заходит на сайт, то в первую очередь он ищет именно этот файл. Проверить robots.txt можно при помощи:

1. Инструмента проверки файла robots.txt: http://tools.discript.ru/robots-check/
2. В Я.Вебмастере: http://webmaster.yandex.ru/robots.xml
3. В Google Search Console: https://www.google. com/webmasters/tools/siteoverview?hl=ru

Подробная информация про robots.txt в статье «Работа с файлом robots.txt.» (еще не знаю, так ли он точно называться будет?

В ходе технического аудита выявляются все ошибки, которые мешают сайту или его отдельным страницам попадать в индекс. Иногда, наоборот, система включает в поиск ненужные страницы. Может показаться, что в этом нет ничего плохого, но на самом деле это не так. Во-первых, на лишних страницах пользователи не найдут никакой полезной информации. Во-вторых, поисковым роботам придется потратить намного больше времени, чтобы обойти весь сайт и вместо индексации полезного контента они будут просто блуждать по нему. И, в –третьих, индексация ненужных страниц сильно нагружает сервер. Кроме этого, попадание в индекс ненужных страниц может привести к понижению документов в выдаче.

В следующей статье рассмотрим подробно общие правила составления robots.txt, часто встречающиеся ошибки, а также способы проверки файла.

советы сеошников — 5 советов

Если сайт не индексируется – то ни о каком продвижении сайта и речи быть не может. Гугл и Яндекс, это машины-роботы которые делают всё по своим определённым алгоритмам. И им важно чтобы сайт соответствовал тем требованиям – которые они выдвигают. На вопрос: «Почему не индексируется сайт?» – постараемся вам дать ответ в этой статье. И что нужно делать для того что бы сайт всё таки начали индексировать.

Блог INFOZET.RU готов вам предоставить советы “сеошников”, и поделиться секретами… Присаживаемся поудобнее… И поехали!

Содержание

Почему сайт не индексируется в Google

Для Google есть такой нюанс, чем старше сайт – тем лучше. И это касается всего остального. Чем больше того то…и того то…

Например Гугл любит ссылки на ваш сайт. Причём они должны быть у мощных и авторитетных сайтов. И чем больше соответственно, тем лучше. Для индексации гугла очень важна, так как это самая популярная поисковая система в мире, и в России в том числе. Тоже качается и про страны СНГ. Всегда Гугл был в первых рядах.

Для того чтобы разобраться почему именно эта поисковая система вас не любит, нужно понять и выявить причины.

Но мы с вами обойдёмся более быстрым и безболезненным методом. Вам нужно зарегистрироваться в Google Webmaster Tools. И после этого вообще сайт начнёт быстрее приниматься этой поисковой системой.

Яндекс пока не нашёл ваш сайт

На самом деле робот Яндекса это более современный робот, нежели Гугл-система. У Яндекса существует такое понятие как поведенческий фактор. Взято это было у своих соратников по социальным сетям, ведь именно там распространилось такое явление как – чем больше лайков, тем лучше.

Поведенческий фактор пользователя – это то, как реагируют интернет пользователи на ваш сайт или отдельную статью. Сколько ставят лайков, сколько проводят времени, переходят ли на следующую страницу, возвращаются ли на данный снова и снова. И таких факторов у Яндекса предостаточно. Чтобы выявить лучший сайт среди тысяч других ему приходится не мало попотеть над всеми трудами новоявленных авторов.

Ходит мнение что Яндекс куда более придирчив чем Гугл собрат. Однако для одних это размышление остаётся верным, а для других картина обстоит ровным счётом – да наоборот. Если бы вы когда нибудь пробовали уже продвигать сайт по Яндексу, то не могли не заметить как на одну статью он набрасывается и ставит в первую строчку Топа, а другую задвигает на крайний план. Это связано с очень тщательной но долгой индексацией. Робот долгий – но верный.

Советы SEO специалистов – 5 пунктов

Мы собрали лучшие советы от сео-специалистов в области продвижения и индексации сайтов. Стоит отметить, что данные пункты базовые, и подойдут для любых типов сайтов: будь то чисто информационный сайт или даже интернет-магазин.

1. Сайт закрыт в robots.txt

В robots.txt содержится не только общая информация – но и особо важная. И когда поисковой робот попадает на ваш сайт – первым делом он проверяет файл ROBOTS. TXT. Это нужно понимать, так как от этого может сильно затормозиться ваш сайт в поисковой выдаче, или же вы можете наоборот, помочь, сделать индексация с помощью него более быстрой и лёгкой.

Проверьте свой сайт на этом сервисе: https://webmaster.yandex.ru/tools/robotstxt

2. Приватные настройки из за которых не индексируется сайт

В каждой системе CSM которую вы используете, будь то WordPress или какая нибудь ещё – есть настройки приватности. И их нужно нам с вами правильно настроить.

Для того чтобы это сделать зайдите в сами настройки, и попробуйте разглядеть пункт чтение. Далее, если вы правильно всё нашли, то должны увидеть настройки поисковых систем или видимость поисковой выдачи. После этого нужно убрать соответствующие галочки – если таковые имеются. Если же их нет – значит со стороны приватности настроек по отношению к поисковым системам всё верно настроено.

3. Сайт закрыт в мета тегах

Там же, в настройках, можно будет посмотреть не закрыт ли ваш сайт ещё и в мета тегах.

Это тоже не маловажный фактор. Который кстати сказать очень даже скажется в дальнейшем, на общем продвижении сайта.

4. Хостинг работает не стабильно – сайт не индексируется никогда

Если ваш хостинг не эффективен, то можете забыть про нормально индексирование поисковиками.

К счастью или к сожалению – сайтов пруд пруди. Есть хорошие – есть плохие, но если вы когда то решив сэкономить, взяли дешёвый хостинг, это была ваша самая большая ошибка.

Что уж говорить – можно было сэкономить хоть на домене, но не на хостинге – это как никак ваша база данных. И если вы к ней отнеслись не подобающе когда то – то будьте любезны получить то же самое.

Поэтому – выбираем надёжный хостинг. Если вы ещё не на этом хостинге, то быстрее переносите свой сайт на него. По цене не кусается – а стабильность 100%.

5. Домен забанен – плохая история доменного имени

Перед тем как брать домен – его нужно проверит, так ли он хорош с виду. У него могла быть плохая история. И в своё время его могли просто забанить. Иначе, зачем он вообще освободился?

Подход к выбору домена должен быть не менее щепетилен.

Вывод

Итак, вот пять базовых нюансов которые вам нужно проверить и перепроверить.

Для успешной индексации сайта поисковиками не нужно лишних заморочек, однако именно эту, минимальную работу нужно разумеется провести. И желательно это сделать как можно раньше. Если сделать это через какое то время, то могут возникнуть сложности с индексацией и в целом отразится на здоровье сайта.

Вам будет интересна статья: Как писать SEO статьи для топ.

На этом пока всё. Определив, почему не индексируется сайт, вы уже сможете развивать своё детище дальше, и без лишней головной заморочки. Вы читали блог INFOZET.RU, удачи вам, и всего хорошего!

Чем отличается Яндекс от Google SEO?

На момент написания статьи доля Яндекса на рынке поисковых систем в России составляла 44%, а у Google — 53%, что делает это поле битвы одним из самых конкурентных для Google.

Яндекс, с другой стороны, это нечто большее, чем поисковая система. За последние два десятилетия он превратился в бизнес потребительских технологий. Яндекс также расширяет свою деятельность в сфере личных и корпоративных банковских услуг, а также в сфере доставки продуктов питания.
В результате я приравняю поисковый продукт Яндекса (и элементы, напрямую связанные с производительностью сайта) к поиску Google для этого поста.

Однако подход Яндекса к различным системам, а также стандарты, которые у вас могут быть в результате, существенно различаются.

Различия SEO между Яндексом и Google
Давайте рассмотрим некоторые из основных различий между Google и Яндексом в стратегическом SEO-маркетинге.

1. ) Java Script
У Яндекса, в отличие от Google, проблемы со сканированием и индексированием JavaScript-сайтов. Яндекс не стал бы индексировать одностраничные приложения, полностью написанные на JavaScript и не отрендеренные заранее (или отрендеренные динамически).

Яндекс использует искусственный интеллект, чтобы прогнозировать запросы пользователей, а также выполнять предварительную выборку и предварительную загрузку соответствующих страниц с результатами поиска, чтобы свести к минимуму неудобства пользователей при использовании приложения.

2.) Турбо против AMP
У Яндекса есть Turbo, а у Google — AMP. Реакция российской SEO-культуры на необходимость Turbo аналогична, и обе стороны выдвигают веские аргументы в пользу их использования.

Однако в последние годы они были разработаны для поддержки дополнительных возможностей настройки, рекламы и электронной коммерции (с несколькими вариантами оплаты). Турбо-страницы также помогают создать узнаваемый «значок качества» сайта на страницах результатов поиска — подробнее об этом чуть позже.

3.) Таргетинг на регион сайта
Яндекс, как и Google, имеет алгоритмы и рекомендации для локальных поисковых запросов или геозависимых запросов, как их называет Яндекс. Учитывая численность населения России, это имеет решающее значение для удовлетворенности клиентов.

Некоторые формы веб-сайтов могут использовать среду «региональной привязки» в инструментах Яндекса для веб-мастеров, чтобы Яндекс отображал их в правильных географических местоположениях SERP и обеспечивал их просмотр целевой базой пользователей. По данным Яндекса, сайты с общими статьями/контентом без региональной привязки не обязаны иметь региональную привязку.

4.) Мониторинг активных URL-адресов
Возможность непрерывного отслеживания до 100 URL-адресов на вашем сайте — очень полезная функция Яндекс.Инструментов для веб-мастеров. Вы можете выбрать, какие URL-адреса вы хотите просмотреть, и эта функция обновляется автоматически.

Отображает текущее состояние страницы, версию страницы, отображаемую в результатах (кэшированная или последняя просканированная), и дату последней индексации страницы. Вы сами решаете, будет ли измененный контент повторно индексироваться, а затем предоставляться потребителям с помощью отчетов статистики сканирования (доступно в Yandex WMT).

5.) Значки Знака качества
Для будущего обновления Page Speed ​​Google проверил отображение значков в поисковой выдаче. Хотя это недавняя функция для Google, Яндекс уже довольно давно использует значки в результатах поиска.

Всего у Яндекса есть 16 иконок, которые он может использовать для просмотра метрик контента сайта. Любой из них, например значок Турбо-страницы, можно получить с помощью технологических конфигураций.

6.) Особый контент может привести к разбивке блока
Яндекс, как и Google, предоставляет ряд эксклюзивных блоков результатов и фрагментов контента, которые можно использовать для улучшения страниц результатов поиска.

В отличие от Google, Инструменты Яндекса для веб-мастеров позволяют вам проверить свою квалификацию по трем различным уникальным формам результатов, а также по одиннадцати различным типам результатов сниппетов. Это показывает вам, где уникальные условия мешают вам получить квалификацию.

7. ) Поведенческие факторы
Хотя существуют некоторые разногласия по поводу того, как (и в какой степени) Google использует сигналы пользовательского опыта в своих алгоритмах, позиция Яндекса гораздо более черно-белая.
Сигналы пользователей учитываются Яндексом.
Сигналы пользователей и CTR SERP могут использоваться для определения:

• положения SQI (Site Consistency Index), которое способствует присуждению значков Знака качества.
• Размещение результатов на страницах результатов поисковой системы.

Яндекс внедрил средства контроля для обнаружения любых игр или мошенничества в измерениях потребительского опыта. Специалисты по SEO-маркетингу будут использовать программное обеспечение Метрики, чтобы понять степень удовлетворенности клиентов.

8.) Оценка ICS
Оценка Yandex ICS — это способ оценки согласованности веб-сайта. При этом учитываются такие факторы, как количество посетителей, время, проведенное на сайте, и клики по объявлениям.

Они сочетаются с заполненными людьми опросами о подлинности и удобочитаемости контента для достижения окончательного рейтинга.

Когда вы что-то ищете в России, лучшие результаты ранжируются от одного до ста в зависимости от того, насколько они ценны для пользователей Яндекса и других факторов. Рейтинг сайта будет снижен, если он упадет ниже определенного порога.

9.) Удержание пользователей
Хотя в GA4 представлен улучшенный когортный анализ и показатели удержания потребителей, в Метрике это уже давно есть. Вы легко увидите разбивку пользователей в Метрике на основе сеансов и достигнутых целей.

Этот уровень данных особенно полезен для создания персонажей и разработки контента на основе пути пользователя. Это также помогает развеять любые предвзятые представления о том, как люди могут общаться с веб-сайтом.

10.) Тепловые карты
Возможность отслеживать тепловые карты потребителей — еще одна замечательная функция Яндекс Метрики, отличающая ее от Google Analytics.

Поскольку эта функция сочетается с аналитикой, вы можете сравнивать отдельные сегменты непосредственно на тепловой карте (например, обычные пользователи и пользователи социальных сетей). Измените диапазоны дат и условия сеанса (например, 30 секунд или более, просмотрено более 2 страниц). Встроенная панель инструментов также показывает, какие показатели находятся в верхней части страницы, а какие — в нижней.

Наконец, еще одно большое различие между Google и Яндексом заключается в том, как они взаимодействуют со своими маркетинговыми SEO-сообществами.

Джон Мюллер, Дэниел Вайсберг, Мартин Сплитт и Гэри Иллиес всегда готовы ответить на случайные вопросы, а также предоставить рекомендации и рекомендации по решению проблем веб-мастеров. С другой стороны, у Яндекса нет человека или группы людей, к которым можно вести запросы.

Вместо этого у них есть оперативный отдел технической поддержки, каждый из которых носит псевдоним Платон Щукин.

Яндекс — это то, что вам нужно, если вы хотите познакомиться с русскоязычной аудиторией. Как видите, есть несколько особенностей, о которых следует знать, но правила оптимизации кажутся фундаментальными.

Компании, которые хотят расширить свой международный охват, могут настроить свой контент для поисковых систем, отличных от Google, особенно в странах, где другие платформы более распространены.

В других странах вам будет лучше, если вы цените качественный контент и позитивный пользовательский интерфейс.

Часто задаваемые вопросы | IndexNow.org

Поисковые системы с поддержкой IndexNow немедленно передают все URL-адреса, отправленные во все другие поисковые системы с поддержкой IndexNow, поэтому вам просто нужно уведомить одну конечную точку.

IndexNow

https://api.indexnow.org/indexnow?url=url-changed&key=your-key

Microsoft Bing

https://www.bing.com/indexnow?url=url-changed&key=your-key

Seznam. cz

https://search.seznam.cz/indexnow?url=url-changed&key=your-key

Яндекс

https://yandex.com/indexnow?url=url-changed&key=ваш-ключ

Если поисковым системам нравится ваш URL-адрес, поисковые системы попытаются просканировать его, чтобы быстро получить последний контент, исходя из своей логики планирования сканирования и квоты сканирования для вашего сайта.

Если поисковым системам нравятся ваши URL-адреса и у них достаточно квоты сканирования для вашего сайта, поисковые системы попытаются просканировать некоторые или все эти URL-адреса.

Использование IndexNow гарантирует, что поисковые системы будут в курсе изменений вашего веб-сайта. Использование IndexNow не гарантирует, что веб-страницы будут просканированы или проиндексированы поисковыми системами. Изменения отразятся в поисковых системах через некоторое время.

Нет, вы должны публиковать только те URL-адреса, которые изменились (добавились, обновились или удалились) с момента начала использования IndexNow.

Да, каждое сканирование учитывается в вашей квоте сканирования. Публикуя их в IndexNow, вы уведомляете поисковые системы о том, что вам небезразличны эти URL-адреса. Поисковые системы, как правило, отдают приоритет сканированию этих URL-адресов по сравнению с другими известными им URL-адресами.

Поисковые системы могут не сканировать и не индексировать URL-адреса, если они не соответствуют их критерию выбора.

Поисковые системы могут отказаться от выбора определенного URL-адреса, если он не соответствует критерию выбора.

Да, если вы хотите, чтобы поисковые системы обнаруживали контент сразу после его изменения, вам следует использовать IndexNow. Вам не придется ждать много часов или, что еще хуже, недель, чтобы увидеть ваши изменения в поисковых системах.

Не отправляйте один и тот же URL много раз в день. Если страницы редактируются часто, то желательно выждать 10 минут между правками, прежде чем уведомлять поисковые системы. Если страницы постоянно обновляются (примеры: время в Ваймеа, погода в Токио), предпочтительно не использовать IndexNow для каждого изменения.

Да, вы можете отправлять страницы с неработающими ссылками (http 404, http 410), чтобы уведомлять поисковые системы о новых неработающих ссылках.

Да, вы можете отправлять URL-адреса с новым перенаправлением (например, перенаправление 301, перенаправление 302, html с метатегом обновления и т. д.), чтобы уведомить поисковые системы об изменении содержимого.

Используйте IndexNow для отправки только недавно измененных (добавленных, обновленных или удаленных) URL-адресов, включая все URL-адреса, если все URL-адреса были недавно изменены. Используйте карты сайта, чтобы информировать поисковые системы обо всех ваших URL-адресах. Поисковые системы посещают карту сайта каждые несколько дней.

Такой код состояния ответа HTTP 429 Too Many Requests указывает на то, что вы отправляете слишком много запросов за заданный промежуток времени, замедляете работу или повторяете попытку позже.

Поисковые системы попытаются просканировать файл {key}.txt только один раз, чтобы подтвердить право собственности, когда они получат новый ключ.