Проверить индексацию страниц сайта в Яндексе и Googl

Итак, у нас есть сайт и мы уже знаем, что такое процесс индексации. Если вы не сталкивались с этим, то давайте подробнее узнаем как проверить индексацию сайта. Для этого используются разные способы и методы:

1. Один из простых методов проверки индексации — это вбить в поисковую строку название своего web-ресурса и нажать опцию «Поиск». В поисковой выдаче будут выданы ссылки на все проиндексированные страницы,а также упоминания про ваш сайт на сторонних ресурсах.
2. Онлайн проверка — более быстрый и эффективный метод. Естественно, что в интернете существует множество сервисов для проверки индексации, на то он и Интернет. Наиболее подходящий способ — это использование сайта «seolib.ru». C помощью сервиса проверяется индексация сайта, его страниц в популярных поисковых системах. В сутки разрешается сделать 5 проверок, при этом, каждый раз можно проверять до адресов. Получается, что в сутки можно сделать проверку 50 страниц.

3. Еще метод проверки индексацией web-ресурса — использование специальных программ, которые устанавливаются на ПК. Одна из них — это YCCY. Ее легко скачать с официального сайта. Программа весит всего 500 килобайт и при этом является бесплатной. Данную программу можно применять не только для проверки индексации, но и для того, чтобы узнать показатели сайта PR и ТИЦ, дату регистрации доменного имени. Ограничений не существует. Далее рассмотрим как проверить сайт на его проиндексованность в конкретных поисковых системах.

Ежедневно появляется множество новых сайтов, но поисковики не всегда сразу индексируют их. По этой причине обновление базы проиндексированных ресурсов происходит раз в неделю, значительно реже — ежедневно. Однако, самая быстрая индексация проводится системой Google. Поисковая система обновляется от одного дня до пары часов, все зависит от загруженности.

Проверить индексацию сайта в Google легко. Для этого необходимо перейти на страницу официальную страницу поисковика того региона, где вы находитесь и ввести необходимый поисковый запрос :

allinurl:ваш сайт. ru/site:ваш сайт.ru

Также, можно установить специальный тулбар в браузер от Google.
После того, как будет установлено расширение в верху страницы, ее правом углу появится специальная диаграмма, которая будет показывать важность определенной страницы. Кроме этого, есть еще большое количество программ для проверки web-ресурса в системе Google.

Большое количество сервисов дает возможность web-мастеру проверить индексацию сайта в Яндексе. Однако, встречаются такие, которые не всегда точно определяют ссылки. А ведь чаще всего индексация проводится с помощью исходящих ссылок на сторонних ресурсах. Итак, наиболее удачные работающие программы и скрипты, они них упоминалось выше, но сейчас рассмотрим более подробно:

YCCY — программа является старожилом. В ней содержится большое количество специальных модулей, которые выполняют самые разноплановые задачи. Однако, наиболее полезен модуль INDEXATOR с такими функциями:

— проверка всех проиндексованных страниц ресурса в Яндексе;
— массовая проверка обратных ссылок в Yandex;
— проверка числа запрошенных страниц.

Также, существует экспорт ссылок их систем Sape, XAP и Propage. Очень полезная программа.
Дальше идет скрипт, который находится на сайте seolib.ru. Вводите ссылку в окно на странице ресурса. После этого выбираете индексацию сайта в Yandex и запускаете скрипт проверки. Понятный и достаточно удобный интерфейс, представлен пользователю как удобная для работы таблица, которая дает возможность проводить одновременную проверку сайта в нескольких поисковых системах.

Единственное, о чем не сказано в статье — это о официальных сервисах проверки индексации в Google и Яндексе. Но, я думаю что они достаточно известны любому начинающему web-мастеру.

Внутренние ссылки для SEO — как найти и исправить недостаток или избыток ссылок с Labrika

Внутренние ссылки — это ссылки, которые ведут с одних страниц сайта на другие страницы того же самого веб-ресурса. Их используют для создания внутренней перелинковки (то есть связывания страниц сайта посредством ссылок).

Различают исходящие и входящие внутренние ссылки:

• исходящая ссылка – ведет со страницы на другую страницу того же сайта;
• входящая ссылка – ведет с другой страницы того же сайта на данную страницу.

Анкор, анкорный или якорный текст (от англ. anchor — якорь) — это видимый кликабельный текст ссылки. Он прописывается в HTML-коде страницы между открывающим и закрывающим тегами ссылки:

<a href="https://site.com">анкорный текст</a>

В браузере анкорный текст будет выглядеть так:

анкорный текст

Подчеркивание текста ссылки делается не всегда – его оформление зависит от дизайна, используемого на сайте.

Внутренние ссылки могут располагаться в основном контенте страницы или использоваться в различных элементах навигации – например, в хедере (шапке) и футере (подвале) сайта.

Значение внутренней перелинковки

• Грамотно выполненная перелинковка сделает веб-ресурс более удобным для посетителей и, следовательно, поможет улучшить его поведенческие факторы, которые учитываются при ранжировании сайта.
• Наличие ссылок увеличивает шансы совершения покупки, так как, переходя по ним, покупатель быстрее находит нужные товары.
• Благодаря ведущим на страницу ссылкам происходит её индексирование (включение в базу данных поисковых систем).
• Количество внутренних ссылок, указывающих на страницу, является сигналом для поисковых систем об относительной важности этой страницы. Чем больше ссылок ведет на страницу, тем больше будет её вес.
• Ключевые слова в тексте ссылки используются поисковыми системами для оценки релевантности (то есть соответствия) страницы запросу пользователей и учитываются при ранжировании в результатах поиска.

Если на странице нет внутренних исходящих ссылок

Отсутствие внутренних исходящих ссылок означает, что на данной странице отсутствует меню либо оно закрыто от индексации. Как правило, это версии для печати или другие служебные страницы.

Большое количество открытых для индексации технических страниц, которые не содержат важной для пользователей информации, препятствует индексированию полезного контента и является отрицательным сигналом при ранжировании сайта. Такие страницы рекомендуется закрывать от индексации.

Если на странице слишком много исходящих ссылок

• Это приводит к снижению ссылочного веса каждой из них, поскольку он распределяется между всеми ссылками.
• Такая страница будет неудобной для пользователей, и в результате ухудшатся её поведенческие характеристики.
• Может возникнуть переспам по анкорам (избыток ключевых слов в текстах ссылок), что вызовет наложение санкций как в Яндексе, так и в Google.

Большое число ссылок встречается в меню крупных сайтов (например, интернет-гипермаркет AliExpress). Это нормально для таких ресурсов. Однако в этом случае структура и анкоры ссылок в меню должны быть оптимизированы, чтобы не допускать многочисленных повторов слов в названиях категорий и подкатегорий.

Если на странице мало входящих ссылок

• Поисковым роботам будет сложнее найти и проиндексировать такую страницу. Следовательно, замедлится ее обновление в индексе. Поисковые системы используют внутренние ссылки для поиска нового контента. Если у страницы нет входящих ссылок, то они не смогут её найти и не узнают о её существовании. Страницы сайта, на которые не ведут входящие ссылки, называются страницами-сиротами (orphan page).
• Если на страницу ведет мало ссылок с других страниц сайта, то её ссылочный вес будет низким, а значит и позиции по конкурентным запросам будут занижены.
• Поисковые системы используют анкоры внутренних ссылок, чтобы лучше понять, о чем идет речь на странице, и оценить её релевантность (то есть соответствие) запросу пользователей. Поэтому отсутствие входящих ссылок будет отрицательно сказываться на ранжировании страницы по запросу.
• У пользователей будет меньше шансов попасть на страницу с небольшим числом входящих ссылок – это снизит её посещаемость, а также глубину переходов и время, проведенное на сайте. На коммерческих страницах снижение трафика (количества посетителей) приведет и к уменьшению продаж.

С помощью внутренних ссылок можно улучшить позиции нужных страниц. Однако не стоит злоупотреблять данными ссылками, так как слишком большое их количество может отрицательно сказываться на продвижении сайта. Важно использовать адекватное количество ссылок, которое поможет придать необходимый вес посадочным страницам, улучшить поведенческие факторы и ускорить индексацию ресурса.

Как обнаружить недостаток или избыток внутренних ссылок?

Чтобы определить необходимое количество ссылок, нужно посмотреть их число на страницах конкурентов из ТОП выдачи по конкретному запросу.

Детальную информацию о количестве внутренних ссылок на страницах вашего сайта вы можете найти в отчетах по внутренним ссылкам сервиса Labrika.

Отчет «Внутренние ссылки. Все страницы»

Отчет содержит список всех страниц, на которых есть внутренние ссылки, а также показывает количество входящих и исходящих внутренних ссылок на каждой странице.

Используя функции сортировки, вы можете найти страницы с минимальным или максимальным количеством ссылок. Данные отчета помогут грамотно настроить внутреннюю перелинковку на сайте, распределить ссылочный вес так, чтобы продвинуть значимые страницы.

Отдельные отчеты по числу внутренних ссылок

Кроме того, увидеть страницы без входящих внутренних ссылок или с недостаточным их количеством, а также страницы, на которых нет исходящих ссылок или их слишком много, позволяют отдельные отчеты по этим параметрам.

• Отчет «Нет исходящих» — показывает страницы без исходящих внутренних ссылок.
• Отчет «Много исходящих» — содержит страницы с очень большим количеством исходящих внутренних ссылок (больше 200).
• Отчет «Посадочные, мало входящих» — указывает на посадочные страницы с числом входящих ссылок меньше 5. Этот отчет поможет быстро найти продвигаемые страницы, на которые нужно добавить больше входящих внутренних ссылок:

Как устранить избыток исходящих ссылок?

• Чаще всего причиной появления слишком большого числа исходящих ссылок бывает неправильная организация меню. На некоторых сайтах оно может дублироваться четыре раза, поскольку есть отдельные его версии для настольных компьютеров (десктопов) и мобильных устройств, верхнее и боковое меню, повторяющие друг друга. Поэтому начать работу по устранению этого недостатка нужно с проверки дублирования меню.
• Второй способ сократить количество исходящих ссылок — уменьшить количество пунктов в слишком длинном меню. Наличие 500-1000 исходящих ссылок на странице будет затруднять навигацию пользователей.
• В каталоге не стоит подгружать все вложенные подразделы, пока не открыт раздел более высокого уровня.
• Google не рекомендует создавать ненужные ссылки, которые не помогают пользователю при навигации по сайту. Следует избегать ссылок на неважные и некачественные страницы. Как заявляют специалисты Google, краулинговый бюджет (лимит обхода) будет расходоваться неэффективно из-за ссылок на контент низкого качества (дублированный, бесполезный или спам-контент). Это может негативно повлиять на сканирование и индексирование полезных страниц сайта. Если страницы больше не нужны и их нельзя переделать, присвойте им код статуса 410 («удален») и уберите ведущие на них ссылки.

Рекомендации по созданию внутренних ссылок

Следите, чтобы все продвигаемые страницы получали достаточное количество внутренних ссылок

Ориентируйтесь на показатели сайтов конкурентов и отчеты по внутренним ссылкам на сервисе Labrika. Старайтесь не размещать на одной странице слишком много одинаковых исходящих ссылок, ведущих на одну и ту же страницу – поисковые системы могут посчитать это спамом.

Повышайте вес конверсионных страниц

С помощью ссылок с авторитетных материалов вашего сайта (качественных страниц с высоким трафиком и обратными внешними ссылками) можно придать дополнительный вес его конверсионным страницам. Например, вы можете сделать ссылки с главной страницы на те, которые наиболее важны для вашего бизнеса.

Соблюдайте релевантность ссылок

Ссылки должны соответствовать тематике страницы. Делайте перелинковку в группах страниц, тесно связанных одной и той же темой. Это поможет пользователям и поисковым роботам лучше ориентироваться на вашем сайте. Не следует использовать ссылки с нерелевантных страниц только для повышения авторитета.

Чтобы найти страницы вашего сайта, с которых можно сделать ссылки на конкретную страницу, выполните поиск по запросу:

site:website.com “ключевая фраза, относящаяся к данной странице”

В результатах поиска будут отображаться уже проиндексированные страницы вашего сайта, подходящие по тематике.

Делайте перелинковку иерархических и одноуровневых страниц

Если на вашем веб-сайте есть иерархические страницы, свяжите родительские страницы с дочерними и наоборот (например, товарные категории с подкатегориями, а их – с карточками товаров).

Кроме того, не забывайте связывать друг с другом одноуровневые страницы подходящей тематики (карточки похожих или взаимодополняющих товаров и т. п.).

Создавайте «хлебные крошки»

«Хлебные крошки» — это навигационная цепочка ссылок, которая отражает последовательность страниц от главной до текущей. «Хлебные крошки» повышают уровень юзабилити (удобства использования) сайта, так как показывают посетителю, где он сейчас находится, и позволяют быстро вернуться на нужную страницу.

Кроме того, «хлебные крошки» могут отображаться в сниппете (описании сайта в результатах поиска), увеличивая его размер и кликабельность.

Оптимизируйте анкоры

Google рекомендует использовать в анкорах текст, имеющий отношение к теме или к содержанию страницы, на которую ведет ссылка. Описательный текст внутренних ссылок поможет лучше ориентироваться на вашем сайте не только пользователям, но и поисковым системам.

Используйте в тексте ссылок ключевые слова, по которым продвигается страница. Вставляйте ключевые слова в анкоры так, чтобы текст выглядел естественно. Не допускайте переспама (чрезмерного использования ключевых слов) — поисковые системы могут посчитать это попыткой искусственно повысить рейтинг страницы. Злоупотребления ссылками строго отслеживаются алгоритмами Google и Яндекса – спамные ссылки теперь не учитываются и могут привести к наложению санкций.

Чтобы избежать санкций, не используйте одинаковый текст для всех ссылок — сохраняйте разнообразие. Формируйте естественный ссылочный профиль, включающий различные виды ссылок.

Для поиска страниц, на которых есть ссылки без анкоров, воспользуйтесь отчетом Labrika «Ссылки без якорного текста».

Как Google находит и индексирует веб-страницы?

Когда потенциальный клиент вводит запрос в Google, ища продукты, которые продает ваша компания, он не ищет в Интернете. Скорее, она просматривает веб-страницы в интернет-индексе Google.

В каком-то смысле этот потребитель ищет в недавней, известной сети, а не в сети, работающей в режиме реального времени. Поэтому, даже прежде чем беспокоиться о том, насколько хорошо страницы вашего сайта электронной коммерции будут ранжироваться в Google, важно понять, как поисковая система Google находит и индексирует эти страницы.

Пауки и карты сайта

Google использует два основных метода для поиска веб-страниц электронной коммерции: карты сайта и программное обеспечение, называемое веб-пауками или поисковыми роботами.

Веб-паук загружает копию заданной веб-страницы. Представьте на мгновение, что Googlebot (именно так Google называет своего веб-паука) попадает на страницу Vans.com «Checkerboard Slip-on».

Эта страница сведений о продукте Vans содержит множество ссылок. Робот Googlebot будет переходить по этим ссылкам, чтобы обнаружить другие страницы.

Робот Google заметит содержимое страницы — название продукта, описание, цену, изображения — но также отследит десятки ссылок на странице.

Затем, если ссылка или файл robot.txt явно не указывает роботу Googlebot не переходить по ним, паук будет переходить по ссылкам на каждую страницу и каталогизировать все, что найдет. В примере с Vans это приведет робота Googlebot к каталогу продуктов сайта, ко многим информационным страницам сайта, включая адреса магазинов и подарочные карты, и даже к его контентным страницам о скейтборде, сноуборде и BMX.

Каждый раз, когда робот Googlebot находил ссылку на новую страницу, он добавлял URL-адрес в свой список страниц для сканирования. Таким образом, Googlebot может обнаружить каждую страницу на веб-сайте Vans.

Итак, давайте применим то, что мы теперь знаем, чтобы помочь Google обнаружить страницы на вашем сайте электронной коммерции.

Во-первых, чем лучше ваш сайт справляется с внутренними ссылками — например, через тематические кластеры — тем легче роботу Googlebot найти все ваши страницы.

Во-вторых, сосредоточьтесь на том, чтобы другие сайты ссылались на ваши страницы. Создание ссылок не только помогает повысить ваш рейтинг в результатах поиска, но также может помочь в обнаружении страниц.

Кроме того, Google также использует карты сайта для поиска страниц электронной торговли. Карта сайта — это текстовый или XML-файл, в котором перечислены все страницы, о которых вы хотите, чтобы Google знал на вашем веб-сайте электронной коммерции. Вы можете отправить карту сайта через Google Search Console.

После отправки карта сайта может помочь Google проработать каждую страницу вашего сайта. Просто имейте в виду, что «использование карты сайта не гарантирует, что все элементы в вашей карте сайта будут просканированы и проиндексированы, поскольку процессы Google полагаются на сложные алгоритмы для планирования сканирования. Однако в большинстве случаев ваш сайт выиграет от наличия карты сайта, и вы никогда не будете оштрафованы за ее наличие», — говорится в сообщении Google.

Короче говоря, если вы хотите, чтобы Google нашел ваши страницы электронной коммерции, (i) разработайте хорошую стратегию внутренних ссылок, (ii) поощряйте ссылки с других сайтов на ваш и (iii) отправьте карту сайта.

В помощь Google

При работе с вашим веб-сайтом электронной коммерции робот Googlebot также будет учитывать заголовок страницы и содержимое важных тегов, таких как заголовки. Вот почему так много SEO-специалистов рекомендуют помещать ключевые фразы в заголовок страницы и теги h2.

Google придает большое значение структурированным данным, особенно в формате JSON-LD. Эта разметка структурированных данных помогает Google понять, какую страницу он имеет в виду, и может способствовать индексации и ранжированию.

Разметка структурированных данных в формате JSON-LD помогает Google правильно индексировать страницу.

В конечном итоге Google пытается выяснить, о чем ваша страница. Чем лучше вы сделаете его ясным и понятным, тем больше вероятность того, что Google правильно проиндексирует ваши страницы электронной коммерции. А правильно проиндексированные страницы — это то, что появляется в результатах поиска, когда кто-то выполняет запрос.

Чтобы повысить индексируемость страницы, сначала сосредоточьтесь на предоставлении полезной информации посетителям. Google хочет убедиться, что страницы будут интересны пользователям.

Например, не заполняйте страницу ключевыми словами или ключевыми фразами. Используйте рекомендации Google по содержанию и организации.

«Помимо сопоставления ключевых слов, алгоритмы ищут подсказки, чтобы измерить, насколько хорошо потенциальные результаты поиска дают пользователям то, что они ищут», — пояснил Google. «Когда вы ищете «собаки», вы, вероятно, не хотите, чтобы страница содержала слово «собаки» сотни раз. Мы пытаемся выяснить, содержит ли страница ответ на ваш запрос, а не просто повторяет ваш запрос. Поэтому алгоритмы поиска анализируют, содержат ли страницы релевантный контент, например изображения собак, видео или даже список пород».

9 причин, по которым ваши страницы не индексируются

Индексирование уже давно является популярной темой в индустрии SEO.

Увидев так много постов, статей и дискуссий на форумах об индексации, я понял, что многие аспекты индексации SEO все еще сбивают с толку веб-мастеров.

Это заставило меня задуматься о том, как помочь им разобраться в своих проблемах с индексацией и найти решения.

Эта статья представляет собой список наиболее распространенных причин, по которым ваши страницы не индексируются.

Если вы изо всех сил пытаетесь проиндексировать свои ценные страницы и не знаете, на каких аспектах оптимизации сайта следует сосредоточиться или с чего начать, эта статья для вас.

Вы узнаете, как определить проблемы, из-за которых ваши страницы не индексируются, почему они возникают и какие у меня есть рекомендации по их устранению.

Начнем с основ.

1. Ваши страницы не индексируются.

Google не будет индексировать данную страницу, если вы четко укажете, что страница не должна индексироваться. Есть много способов сделать это, некоторые дают более сильные сигналы для Google, чем другие.

Один из способов сделать страницу неиндексируемой — добавить к ней метатег «noindex». т индексировать его. Период.

К сожалению, веб-мастера часто добавляют теги «noindex» по ошибке.

Чтобы убедиться, что это не ваш случай, проверьте список всех страниц с тегом «noindex», чтобы убедиться, что теги размещены только на страницах, которые действительно не должны индексироваться.

Используйте поисковый робот, такой как OnCrawl или Screaming Frog. После сканирования сайта вы сможете увидеть любые директивы «noindex», добавленные к вашим URL-адресам. Вы можете экспортировать данные сканирования и просмотреть URL-адреса с «noindex», чтобы увидеть, не были ли они по ошибке добавлены на какие-либо ценные страницы.

Но есть и другие сигналы, которые говорят Google, что ваши страницы не должны быть проиндексированы. Однако эти сигналы не точны, и в некоторых случаях Google может индексировать такие страницы.

Ваши страницы могут быть не проиндексированы, если они:

• Заблокирован директивами robots.txt,
• Включить канонические теги, указывающие на другие страницы — тогда Google может счесть их неканоническими и не будет их индексировать,
• Перенаправление на другие страницы,
• Ответ с кодом состояния 404 Not found.

Обратите внимание, что вы, возможно, намеревались сделать эти страницы неиндексируемыми, но если некоторые из ваших страниц не индексируются, и это похоже на ошибку, убедитесь, что это не из-за упомянутых выше проблем.

Просмотрите раздел «Исключенные» отчета «Покрытие индекса».

Обратите внимание на URL-адреса со следующими статусами, указывающими на то, что указанные страницы не могут быть проиндексированы:

• Заблокировано robots.txt,
• Исключено тегом noindex,
• Альтернативная страница с правильным каноническим тегом,
• Страница с перенаправлением,
• Не найдено (404).

2. На вашей странице есть SEO-проблема JavaScript.

Как показал Бартош Горалевич, в прошлом у Google были огромные проблемы с рендерингом JavaScript.

Процесс загрузки, анализа и выполнения JavaScript занимает много времени и ресурсов для Google .

За прошедшие годы Google отлично поработал над улучшением рендеринга, но все еще существует риск того, что Google не проиндексирует ваш JavaScript-контент.

Вот когда Google может не индексировать ваш контент на основе JavaScript:

• Если у него недостаточно краулингового бюджета для вашего сайта,
• Если он не считает элементы JavaScript важными для основного содержания страницы, 
• Если ваши файлы JavaScript заблокированы в robots. txt,
• Если Google испытывает ошибки или время ожидания во время рендеринга,
• Если роботу Googlebot необходимо прокрутить или щелкнуть для просмотра какого-либо контента, робот Googlebot не взаимодействует со страницами так, как это делают пользователи. Например, если вы реализуете бесконечную прокрутку, страница не будет загружать дополнительный контент, пока пользователь не прокрутит экран вниз. Но робот Googlebot, скорее всего, будет сканировать и индексировать только то, что первым увидит на странице.

Что именно может произойти, если JavaScript не отображается и на него полагается важный контент на странице?

Вот пример Angular.io: если JavaScript не отображается, единственным контентом, который увидит Google, будет: «Для этого веб-сайта требуется JavaScript».

Другим примером сайта, который пострадал из-за реализации JavaScript SEO, является disqus.com. Disqus использует динамический рендеринг в форме предварительного рендеринга, который предоставляет Google статическую версию страницы.

Google обычно рекомендует это решение, но в этом случае страница отображается неправильно, вероятно, из-за неправильной реализации.

Результат? Googlebot получает пустую страницу:

Чтобы смягчить проблемы JavaScript SEO, убедитесь, что ваш основной контент может быть доступен Googlebot с включенным и отключенным JavaScript. Если у Google есть проблемы с JavaScript на вашем сайте, и JavaScript используется для создания вашего ключевого контента, ваши страницы с большим количеством JavaScript могут быть не проиндексированы.

Обычно URL-адреса с проблемами, связанными с JavaScript, классифицируются индексным покрытием Google как: 

• Просканировано, в настоящее время не проиндексировано или
• Мягкий 404.

Обязательно ознакомьтесь с рекомендациями Google по SEO для JavaScript.

3. Страница классифицируется Google как мягкая 404.

Google использует множество инструментов, чтобы веб-страницы, которые он показывает в результатах поиска, были самого высокого качества и обеспечивали положительный пользовательский опыт.

Одним из инструментов, которые использует Google, является программный детектор 404 . Если страница определяется как soft 404, она не попадет в индекс Google.

Soft 404 не являются официальными кодами ответов на веб-сайтах. А 404 страница возвращает правильный код состояния 200, но его содержимое выглядит как страница с ошибкой, например . потому что он пуст или содержит тонкий контент — или так думает Google.

Барри Адамс поделился очень интересным примером, когда страницы веб-сайта интерпретировались как программные ошибки 404: 

.

Интересный пример того, как отрицательный текст по умолчанию может привести к тому, что страницы будут интерпретированы как мягкие 404.

Урок: позаботьтесь о создании стандартного текста. https://t.co/t5hRhD08x0

— Барри Адамс 📰 (@badams) 30 декабря 2021 г.

Как видите, софт 404 детектор, как и любой механизм, подвержен ложным срабатываниям. Это означает, что ваши страницы могут быть неправильно классифицированы.

Google может неправильно классифицировать ваши страницы в нескольких случаях: 

1. Google не может правильно отобразить ваш контент JavaScript. Убедитесь, что вы не блокируете JavaScript в robots.txt и что Googlebot может отображать ваши важные ресурсы.
2. Google обнаружил некоторые слова, которые обычно ассоциируются с программными страницами 404, например: «страница не найдена» или «продукт недоступен». В этом случае откорректируйте свою копию. В зависимости от ситуации вы можете захотеть перенаправить такие страницы или сделать их 404.
3. Страница должна быть страницей 404, которая ошибочно отвечает кодом состояния 200. Это может быть в случае, если вы решите создать пользовательскую страницу 404. Вам нужно настроить сервер для ответа с кодом состояния 404.
4. Редирект реализован, но целевая страница тематически не связана с исходной страницей. Перенаправьте его на ближайшую подходящую альтернативу.

На выбор Google страниц как программных 404 повлияло обновление Caffeine — вот как это объяснил Гэри Иллиес:

«По сути, у нас есть очень большие […] корпуса страниц ошибок, и затем мы пытаемся сопоставить текст с ними. Это тоже может привести к очень забавным багам, я бы сказал, где, например, вы пишете статью о страницах с ошибками вообще, и никак не можете за свою жизнь проиндексировать ее. И иногда это происходит из-за того, что наши системы обработки страниц ошибок ошибочно определяют вашу статью на основе ключевых слов, которые вы используете, как мягкую страницу ошибки. И, по сути, это побуждает Caffeine прекратить обработку этих страниц».

4. Ваша страница низкого качества.

Одним из наиболее важных сигналов ранжирования для Google является качество контента.

За прошедшие годы Google внес множество изменений в алгоритмы, чтобы подчеркнуть, насколько важно для страниц создавать контент, который: 

• уникальный, 
• комплексный,
• актуально,
• правдивы, а
• предоставляет пользователю ценность.

Вот почему мы не должны ожидать, что Google будет индексировать контент, который не соответствует этим правилам .

Кроме того, если Google увидит часть вашего некачественного контента, он может посчитать некачественным весь сайт и, соответственно, ограничить его сканирование и индексацию.

Обычно страница с некачественным содержанием классифицируется как: 

• Просканировано, в настоящее время не проиндексировано (когда Google посетил URL-адрес) или:
• Обнаружено, в настоящее время не проиндексировано (когда у URL-адреса даже не было шанса быть посещенным роботом Googlebot).

Есть несколько способов решения проблем с некачественным контентом на вашем сайте — рассмотрите:

• Объединение нескольких частей контента, категорий или страниц в одну,
• Переписывание и обновление статей, содержащих устаревшую или недостаточную информацию,
• Запрещение индексации некачественного контента, например, путем внедрения тегов noindex или блокировки доступа к нему в файле robots. txt.

5. Страница имеет дублированный контент.

Это связано с предыдущим пунктом о некачественном контенте, но эта проблема касается нескольких страниц, содержащих одинаковый или очень похожий контент.

Страница с повторяющимся содержимым, скорее всего, не будет проиндексирована в Google.

Основные опасности большого количества дублированного контента на вашем сайте включают:

• Вы не знаете, какую страницу Google выбирает для индексации и отображения в поисковой выдаче,
• Вы даете Google больше страниц для сканирования,
• Сигналы ранжирования можно разделить на несколько страниц.

Некоторые примеры дублированного контента включают:

• Общие описания продуктов, скопированные с других страниц,
• Страницы, созданные фильтрами с добавленными параметрами,
• Различные структуры URL для одного и того же контента, например версии с www и без www.

Дублированный контент — это распространенная проблема индексации в электронной коммерции или других крупных веб-сайтах, и для них это особенно серьезно.

Обычно дублированный контент классифицируется Google как:

• Альтернативная страница с соответствующим каноническим тегом — этот URL-адрес является дубликатом канонической страницы, отмеченной правильным тегом, и указывает на каноническую страницу. Обычно ничего делать не нужно,
• Дублировать без канонической версии, выбранной пользователем — вы не выбрали каноническую версию для страницы, поэтому убедитесь, что выбрали ее,
• Дублирование, Google выбрал другую каноническую страницу, а не пользователя — вы выбрали каноническую страницу, но Google выбрал другую. Это может произойти, если Google рассматривает другую страницу как репрезентативную для данного контента или не находит достаточно сигналов, указывающих на выбранный вами URL-адрес.

Существует два наиболее распространенных решения проблемы дублирования контента: 

• Добавление канонических тегов для указания основной версии данного контента — используйте их, если все дубликаты страниц должны быть доступны для пользователей,
• Создание 301 редиректа с дубликатов страниц на основной контент — выберите этот вариант, если дубликаты страниц не должны быть видны пользователям.

Бесплатная пробная версия

Воспользуйтесь нашей 14-дневной бесплатной пробной версией и самостоятельно ознакомьтесь с функциями Ziptie.

Зарегистрируйтесь бесплатно

6. Ваши страницы работают медленно.

Медленный веб-сайт может отрицательно повлиять на работу пользователей , но также может привести к проблемам с индексацией.

Позвольте мне уточнить: 

• Если ваш веб-сайт работает медленно из-за вашего веб-хостинга, Google может сканировать меньше и, следовательно, индексировать меньше страниц.
• Когда ваш веб-сайт отображается медленно, это может негативно сказаться на скорости сканирования. Как мы читаем в документации Google, «ускорение отображения ваших страниц также увеличит скорость сканирования».

Важнейшим аспектом повышения производительности вашего сайта с учетом процессов сканирования и индексирования Google является оптимизация вашего сервера.

Если ваш веб-сайт работает заметно медленно для пользователей, которые с ним взаимодействуют (например, он не проходит оценку Core Web Vitals), это все еще проблема, требующая вашего внимания.

Но вам следует сосредоточиться на том, может ли ваш сервер обрабатывать запросы сканирования Google. Например, когда вы добавляете новый контент и скорость сканирования Google увеличивается, вы можете обнаружить, что этот контент не индексируется из-за замедления работы сервера.

Вы должны убедиться, что ваш веб-сайт может выдерживать всплески трафика от Google, чтобы его можно было сканировать и индексировать с высокой скоростью.

7. Ошибка индексации на стороне Google.

Google, вероятно, является одной из самых передовых систем в мире, и она активно (и успешно) поддерживается уже более 20 лет.

Однако в каждой программе есть ошибки. А некоторые ошибки на стороне Google могут привести к тому, что ваши страницы не будут проиндексированы или будут зарегистрированы как таковые.

Пример широко известной ошибки индексации Google, произошедшей в октябре 2020 года:

В настоящее время мы работаем над решением двух отдельных проблем индексации, которые повлияли на некоторые URL-адреса. Один с мобильной индексацией. Другой — с канонизацией, как мы обнаруживаем и обрабатываем дублированный контент. В любом случае страницы могут быть не проиндексированы….

— Google SearchLiaison (@searchliaison) 1 октября 2020 г.

Google потребовалось 2 недели, чтобы исправить ошибку, и подобные ошибки время от времени случаются.

Вот несколько твитов, подробно описывающих другую внутреннюю ошибку Google с сообщениями о проблемах с индексацией:

Внутренняя проблема вызывает увеличение количества ошибок перенаправления во время индексирования и связанных с ними уведомлений по электронной почте. Это происходит не из-за каких-либо проблем с веб-сайтом, а из-за внутренней проблемы Google. Мы надеемся решить эту проблему быстро.

— Google Search Central (@googlesearchc) 13 декабря 2021 г.

Обратите внимание, я вижу большой всплеск ошибок перенаправления на разных сайтах в отчетах о покрытии. Эти перенаправления выглядят нормально при их анализе… Кроме того, это совпадает с ошибкой статистики обхода для «Подключения к серверу» на затронутых сайтах. Я думаю, у робота Googlebot было слишком много гоголя-могольки 🙂 pic.twitter.com/PGY0EkLAcv

— Гленн Гейб (@glenngabe) 12 декабря 2021 г.

Недавно я обнаружил еще одну ошибку Google, связанную с URL-адресами, которые должны быть проиндексированы и были посещены Google, но остаются со статусом «Обнаружено — в настоящее время не проиндексировано».

8. Ваша страница или веб-сайт слишком новые.

Содержимое не индексируется немедленно. Во многих случаях ваши страницы будут проиндексированы, но это займет некоторое время.

Как заявил Джон Мюллер: 

«Когда на веб-сайте публикуется новая страница, ее индексация может занять от нескольких часов до нескольких недель. На практике я подозреваю, что большая часть хорошего контента подбирается и индексируется в течение недели».

Такие задержки индексации вызываются двумя факторами: 

1. Google требуется время, чтобы обнаружить новую страницу.
2. Требуется время, чтобы страница попала в начало очереди сканирования Google.

Обычно URL-адрес в очереди сканирования Google классифицируется как Обнаружен, в настоящее время не проиндексирован.

Вы также можете столкнуться с задержками при сканировании и индексации контента, если публикуете его на новом веб-сайте.

За последние пару месяцев я видел много сообщений, написанных SEO-специалистами о том, что Google не хочет индексировать контент на новых веб-сайтах.

Схема была настолько ясной, что я решил спросить других SEO-специалистов, сталкивались ли они с подобными проблемами:

У вас НЕДАВНО возникали проблемы с индексацией новых веб-сайтов?

— Томек Рудзки (@TomekRudzki) 7 декабря 2021 г.

Вот что сообщает нам документация Google:

«Если ваш сайт или страница новые, их может не быть в нашем индексе, потому что у нас еще не было возможности просканировать или проиндексировать их. После публикации новой страницы требуется некоторое время, прежде чем мы ее просканируем, и еще больше времени потребуется для ее индексации. Общее время может составлять от дня или двух до нескольких недель, как правило, в зависимости от многих факторов».

В некоторых случаях определенные разделы вашего сайта не индексируются. Это могло произойти, если Google посетил несколько URL-адресов из раздела, оценил их как низкокачественный контент и поместил весь раздел в очередь сканирования.

Итак, что вы можете сделать, если ваша страница все еще не проиндексирована через несколько недель?

Если у вас есть новый веб-сайт, убедитесь, что вы внедрили внутренние ссылки, чтобы показать роботу Googlebot, какие URL-адреса являются наиболее ценными. Ссылки должны отражать важность каждой страницы и то, как они соотносятся друг с другом.

Кроме того, не забудьте убедиться, что все ваши ценные URL-адреса добавлены в карты сайта. И, хотя вы, наверное, уже достаточно об этом слышали: уделяйте первостепенное внимание качеству и уникальности вашего контента.

9. Google отказался посещать страницу.

Google иногда отказывается посещать страницу, потому что считает, что ее не стоит сканировать и индексировать.

Это может быть результатом двух причин:

1. Google не уверен в посещении определенной страницы, поскольку на странице отсутствуют релевантные сигналы. Например, если ни одна ссылка не указывает на данную страницу, Google, скорее всего, не будет посещать и индексировать вашу страницу. Еще одним сигналом будет, если Google не сможет найти страницу в вашей карте сайта.
2. Google не уверен в необходимости посещения этих URL-адресов, поскольку они попадают в специальный шаблон URL-адресов . Например, Google распознает данный шаблон страницы как связанный с некоторыми ранее посещенными страницами. Это могут быть страницы с дублирующимся контентом или, например, авторские или пользовательские профили. Если Google увидит другие страницы, которые следуют этому шаблону, ему не нужно тратить время и ресурсы на их сканирование.

Такие URL-адреса могут быть классифицированы как Обнаружены, в настоящее время не проиндексированы.   

Цитируя заметки Сэма Марсдена из Google Office Hours от 30 мая 2017 г.:

«Google пытается установить шаблоны URL, чтобы сосредоточиться на сканировании важных страниц и выбирать, какие из них игнорировать при сканировании больших сайтов. Это делается для каждого сайта отдельно, и у них нет правил для конкретных платформ, потому что они могут быть настроены с различным поведением».

Ваши следующие шаги здесь связаны с решениями, которые я упоминал в других главах:

• Убедитесь, что ваш индексируемый контент, который видит Google, имеет высокое качество,
• Внедрите хорошо спланированную внутреннюю перелинковку с упором на самые важные страницы,
• Оптимизируйте карты сайта, чтобы они содержали только ценные URL-адреса.

Подведение итогов

Теперь вы можете видеть, что некоторые проблемы с индексацией могут иметь мало общего с вашим веб-сайтом и больше с ограниченными ресурсами Google, ошибками или ошибками.

Однако в большинстве случаев вашим страницам может не хватать качества или недостаточно сигналов для индексации. Также возможно, что вы блокируете роботу Googlebot доступ к некоторым страницам, которые должны быть проиндексированы.

 Всегда помнить:

• Поддерживать карту сайта, содержащую только ценные URL-адреса,
• Знайте, какие URL-адреса не следует сканировать (запретить их в robots.txt) или индексировать (сделать их неиндексируемыми с помощью тегов noindex) — для получения дополнительной информации ознакомьтесь с этим руководством по созданию стратегии индексирования,
• Добавление правильных канонических тегов для указания основных версий страниц и управления дублирующимся содержимым,
• Оптимизируйте архитектуру своего сайта и создайте информативную внутреннюю структуру ссылок.

3. Страница классифицируется Google как мягкая 404.

Google использует множество инструментов, чтобы веб-страницы, которые он показывает в результатах поиска, были самого высокого качества и обеспечивали положительный пользовательский опыт. Одним из инструментов, которые использует Google, является программный детектор 404. Если страница определяется как soft 404, она не попадет в индекс Google.

Soft 404 не являются официальными кодами ответов на веб-сайтах. Страница 404 возвращает правильный код состояния 200, но ее содержимое делает ее похожей на страницу с ошибкой, например. потому что он пуст или содержит тонкий контент — или так думает Google.

Барри Адамс поделился очень интересным примером, когда страницы веб-сайта интерпретировались как программные 404:

Как видите, детектор программных 404, как и любой другой механизм, склонен к ложным срабатываниям. Это означает, что ваши страницы могут быть неправильно классифицированы.

Google может неправильно классифицировать ваши страницы в нескольких случаях:

1. Google не может правильно отобразить ваш JavaScript-контент. Убедитесь, что вы не блокируете JavaScript в robots.txt и что Googlebot может отображать ваши важные ресурсы.