Таким образом, Отчет об индексации является одним из самых мощных инструментов Search Console. Мы настоятельно рекомендуем с ним ознакомиться, поскольку во многом благодаря этому инструменту мы своевременно обнаруживаем все аномалии краулинга и индексирования, особенно на крупных сайтах. Если вы сталкивались с другими причинами попадания URL-адресов в отчет «Crawled — currently not indexed», сообщите об этом в комментариях!

Об авторе:

Крис Лонг -— старший SEO-менеджер в Go Fish Digital

The Next Web.

Автор: Кристофер Лонг

Ссылка на оригинал: https://moz.com/blog/crawled-currently-not-indexed-coverage-status

P.s. Мы стараемся регулярно готовить для вас полезный контент. Для того чтобы не пропустить очередную статью в нашем блоге, подписывайтесь на наш telegram-канал: T.me/seoantteam

Спасибо, что подписались на рассылку!

Мы будем отправлять вам только полезный контент не чаще 2 раз в месяц.

Остались вопросы или хотите заказать продвижение?

Имя

Phone

E-mail

Я ознакомлен и согласен с Политикой в отношении обработки персональных данных

Спасибо, что подписались на рассылку!

Мы будем отправлять вам только полезный контент не чаще 2 раз в месяц.

Подпишитесь на рассылку

Имя

E-mail

Я ознакомлен и согласен с Политикой в отношении обработки персональных данных

Когда канонизировать, запретить индексирование или ничего не делать с похожим контентом

Представьте себе свой контент так, как вы это делаете. У вас есть какой-то багаж, от которого вы могли бы избавиться? Вы носите с собой что-то, что хотите сохранить, но, возможно, хотите перепрофилировать или увидеть по-другому?

То же самое и с контентом веб-сайта. Мы все, вероятно, сидели вместе, как группа умов, думая о контенте, который мы хотели бы отрезать от нашего веб-сайта, но понимаем, что он все еще нужен, будь то конкретный потенциальный клиент, внутренняя команда и т. д.

Пока мы ищем способы сделать наши веб-сайты максимально компактными для целей управления контентом, мы также хотим сделать то же самое, чтобы успокоить сканирующих роботов поисковых систем.

Мы хотим, чтобы их ежедневное посещение наших веб-сайтов было быстрым и лаконичным.

Надеюсь, это покажет им, кто мы такие, чем мы занимаемся и, в конечном счете, — если у нас должен быть контент, который нельзя удалить, — как мы его помечаем для них.

К счастью, сканеры поисковых систем хотят понять наш контент так же, как мы хотим этого от них. Нам даны шансы канонизировать контент и неиндексируемый контент.

Однако имейте в виду, что неправильное выполнение этого действия может привести к тому, что важные элементы веб-сайта будут неправильно поняты роботами поисковых систем или вообще не прочитаны.

Снимок экрана, сделанный автором, июль 2022 г.

Канонические теги — отличный способ проинструктировать поисковые системы: «Да, мы знаем, что этот контент не такой уж уникальный или ценный, но он должен быть у нас».

Это также может быть отличным способом показать ценность контента из другого домена или наоборот.

Тем не менее, пришло время показать сканирующим ботам, как вы воспринимаете контент веб-сайта.

Для использования вы должны поместить этот тег в раздел заголовка исходного кода.

Тег canonical может быть отличным способом борьбы с контентом, который, как вы знаете, дублируется или похож, но он должен существовать для нужд пользователей на сайте или медленной команды обслуживания сайта.

Если вы считаете, что этот тег идеально подходит для вашего веб-сайта, просмотрите свой веб-сайт и обратитесь к разделам сайта, которые имеют отдельные URL-адреса, но имеют схожее содержание (например, текст, изображение, заголовки, элементы заголовка и т.  д.).

Средства аудита веб-сайтов, такие как Screaming Frog и раздел Semrush Site Audit, позволяют быстро выявить сходство контента.

Если вы считаете, что могут быть какие-то другие виновники похожего контента, вы можете глубже изучить его с помощью таких инструментов, как средство проверки похожих страниц и Siteliner, которые проверят ваш сайт на наличие похожего контента.

Теперь, когда вы хорошо чувствуете случаи сходства, вам нужно понять, заслуживает ли это отсутствие уникальности канонизации. Вот несколько примеров и решений:

Пример 1: Ваш сайт существует как в HTTP-, так и в HTTPS-версиях страниц сайта, или ваш веб-сайт существует в обеих версиях www. и без www. версии страницы.

Решение: Ставьте канонический тег на версию страницы с наибольшим количеством ссылок, внутренних ссылок и т.д., пока не сможете перенаправить все дублирующиеся страницы один к одному.  

Пример 2: Вы продаете товары, которые очень похожи, если на этих страницах нет уникальной копии, но есть небольшие различия в названии, изображении, цене и т.  д. Если вы  канонически указываете определенные страницы продукта на родительский продукт страница?

Решение: Здесь мой совет — ничего не делать. Эти страницы достаточно уникальны, чтобы их можно было проиндексировать. У них есть уникальные имена, которые их отличают, и это может помочь вам с экземплярами ключевых слов с длинным хвостом.

Пример 3: Вы продаете футболки, но у вас есть страницы для каждого цвета и каждой рубашки.

Решение: Canonical пометьте страницы цвета для ссылки на родительскую страницу рубашки. Каждая страница — это не конкретный продукт, а очень похожая вариация.

Как и в примере, представленном выше, я хотел объяснить, что иногда немного похожий контент все же может быть индексирован.

Что, если бы это были рубашки с дочерними страницами для разных типов рубашек, таких как рубашки с длинными рукавами, майки и т. д.? Теперь это становится другим продуктом, а не просто вариацией. Как уже упоминалось ранее, это может быть успешным для поиска в Интернете с длинным хвостом.

Вот отличный пример: сайт по продаже автомобилей, на котором есть страницы, посвященные маркам автомобилей, связанным с ними моделям и вариациям этих моделей (2Dr, 4Dr, V8, V6, роскошная версия и т. д.). Первоначальная мысль об этом сайте заключается в том, что все варианты просто почти дублируют типовые страницы.

Вы можете подумать, зачем нам раздражать поисковые системы этим почти дублирующимся контентом, когда мы можем канонизировать эти страницы, чтобы они указывали на типовую страницу как на репрезентативную?

Мы двигались в этом направлении, но беспокойство по поводу того, смогут ли эти страницы быть успешными, заставило нас перейти к канонической маркировке каждой соответствующей страницы модели.

Предположим, вы канонически помечаете страницу родительской модели. Даже если вы покажете поисковым системам важность/иерархию контента, они все равно могут ранжировать канонизированную страницу, если поиск относительно специфичен.

Итак, что мы увидели?

Мы обнаружили, что органический трафик увеличился как на дочерние, так и на родительские страницы. По моему мнению, когда вы отдаете должное дочерним страницам, родительская страница выглядит более авторитетной, поскольку у нее есть много дочерних страниц, которым теперь возвращается «кредит».

Ежемесячный трафик всех этих страниц вместе вырос в пять раз.

С сентября этого года, когда мы пересмотрели канонические теги, ежемесячный органический трафик на эту область сайта увеличился в 5 раз, при этом 754 страницы обеспечивают органический трафик по сравнению со 154, признанными ранее в предыдущем году.

Скриншот автора с Semrush, июль 2022 г.

• Установка канонических тегов, которые выдерживают перенаправление до разрешения на финальную страницу, может оказать большую медвежью услугу. Это замедлит поисковые системы, поскольку вынуждает их пытаться понять важность контента, но теперь они пропускают URL-адреса.
• Точно так же, если вы указываете канонические теги на целевые URL-адреса, которые являются страницами с ошибкой 404, то вы, по сути, указываете им на стену.
• Каноническая пометка неверной версии страницы (например, www./без www., HTTP/HTTPS). Мы обсудили обнаружение с помощью инструментов сканирования веб-сайтов того, что у вас может быть непреднамеренное дублирование веб-сайтов. Не ошибитесь, указывая важность страницы на более слабую версию страницы.

Вы также можете использовать тег метатега robots noindex, чтобы полностью исключить похожий или повторяющийся контент.

Размещение тега noindex в разделе head вашего исходного кода остановит поисковые системы от индексации этих страниц.

Осторожно: хотя тег метатега robots noindex — это быстрый способ удалить дублированный контент из рейтинга, он может быть опасен для вашего органического трафика, если вы не используете его должным образом.

В прошлом этот тег использовался для отсеивания крупных сайтов, чтобы представить только критически важные для поиска страницы сайта, чтобы расходы на сканирование сайта были максимально эффективными.

Однако вы хотите, чтобы поисковые системы видели все релевантное содержимое сайта, чтобы понимать таксономию сайта и иерархию страниц.

Однако, если этот тег вас не слишком пугает, вы можете использовать его, чтобы позволить поисковым системам сканировать и индексировать только то, что вы считаете свежим, уникальным контентом.

Вот несколько вариантов решения проблемы отсутствия индексации:

Пример 1: Чтобы помочь своим клиентам, вы можете предоставить документацию от производителя, даже если они уже размещают ее на своем веб-сайте.

Решение: Продолжайте предоставлять документацию, чтобы помочь вашим клиентам на месте, но не индексируйте эти страницы.

Они уже принадлежат производителю и проиндексированы им, у которого, вероятно, гораздо больше полномочий в домене, чем у вас. Другими словами, вы, скорее всего, не будете рейтинговым веб-сайтом для этого контента.

Пример 2: Вы предлагаете несколько разных, но похожих товаров. Единственная разница — это цвет, размер, количество и т. д. Мы не хотим тратить деньги на сканирование.

Решение: Решить с помощью канонических тегов. Поиск с длинным хвостом может привлечь квалифицированный трафик, поскольку данная страница по-прежнему будет проиндексирована и сможет занимать высокие позиции.

Пример 3: У вас есть много старых продуктов, которые вы больше не продаете и которые больше не являются вашим основным направлением.

Решение: Этот идеальный сценарий, вероятно, можно найти в аудите контента или продаж. Если продукты мало приносят компании пользы, рассмотрите возможность выхода на пенсию.

Рассмотрите возможность канонического указания этих страниц на страницы соответствующих категорий или перенаправления их на страницы соответствующих категорий. Эти страницы имеют возраст/доверие, могут иметь ссылки и могут иметь рейтинг.

Что касается нашего веб-сайта, мы знаем, что хотим сделать все возможное для поисковых систем.

Мы не хотим тратить их время на сканирование и не хотим создавать впечатление, что большей части нашего контента не хватает уникальности.

В приведенном ниже примере, чтобы уменьшить раздувание несколько похожего содержимого страницы продукта из обзоров поисковых систем, теги meta robots noindex были помещены на дочерние страницы вариантов продукта во время перехода/перезапуска домена.

На приведенном ниже графике показано общее количество ключевых слов, перешедших из одного домена в другой.

После удаления метатегов robots noindex общее количество терминов ранжирования выросло на 50%.

Скриншот автора с Semrush, июль 2022 г.

• Не размещайте тег метатега robots noindex на странице со значением входящей ссылки. Если это так, вы должны навсегда перенаправить рассматриваемую страницу на другую соответствующую страницу сайта. Размещение тега устранит ценный ссылочный вес, который у вас есть.
• Если вы не индексируете страницу, которая включена в основную часть, нижний колонтитул или вспомогательную навигацию, убедитесь, что указана директива не «noindex, nofollow», а «noindex, follow», чтобы поисковые системы, сканирующие сайт, могли по-прежнему переходить по ссылкам на неиндексируемой странице.

Иногда трудно расстаться с содержанием веб-сайта.

Канонические и мета-теги robots noindex — отличный способ сохранить функциональность веб-сайта для всех пользователей, а также инструктировать поисковые системы.

В конце концов, будьте осторожны с тегами! Легко потерять присутствие в поиске, если вы не полностью понимаете процесс тегирования.

Дополнительные ресурсы:

• Когда использовать Rel Canonical или Noindex… или оба варианта
• Что происходит, когда Google выбирает неправильный канонический URL?
• Продвинутое техническое SEO: полное руководство

Рекомендуемое изображение: Джек Фрог/Shutterstock

Категория SEO Техническое SEO

Альтернативная страница с правильным каноническим тегом в Google Search Console » Rank Math

Видите ли вы статус «Альтернативная страница с правильным каноническим тегом» в своей Google Search Console? Обычно вы можете увидеть это сообщение, если на вашем веб-сайте есть несколько версий страницы.

В этой статье базы знаний мы объясним, что означает это сообщение, и дадим вам советы, как это исправить, если это необходимо.

1 Что означает «Альтернативная страница с правильным каноническим тегом»?

Сообщение о статусе «Альтернативная страница с правильным каноническим тегом» в Google Search Console означает, что на вашем веб-сайте есть две версии страницы с одинаковым каноническим URL-адресом. Google просто исключит повторяющуюся версию и проиндексирует основную версию страницы.

В идеале это означает, что Google правильно распознает эти канонизированные URL-адреса, и вам не нужно ничего делать с вашей стороны.

Но, тем не менее, вы все равно должны время от времени просматривать их и проверять, предназначены ли эти страницы для канонизации. В противном случае вы можете потерять потенциальный трафик с ценных страниц, которые могли быть проиндексированы.

2 Что такое канонический тег?

Канонический тег сообщает поисковым системам, какая версия веб-страницы является «главной» или «канонической» и должна быть проиндексирована. Это поможет вам указать, какую версию URL вы хотите отображать в результатах поиска. Это полезно, потому что в некоторых случаях, когда у вас может быть контент, доступный через несколько URL-адресов или разных веб-сайтов, вы можете использовать канонические URL-адреса, чтобы избежать негативного влияния дублированного контента на рейтинг.

Допустим, у вас есть две страницы на вашем сайте, которые очень похожи:

• rankmath.com/page1
• rankmath.com/page2

Обе страницы имеют одинаковое содержание, но вы хотите, чтобы поисковые системы индексировали только каноническую версию страницы (в данном случае rankmath.com/page1).

Для этого вы должны добавить канонический тег в HTML-код rankmath.com/page2, а также в HTML-код rankmath.com/page1, например:

Это сообщает поисковым системам, что rankmath.com/page1 — это каноническая версия страницы, которая должна быть проиндексирована.

Чтобы узнать канонический URL-адрес веб-страницы, вставьте URL-адрес веб-страницы в консоль поиска Google, как показано ниже.

После этого нажмите Индексирование страницы и прокрутите вниз до Канонический, выбранный Google , , как показано ниже. Термин Inspected URL указывает на то, что URL-адрес, который вы вставили в Search Console, является каноническим URL-адресом.

3 Как исправить сообщение о состоянии «Альтернативная страница с правильным каноническим тегом»

3.1 Обновление канонического URL-адреса в Rank Math

Первый шаг — найти дубликаты страниц на вашем сайте. Для этого перейдите в раздел Страницы Google Search Console и нажмите на вкладку Не проиндексировано .

Затем нажмите на статус «Альтернативная страница с правильным каноническим тегом».

Это покажет вам список всех страниц вашего сайта, которые отмечены этим статусом.

Когда у вас есть список затронутых страниц в Google Search Console или на вкладке «Статус индекса» в Rank Math, вам нужно проверить, содержат ли они правильный канонический URL-адрес. Если нет, вам нужно будет изменить их с помощью Rank Math.

Лучше всего то, что плагин Rank Math SEO WordPress позволяет легко изменить канонический URL-адрес с помощью мета-поля (как показано на рисунке ниже).

По умолчанию Rank Math использует текущий URL-адрес публикации/страницы в качестве канонического URL-адреса, поэтому вам нужно изменить этот параметр только в том случае, если вы хотите изменить его на что-то другое. Это также известно как самоссылающийся канонический .

Примечание: Если вы не можете найти вкладку «Дополнительно», включите расширенный режим из Панель инструментов WordPress > Математика рангов > Панель инструментов .

На вкладке «Дополнительно» в мета-окне Rank Math вы можете изменить поле «Канонический URL-адрес», чтобы оно указывало на основной источник вашего контента. Канонический URL-адрес сообщает поисковым роботам главной страницы, если у вас есть страницы или сообщения с похожим содержанием.

Приведенный ниже снимок экрана приведен только для справки.

Когда вы закончите настройку своего канонического URL-адреса, просто обновите страницу, как обычно, после внесения изменений или нажмите Опубликовать , если это только что созданная страница.

С другой стороны, если вы не используете WordPress, вам может потребоваться обратиться к вашей системе управления контентом для получения информации о том, как они обрабатывают канонические URL-адреса.  

Если вы используете специально созданный веб-сайт, вы можете добавить тег canonical непосредственно в элемент заголовка веб-страницы. Для этого скопируйте приведенный ниже фрагмент кода, замените https://rankmath.com/canonical-url своим каноническим URL-адресом и вставьте его в тег заголовка страницы.

3.2

Вы должны добавлять канонические URL-адреса только к нужным дубликатам страниц. хранить. Если вы не хотите, чтобы страница больше появлялась на вашем сайте, вам следует использовать вместо этого перенаправление 301 . Вы можете обратиться к этой статье базы знаний о настройке одиночной и множественной переадресации 301 в Rank Math.