Google дает сайтам больше контроля над индексацией с помощью нового тега Robots ✔ PROject SEO

Google внедряет новый тег robots, дающий сайтам больший контроль над контентом, который индексируется в результатах поиска. Новый тег robots, называемый indexifembedded, позволяет веб-сайтам указывать Google, какой контент индексировать в результатах поиска. С помощью этого тега вы можете указать Google индексировать контент на странице только в том случае, если он встроен через iframe и аналогичные HTML-теги.

Содержание:

• Когда использовать тег Indexifembedded
• Как использовать тег Indexifembedded

Тег indexifembedded переопределяет тег noindex. Это означает, что вы можете использовать noindex, чтобы весь URL-адрес не попадал в результаты поиска, и применять тег indexifembedded, чтобы сделать определенный фрагмент контента индексируемым, когда он встроен в другую веб-страницу.

Google заявляет, что создал этот тег, чтобы исправить проблему, затрагивающую издателей СМИ. Вот, что говорят в Google об этом:

«… хотя они могут захотеть, чтобы их контент был проиндексирован, когда он встроен в сторонние страницы, они не обязательно хотят, чтобы их медиа-страницы были проиндексированы сами по себе».

Этот новый тег robots не применяется ко многим издателям, поскольку он предназначен для контента, который имеет отдельный URL-адрес для встраивания. Например, у издателя подкаста могут быть веб-страницы, посвященные каждому выпуску подкаста, каждая из которых имеет собственный URL-адрес. Затем будут URL-адреса, указывающие непосредственно на медиа, которые другие сайты могут использовать для встраивания подкаста на одну из своих страниц. Такой URL-адрес можно использовать при вставке эпизода подкаста в качестве источника ссылки.

Создатель подкаста может не захотеть индексировать URL-адреса мультимедиа в результатах поиска. Раньше единственным способом не допустить их в поиск Google был тег noindex. Однако тег noindex предотвращает встраивание контента в другие страницы во время индексации. Поэтому, если издатель хотел разрешить встраивание, он также был вынужден индексировать URL-адрес мультимедиа.

Теперь, с тегом indexifembedded, издатели имеют больше контроля над тем, что индексируется. Тег indexifembedded можно использовать с тегом noindex, и он переопределит его, когда URL-адрес с noindex встроен в другую страницу через iframe или аналогичный тег HTML.

Google предлагает следующий пример:

«Например, если podcast.host.example/playpage?podcast=12345 имеет теги noindex и indexifembedded, это означает, что Google может встроить контент, размещенный на этой странице, в recipe.site.example/my-recipes.html во время индексации. ”

Как использовать тег Indexifembedded

Есть два способа использовать этот новый тег robots.

Чтобы ваш контент индексировался только тогда, когда он встроен в другие страницы, добавьте тег indexifembedded в сочетании с тегом noindex.

Посмотрите пример того, как будет выглядеть код на изображении ниже:

Кроме того, вы можете указать тег в заголовке HTTP.

На изображении ниже можно увидеть пример того, как это будет выглядеть.

В настоящее время только Google поддерживает тег indexifembedded.

Смотрите свежие кейсы:

SEO кейсы от НАС!

Регион: СНГ.

Результат: увеличили трафик со 100 до 1300 посетителей в сутки!

Срок продвижения: 12 месяцев.

Появления первых результатов: после 3-го месяца работы.

Смотреть кейс

Регион: Украина.

Результат: увеличили трафик с 50 до 420 посетителей в сутки!

Срок продвижения: 8 месяцев.

Появления первых результатов: после 3-го месяца работы.

Смотреть кейс

Регион: Украина (Киев).

Результат: увеличили трафик с 80 до 380 посетителей в сутки!

Срок продвижения: 12 месяцев.

Появления первых результатов: после 4-го месяца работы.

Смотреть кейс

Регион: Украина (Львов).

Результат: увеличили трафик с 15 до 100 посетителей в сутки!

Срок продвижения: 10 месяцев.

Появления первых результатов: после 3-го месяца работы.

Смотреть кейс

Previous Next

Исправление параметра Исключенные страницы в отчете Google Search Console

Не позволяйте своему контенту оставаться незамеченным. Узнайте о том, что попало в графу «Исключено» в Google Search Console в отчете «Покрытие» и исправьте.

Google Search Console позволяет пользователю посмотреть на свой сайт так, как его видит Google.

Вы получите информацию о производительности сайта, имеющихся брешах в безопасности; о краулинге, о том, как индексируется сайт и т.п.

Часть отчета, помеченная как «Исключено» в Google Search Console «Покрытие» предоставляет детальную информацию об индексации страниц сайта.

Узнайте, почему некоторые страницы вашего ресурса попадают в графу «Исключено» в Google Search Console и как это исправить.

Что показывает графа «Покрытие»

Отчет Google Search Console «Покрытие» показывает подробную информацию об индексации веб-страниц вашего сайта. Они могут попасть в одну из следующих четырех «корзин»:

• Ошибка: Страницы, которые Google не может проиндексировать. Вы должны просмотреть этот отчет, поскольку Google считает, что вы, возможно, хотите, чтобы эти страницы были проиндексированы.
• Без ошибок, есть предупреждения: Страницы, которые Google индексирует, но есть некоторые проблемы, которые вам следует устранить.
• Страница без ошибок: Страницы, которые Google индексирует.
• «Исключено»: Страницы, которые исключены из индекса.

Нас интересует графа «Исключено». Так что же она значит?

Дело в том, что Google не индексирует страницы, которые попали в категорию «Исключено» или «Ошибка». Но эти две категории, тем не менее, имеют существенное отличие друг от друга:

• Google считает, что страницы в графе «Ошибка» должны быть проиндексированы, но сделать это, впрочем, не представляет возможным – до тех пор, пока ошибки не будут изучены лично вами.
  Например, неиндексируемые страницы на базе языка разметки XML попадают в категорию Ошибка.
• Что касаемо «Исключено»: Google действительно убежден в том, что страницы в этой категории не должны индексироваться – вне зависимости от того, есть ли у них проблемы, которые можно решить. Они неликвидны.

Однако Google не всегда стратифицирует их правильно, и страницы, которые должны быть проиндексированы, попадают в «Исключено». Вместо «Ошибка».

К счастью, Google Search Console сообщает пользователю о причинах помещения страниц в ту или иную категорию.

Именно поэтому «благим делом» считается тщательный анализ страниц во всех четырех категориях. Но пока вернемся к страницам из категории «Исключено».

Почему страницы попадают в «Исключено»

Всего Google Search Console показывает 15 возможных причин, по которым веб-страницы попадают в группу «Исключено». Давайте рассмотрим каждую из них подробнее.

Исключено тегом noindex

Речь об URL-адресах, которые имеют тег noindex.

Google полагает, что вы на самом деле хотите исключить эти страницы из индексации в принципе, поскольку не указали их в XML sitemap. К ним, как правило, относятся: страницы для входа в личный кабинет, профиля пользователей, поисковые результаты.

Что можно сделать:

• Перепроверьте эти URL-адреса еще раз, чтобы убедиться, что вы точно хотите исключить их из индексации Google.
• Проверьте, присутствует ли тег noindex в этих ссылках.

Страница просканирована, но пока не проиндексирована

Google обратил внимание на страницы, но все еще не проиндексировал их.

Как говорится в пояснении от самого сервиса: «URL-адреса, находящиеся в этой категории, могут быть проиндексированы в будущем, а могут и не быть; нет необходимости повторно отправлять запрос на индексацию».

Многие SEO-специалисты неоднократно отмечали, что у сайта могут быть серьезные проблемы с качеством, если многие полезные и адекватные страницы попадают в раздел «Страница просканирована, но пока не проиндексирована».

Это может означать, что Google просмотрел эти страницы и считает, что они не представляют достаточной ценности для индексации.

Что можно сделать:

• Пересмотрите свой ресурс с точки зрения качества исполнения и обратите внимание на E-A-T.

Обнаружена, не проиндексирована

Как говорится в документации Google, страница под заголовком «Обнаружена, не проиндексирована» была найдена Google, но еще не проиндексирована.

Google не стал просматривать страницу, чтобы не перегружать сервер. Большое количество страниц в этом списке может свидетельствовать о том, что у вашего сайта проблемы с краулинговым бюджетом.

Что можно сделать:

• Проверьте состояние сервера.

Не найдено (404)

Это страницы, которые при запросе Google выдают ошибку 404.

Это не URL-адреса, «предоставленные лично» поисковой машине (например, файлом sitemap). Это Google самостоятельно обнаружил эти страницы (например, через другой сайт, который ссылается на уже несуществующую страницу).

Что можно сделать:

• Проанализируйте эти страницы и решите, следует ли прибегать к 301 редиректу на актуальный и рабочий сайт.

Ошибка 404

Ошибка 404 – код ответа сервера, который указывает, что он (сервер) не смог найти запрошенный URL-адрес.

Также под «Ошибка 404» часто подразумевается страница, практически не содержащая никакого контента, и на которой можно найти только ходовые фразы в духе «извините», «ошибка», «не найдено» и т.д.

Что можно сделать:

• Для страниц с откровенно плохим содержанием добавьте уникальный контент, чтобы Google начал распознавать этот URL обособленно.
• Не забудьте выгрузить все 404 из Google Search Console.

Страница с переадресацией

Все переадресованные страницы на вашем сайте попадают в раздел «Исключено», где вы можете внимательно их изучить.

Что можно сделать:

• Внимательно просмотрите все страницы, чтобы убедиться в правильности редиректа.
• Некоторые плагины WordPress могут автоматически производить редирект при изменении URL – следует периодически просматривать такие страницы.

Страница является копией. Канонический вариант не выбран пользователем

Google считает, что URL-адреса с этой меткой являются дубликатами и, следовательно, не должны индексироваться.

Такое случается, если вы забыли установить атрибут тега link rel=canonical тег для нужного адреса. Google сам выбрал каноническую страницу: основываясь на других моментах.

Что можно сделать:

• Проверьте эти URL-адреса, чтобы узнать, какую из страниц Google выбрал канонической.

Страница является копией. Канонические версии страницы, выбранные Google и пользователем, не совпадают

В этом случае вы указали канонический тег для страницы, но, несмотря на это, Google выбрал в качестве предпочитаемого ресурса другой сайт. Как итог: выбранный Google URL индексируется, а выбранный пользователем — нет.

Что можно сделать:

• Проверьте URL-адрес, чтобы узнать, какой сайт был выбран каноническим.
• Изучите все поводы, которые заставили Google выбрать неправильный канонический (например, могли повлиять внешние ссылки).

Страница является копией. Отправленный URL не выбран в качестве канонического

Разница между вышеописанным и этим статусом заключается в том, что в последнем случае URL-адрес был отправлен в Google для индексации, но при этом у него не был указан тег link rel=canonical. Это дает повод поисковой машине считать, что другой URL будет смотреться более уместно в качестве каноничного.

Как результат: индексируется адрес, выбранный Google, а не отправленный вами.

Что можно сделать:

• Проверьте URL, чтобы узнать, какой канон выбрал Google.

Вариант страницы с тегом canonical

Это дубликаты страниц, которые Google распознает как канонические URL.

Что можно сделать:

• В большинстве случаев вмешательство не требуется. Не переживайте.

Заблокировано в файле robots.txt

Страницы, закрытые мета-тегом robots.txt.

При анализе этого блока следует помнить, что Google все еще может индексировать такие страницы (и отображать их в урезанном, «неполноценном» виде). Но только в том случае, если поисковик Google найдет ссылку на них – например, на других сайтах.

Что можно сделать:

• Проверьте, закрыты ли страницы для индексации.
• Добавьте тег noindex и удалите страницы из robots.txt.

Заблокирован инструментом удаления страниц

В этом отчете перечислены страницы, удаление которых было запрошено инструментом Removal.

Следует помнить, что эта утилита удаляет страницы из результатов поиска только временно (на 90 дней) и не препятствует им индексироваться.

Что можно сделать:

• Проверьте, действительно ли должны эти страницы быть удалены. Или иметь тег noindex.

Страница не проиндексирована вследствие ошибки 401

В случае с этими URL Googlebot не смог получить доступ к страницам из-за запроса на авторизацию (ошибка 401).

Если эти страницы не должны быть доступны без авторизации, вам не нужно ничего делать. Google просто информирует вас о том, с чем он столкнулся.

Что можно сделать:

• Проверьте, действительно ли эти страницы должны (или не должны) требовать авторизации.

Страница заблокирована из-за ошибки 403

Эта ошибка обычно свидетельствует о том, что проблема на стороне сервера. Она появляется, когда предоставленные полученные данные не соответствуют действительности. Ее очень желательно исправить, либо и вовсе – заблокировать страницу с помощью robots.txt или noindex.

Внезапные и огромные всплески количества исключенных страниц могут указывать на серьезные проблемы сайта.

Что можно узнать о страницах из категории «Исключено»

Различные ошибки, которые выдает вам Google Search Console после проведенного аудита, могут свидетельствовать о разных вещах. Так, например:

1. Большое количество страниц с ошибкой 404 может указывать на неудачную миграцию: когда URL-адреса были изменены, но перелинковка не реализована (или реализована крайне неудачно).
2. Большое количество страниц с пометкой «Страница просканирована, но пока не проиндексирована» или «Обнаружена, не проиндексирована» может указывать на то, что ваш ресурс был взломан. Обязательно просмотрите все ваши страницы, чтобы проверить, действительно ли они принадлежат вам или появились в результате взлома (взломанные страницы часто сопровождаются визуальными, графическими багами. Например, обилием китайских иероглифов).
3. Большой количество страниц с пометкой «Индексирование страницы запрещено тегом noindex» также может указывать на неудачную миграцию. Такое часто случается, когда у нового сайта остаются прежние теги noindex, что были у прошлого сайта.

Благодаря разделу «Исключено» в отчете GSC «Покрытие», вы можете узнать многое о вашем сайте и о том, как Googlebot взаимодействует с ним.

Независимо от того, являетесь ли вы начинающим SEO-специалистом или уже имеете несколько лет опыта за спиной, сделайте проверку Google Search Console своей привычкой.

Это поможет вам обнаружить различные технические SEO-проблемы до того, как они превратятся в настоящие катастрофы.

Источник: https://www.searchenginejournal.com/excluded-pages-google-search-console/453226/

Консоль поиска Google: отправленный URL-адрес с пометкой «Без индекса» | Справочный центр

Если вы отправили страницу для индексирования Google и получили сообщение об ошибке Submitted URL Marked ‘noindex’ , это означает, что Google определил, что ваша страница не должна индексироваться и отображаться в результатах поиска.

Тег noindex — это метатег, который можно добавить в HTML-код страницы, чтобы поисковые системы не отображали его в результатах поиска. Однако это сообщение об ошибке не обязательно означает, что в вашем коде есть тег noindex. У этой ошибки могут быть разные причины, которые вы можете легко проверить и исправить.

Если вы получаете сообщение об ошибке Submitted URL Marked ‘noindex’ , попробуйте выполнить следующие действия:

Шаг 1 | Проверьте URL-адрес

Убедитесь, что вы правильно ввели URL-адрес страницы при отправке ее на индексирование.

Вы также должны убедиться, что она соответствует существующей странице на вашем сайте, которая не возвращает сообщение об ошибке 404 или сообщение об ошибке 5xx.

Шаг 2 | Убедитесь, что поисковые системы могут индексировать вашу страницу и сайт

Проверьте страницы вашего сайта, чтобы убедиться, что поисковые системы не лишены возможности индексировать их. В этом случае страница будет иметь тег «noindex» в коде, и Google не будет включать его в результаты поиска.

Узнайте, как проверить, могут ли поисковые системы индексировать ваши страницы в:

• Editor
• Editor X

Вам также следует проверить настройки вашего сайта, чтобы убедиться, что поисковые системы могут его индексировать.

Шаг 3 | Проверьте, защищена ли страница паролем

Убедитесь, что ваша страница не защищена паролем. В этом случае страница будет иметь тег «noindex» в коде, и Google не будет включать его в результаты поиска.

Узнайте больше о защищенных паролем страницах:

• Редактор
• Редактор X

Шаг 4 | Проверьте, является ли страница страницей только для членов

Вы должны убедиться, что страница не настроена только для членов. Страницы только для членов исключены из результатов поиска по умолчанию.

Узнайте больше о страницах только для членов:

• Editor
• Editor X

Шаг 5 | Используйте инструмент проверки URL-адресов

Если страница проиндексирована, а не является страницей только для участников или не защищена паролем, вам следует проверить URL-адрес с помощью инструмента проверки URL-адресов Google.

Инструмент проверки URL позволяет отправлять отдельные страницы в Google и имитировать, как Google сканирует или отображает URL на вашем сайте. Вы можете использовать его для диагностики ошибок, препятствующих индексации страницы. Подробнее 

Шаг 6 | Проверьте дату последнего сканирования

Проверьте дату ниже Последнее чтение в отчете Sitemaps в Google Search Console. Если дата больше месяца назад, сообщение об ошибке, скорее всего, больше не актуально.

Шаг 7 | Запросить у Google индексацию страницы

Если вы проверили все вышеперечисленное, но страница по-прежнему не проиндексирована, запросите индексацию Google, нажав Запросить индексирование в инструменте проверки URL.

Как Google справляется с директивами Noindex — Советы по поисковой оптимизации

Директива rel=”noindex” используется для указания поисковым системам не включать страницу в свой индекс, чтобы предотвратить ее появление в результатах поиска. В приведенных ниже примечаниях о рабочих часах SEO объясняется использование этой директивы, а также дополнительные рекомендации, составленные на основе сеансов Google в рабочие часы и реальных примеров.

Подробнее о директивах noindex читайте в нашей статье: Noindex, Nofollow и Disallow.

Используйте новый метатег robots «indexifembedded» для управления индексацией встроенного контента.

Пользователь спросил, как заблокировать отдельное индексирование встроенных видео. Джон рекомендует использовать новый тег «indexifembedded» robots (в сочетании со стандартными тегами noindex robots), чтобы контролировать, какие версии встроенных видео индексируются.

21 июля 2022 г.

Если URL-адреса, заблокированные файлом robots.txt, индексируются Google, это может указывать на недостаточное содержание доступных страниц сайта. txt (и иметь канонический) по-прежнему индексируется Google? Поможет ли добавление тега

noindex ? Джон ответил, что тег noindex в этой ситуации не поможет, так как блокировка robots.txt означает, что Google его не увидит.

Он указал, что в этой ситуации URL-адреса могут быть проиндексированы без контента (поскольку Google не может сканировать их с помощью блока в robots. txt), но вряд ли они будут отображаться для пользователей в поисковой выдаче, поэтому не должны вызывать проблемы. Далее он упомянул, что если вы видите, что эти заблокированные URL-адреса возвращаются для практических запросов, то это может быть признаком того, что остальную часть вашего веб-сайта трудно понять Google. Это может означать, что видимого контента на вашем веб-сайте недостаточно, чтобы Google понял, что обычные (и доступные) страницы релевантны этим запросам. Поэтому он сначала порекомендовал бы выяснить, действительно ли поисковики находят те URL-адреса, которые заблокированы robots.txt. Если нет, то все должно быть в порядке. В противном случае вам, возможно, придется просмотреть другие части веб-сайта, чтобы понять, почему Google не может его понять.

21 февраля 2022 г.

Отсутствие индексации страниц с перенаправлением по географическому IP-адресу не идеально

Один пользователь спросил об использовании перенаправления по географическому IP-адресу в сочетании с тегами noindex . В примере были отдельные страницы, предназначенные для пользователей из разных мест, но с использованием тегов noindex, чтобы обеспечить индексацию только одной из них.

Джон упомянул, что Google обычно сканирует из одного места (в основном с использованием калифорнийского IP-адреса). Если IP-адрес направляет Google на один из URL-адресов, для которых вы установили значение noindex, это может привести к тому, что эти страницы не будут проиндексированы с полной остановкой. Поэтому этот подход не рекомендуется. Вместо этого вы должны сосредоточиться на том, чтобы упростить поиск контента для конкретного местоположения после того, как пользователь зашел на сайт.

27 января 2022

Показ меньшего количества контента для поисковых систем, чем для пользователей, не обязательно является проблемой маскировки

Джона спросили о веб-сайте, на котором было много неиндексированных страниц с ошибками HTTP. Они спросили, считается ли « маскировкой » показ пустой HTML-страницы ботам для деиндексации этих URL-адресов, при этом по-прежнему показывая пользователям страницу.

Джон упомянул, что часть «маскировки», которая является проблемой, заключается в том, что поисковые системы получают на больше или значительно другой контент, отличный от пользователей. Google не хочет обещать пользователям что-то, чего они не смогут найти при переходе на страницу по запросу. Однако отображение пустой страницы с noindex приведет к тому, что Google отбросит эти URL-адреса, и им будет все равно, увидят ли пользователи что-то другое, потому что страница не будет отображаться в результатах поиска.

17 ноября 2021 г.

Наличие высокого соотношения «неиндексируемых» и индексируемых URL-адресов может повлиять на возможность сканирования веб-сайта

Наличие неиндексируемых URL-адресов обычно не влияет на то, как Google сканирует остальную часть вашего веб-сайта — , если только у вас нет большого количества неиндексированных страниц, которые необходимо просканировать, чтобы получить небольшое количество индексируемых страниц.

Джон привел пример: если на веб-сайте есть миллионы страниц, 90% из которых без индекса , поскольку Google необходимо сначала просканировать страницу, чтобы увидеть без индекса , Google может увязнуть в сканировании миллионов страниц только для того, чтобы найти эти 100 индексируемых. Если у вас нормальное соотношение индексируемых и неиндексируемых URL-адресов, а индексируемые можно быстро обнаружить, он не видит в этом проблемы для сканирования. Это связано не с соображениями качества, а скорее с технической проблемой из-за большого количества URL-адресов, которые необходимо будет просканировать, чтобы увидеть, что там есть.

17 ноября 2021 г.

Ускорение повторного сканирования ранее не проиндексированных страниц путем временной ссылки на них на важных страницах URL-адреса, если сканирование замедлилось из-за более раннего наличия тега

noindex . В приведенном примере были ранее неиндексированных страниц продуктов, и Джон предложил разместить на них ссылку на пару недель через специальный раздел продукта на главной странице. Google увидит изменения внутренних ссылок, а затем просканирует эти URL-адреса, на которые есть ссылки. Это помогает показать, что они являются важными страницами по отношению к веб-сайту. Однако он также заявил, что если во внутренние ссылки будут внесены значительные изменения, это может привести к тому, что другие части вашего сайта, которые едва проиндексированы, выпадут из индекса — вот почему он предлагает использовать эти ссылки в качестве временной меры для их повторного сканирования. по обычному курсу, прежде чем изменить его обратно.

17 ноября 2021 г.

Если страница не индексируется в течение длительного периода времени, ее сканирование замедлится.

Если для страницы задано значение noindex в течение длительного времени, сканирование Google замедлится. Как только страница снова станет индексируемой, сканирование возобновится, но для первоначального повторного сканирования может потребоваться некоторое время. Он также упомянул, что отчеты Search Console могут показывать худшую ситуацию, чем она есть на самом деле, но вы можете использовать такие вещи, как карты сайта и внутренние ссылки, чтобы ускорить их повторное сканирование.

17 ноября 2021 г.

Чтобы лучше контролировать индексацию страниц, используйте теги noindex на страницах, а не теги nofollow для внутренних ссылок индексация. Вместо этого Джон предлагает добавить теги

noindex к страницам, которые вы не хотите индексировать, или вообще удалить внутренние ссылки на них.

1 ноябрь 2021 г.

Непроиндексированные страницы обычно не учитываются алгоритмами качества контента

Google уделяет особое внимание качеству проиндексированного контента. Если он не отображается в поиске, он вообще не учитывается.

30 октября 2021 г.

Разрешить индексацию одного варианта страниц категорий

В настоящее время у Google нет рекомендаций по индексированию различных версий страниц категорий, но он движется к рекомендации разрешить индексацию одной версии, например порядок сортировки, а альтернативные варианты с другими фильтрами и порядком сортировки не должны индексироваться. Если есть другие важные версии страниц категорий, вы также можете разрешить индексацию первой страницы в наборе.