Мета-тег Robots: Indexifembedded в Google (2022)

21 января 2022 года в Google Search Central Blog анонсировали новый мета-тег robots под названием indexifembedded. В статье ниже вы можете прочитать общие сведения о том, для чего он может пригодиться и как им пользоваться.

Приятного просмотра!

Мета-тег indexifembedded предоставляет издателям больше контроля и возможностей для индексации контента. С его помощью вы можете сообщить Google, что хотите проиндексировать контент, если он встроен с помощью iframe или схожих HTML-тегов на других страницах, даже если публикация с контентом содержит тег noindex.

Если говорить проще, он может использоваться, чтобы сделать индексируемым любой контент, встроенный на страницу из внешнего источника. Например, ваших видео или PDF, размещённых на других сайтах.

Кроме того, новый тег позволяет избавиться от распространённого недочёта, особенно актуального для издателей СМИ: слабого контроля над тем, как именно будет (и будет ли) индексироваться контент, встраиваемый на страницах третьих лиц.

Обычно в тех случаях, когда авторы хотят ограничить индексацию контента, они используют мета-тег noindex. Однако тег также предотвращает встраивание контента на других страницах во время индексирования. В итоге это может повлиять на видимость содержимого в поисковой системе Google, привести к возникновению ошибок или к потере ссылочного веса с других площадок в зависимости от того, как именно используется тег.

Новый тег robots, indexifembedded, работает в сочетании с тегом noindex только в том случае, если содержимое с noindex встроено на другой странице с помощью iframe или аналогичного HTML-тега, например, object.

Тестовый образец от Google Search Central: если страница podcast.host.example/playpage?podcast=12345 имеет одновременно тег noindex и indexifembedded, это позволит внедрить содержимое, размещённое на этой странице, в статью recipe.site.example/my-recipes.html

во время индексации.

Чтобы ваш контент индексировался только тогда, когда он внедрен на другие страницы, обязательно добавьте новый мета-тег в сочетании с noindex. Например:

<meta name="googlebot" value="noindex" />
<meta name="googlebot" value="indexifembedded" />
<!-- OR -->
<meta name="googlebot" value="noindex,indexifembedded" />

В качестве альтернативы вы можете указать тег в заголовке HTTP:

X-Robots-Tag: googlebot:noindex
X-Robots-Tag: googlebot:indexifembedded
...
OR
…
X-Robots-Tag: googlebot:noindex,indexifembedded

Главное ограничение мета-тега — это то, что на момент публикации он поддерживается только в Google. Поэтому использовать его для сайтов, заточенных под Яндекс или Bing, будет нецелесообразно.

Рекомендую самостоятельно проверять руководства поисковых систем, чтобы иметь достоверную информацию, поддерживают ли они  indexifembedded.

В том случае, если на вашем сайте преобладает трафик с Google, либо создаваемый вами контент часто используется на страницах третьих лиц (других сайтов, СМИ, социальных сетей), тег уже можно использовать, чтобы ускорить индексацию встроенного видео, фото, PDF, а также любого другого медиа контента.

Больше информации о возможностях и особенностях использования мета-тега можно узнать в аккаунте Google Search Central в Twitter и в комментариях к анонсу. Помимо этого, вы можете задать накопившиеся вопросы на форуме Google.

Понравилась статья?
Делитесь публикацией с друзьями, пишите комментарии, подписывайтесь на Telegram, Boosty и другие страницы, чтобы первыми видеть всё самое интересное!

Мета-теги Noindex: Как неиндексировать страницу

В ЭТОЙ СТАТЬЕ:

Это может показаться нелогичным, но не каждая страница вашего сайта должна отображаться в результатах поиска. Поисковая оптимизация (SEO) направлена ​​на повышение видимости в поиске и органического трафика, и иногда вы можете лучше всего достичь этой цели, ограничивая контент, который может отображаться в результатах поиска.

Если вы ломаете голову или разоблачаете мой блеф, читайте дальше, чтобы узнать о преимуществах отсутствия индексации страницы или подкаталога и о том, как реализовать теги noindex.

Что означает Noindex?

Термин «noindex» — это специальная директива в метатеге robots, которая указывает поисковым роботам исключить страницу из страниц результатов поисковой системы (SERP). Это означает, что искатели не смогут получить доступ к странице через поиск.

Важная часть любой технической стратегии SEO, метатеги robots позволяют вам исключать страницы, которые не представляют ценности для пользователей или содержат информацию, которую вы не хотите отображать в результатах поиска, например:

• Страницы подтверждения и благодарности
• Страницы входа
• Политика конфиденциальности или страница условий обслуживания
• Закрытый контент
• Сообщения об ошибках

Метатег Robots, Robots.txt и X-Robots Tag

Метатег Robots часто путают с файлом robots.txt и тегом x-robots. Все три дают инструкции поисковым роботам на страницах и являются частью протокола исключения роботов (REP). Проще говоря: они сообщают Google, что вводить в поиск Google, а что не включать в него, а также какие страницы следует сканировать. Однако они не могут и не должны использоваться взаимозаменяемо.

Метатег robots

Метатег robots добавляется в раздел определенной веб-страницы и передает инструкции только для этой конкретной страницы. Метатег robots, который часто называют тегом noindex или метатегом noindex, может сделать больше, чем просто указать поисковому роботу не индексировать страницу.

Его также можно использовать, чтобы попросить сканеров не переходить по ссылкам, перевести страницу, заблокировать определенного поискового бота или предотвратить появление кэшированной ссылки в поисковой выдаче.

Общие директивы метатегов robots включают:
• Noindex, nofollow —
  Googlebot и другие поисковые роботы могут получить доступ к странице, но они не должны индексировать ее или переходить по ссылкам.
• Noindex, follow —
  Googlebot и другие поисковые роботы могут получать доступ к странице и переходить по ссылкам на ней, но они не должны индексировать саму страницу. Вам не нужно включать «follow» в метатег, так как это значение по умолчанию.

Robots.txt

Robots.txt — это файл, который позволяет владельцам сайтов указывать поисковым системам, какие части их сайта не должны сканироваться. Это похоже на личную табличку «Не беспокоить» для вашего веб-сайта, которая висит в корневом каталоге вашего домена или поддомена.

Файл robots.txt лучше всего подходит для блокировки доступа и сканирования целых подкаталогов, а не отдельных страниц. Используйте его, чтобы заблокировать поисковым сканерам доступ и индексирование:

• Внутренние поисковые страницы
• Параметры URL
• Форумы, на которых спам, созданный пользователями, может вызвать проблемы
• Внутренние подкаталоги, например, предназначенные только для сотрудников

Выполните следующие действия, чтобы создать файл robots.txt и обязательно укажите ссылку на карту сайта в формате XML. .

Если вы ссылаетесь на страницу, включенную в файл robots. txt, вы также можете добавить к ней метатег robots, чтобы она не отображалась в результатах поиска. Помните: robots.txt блокирует доступ поисковых роботов к странице, но не ее индексацию. Если страницы, на которые распространяются ваши директивы robots.txt, получают внешние ссылки, поисковые системы могут их проиндексировать. Чтобы избежать этого, используйте метатег robots вместе с файлом robots.txt.

Тег X-Robots

Чтобы заблокировать PDF, видео или изображение от появления в поисковой выдаче, используйте тег x-robots. Те же самые директивы, указанные для метатегов robots, используются для x-robots. Однако, в отличие от метатега robots, который находится в заголовке HTML страницы, тег x-robots размещается в ответе заголовка HTTP.

Директива выглядит следующим образом:

  X-Robots-Tag: noindex  

Когда не индексировать страницу

Обуздать раздувание индекса

Раздувание индекса происходит, когда Google индексирует страницы, практически не представляющие ценности для поисковиков. Эти посторонние страницы отвлекают ресурсы от более ценных страниц. Используйте метатег robots, чтобы управлять тем, какие страницы будут отображаться в результатах поиска.

Искоренение каннибализации ключевых слов

Каннибализация ключевых слов происходит, когда две страницы имеют одинаковое ключевое слово и цель поиска, что заставляет их конкурировать друг с другом в поисковой выдаче.

Если у вас есть две страницы, поглощающие друг друга, и вы хотите сохранить обе без изменения их содержимого, не индексируйте одну. Тем не менее, вы должны делать это только в том случае, если страница, которую вы не индексируете, не привлекает трафик по ключевым словам, которых нет на другой странице. В такой ситуации вам может потребоваться переработать контент на одной или обеих страницах, чтобы решить проблему каннибализации.

Защита закрытых целевых страниц

Когда вы предлагаете ценный ресурс клиентам в обмен на контактную информацию, убедитесь, что он недоступен каким-либо другим способом. Добавьте метатег robots, чтобы не индексировать страницу, чтобы она не отображалась в поисковой выдаче.

Исключение непопулярных продуктов из поиска

Сайты электронной торговли часто предлагают товары для обслуживания определенных клиентов, даже если спрос на них не слишком велик. Например, у продавца автозапчастей или у другой технической компании могут быть товары для конкретных моделей или редкого оборудования. Если эти страницы продуктов или категорий не привлекают органического трафика, их можно вообще не индексировать.

Как запретить индексацию веб-страницы

Метатег noindex размещается в заголовке HTML-страницы. Код не чувствителен к регистру и выглядит следующим образом:

«Роботы» означает, что директива применима к любому сканеру, но вы можете выделить сканеры, заменив «роботы» с известными именами поисковых роботов, например «Googlebot» или «bingbot».

Поисковые роботы по-прежнему будут переходить по ссылкам на странице, если вы также не добавите команду nofollow. Вы можете сделать это, чтобы предотвратить прохождение ссылочного капитала через страницу или предотвратить переход сканера по ссылке на закрытый контент.

Чтобы добавить значение nofollow, отделите его от директивы noindex запятой.

Примечание: Прежде чем запретить индексирование страницы, проверьте наличие входящего органического трафика в Google Search Console. Если это так, определите, как ваш сайт может продолжать захватывать этот трафик, прежде чем не индексировать страницу.

Как добавить метатег Robots в HTML-код

1. Откройте исходный код страницы, которую вы хотите запретить индексировать.
2. Найдите заголовок вверху страницы. Он начинается с и заканчивается на. Вероятно, в заголовке будет и другой код.
3. Добавьте метатег robots в новую строку так, чтобы он отображался между тегами и.

Вот и все! Если ваша страница уже проиндексирована, вы можете попросить Google повторно просканировать ее, вставив ее URL-адрес в инструмент проверки URL-адресов.

Уже проиндексировано? Используйте инструмент для удаления URL

Когда вы добавляете тег noindex на новую страницу контента, робот Googlebot увидит директиву при сканировании страницы и не будет ее индексировать.

Однако, если вы добавляете тег на страницу, которая уже проиндексирована , страница будет отображаться в результатах поиска до тех пор, пока она не будет просканирована повторно и боты не увидят новые инструкции noindex. Вы можете попросить Google повторно просканировать URL-адрес в Google Search Console с помощью инструмента проверки URL-адресов, но он не удалит страницу из поисковой выдачи мгновенно.

Если вам нужно немедленно удалить страницу из поисковой выдачи, используйте инструмент удаления в Google Search Console. Это предотвратит появление страниц в результатах поиска Google примерно на шесть месяцев. К тому времени метатег noindex должен работать.

Как не индексировать страницу в WordPress

Каждая страница в WordPress индексируется по умолчанию. Вы можете использовать плагин Yoast SEO, чтобы не индексировать страницу в WordPress без написания кода. Вот как.

Перейдите на вкладку «Дополнительно» в мета-поле Yoast SEO.

Под вопросом «Разрешить поисковым системам показывать это сообщение в результатах поиска?» выберите «Нет» в раскрывающемся списке.

Хотя этот параметр предписывает Google не индексировать сообщение, боты по-прежнему будут автоматически переходить по ссылкам на странице для сканирования других страниц.

Если вы хотите добавить директиву nofollow, нажмите кнопку «Нет» под вопросом: «Должны ли поисковые системы переходить по ссылкам в этом сообщении?»

Вы можете ожидать, что Google, Bing и другие законные поисковые системы будут соблюдать метатег robots.

Могу ли я ссылаться на непроиндексированные страницы?

Да. Тег noindex сообщает поисковым роботам, как обрабатывать страницу при сканировании и индексировании. Это не влияет на вашу способность ссылаться на страницу. Это может быть полезно для страниц категорий в блоге, которые не должны отображаться в результатах поиска, но могут предоставить ботам ссылки на ценные страницы, которые должны.

Когда следует использовать метатег robots?

Если у вас есть страница, которая не представляет никакой ценности для пользователей, например страница благодарности или страница для печати, не индексируйте ее метатегом robots, чтобы она не отображалась в поисковой выдаче.

Когда не следует использовать директиву noindex?

Технически можно решить проблемы с дублированием контента и некоторые проблемы с краулинговым бюджетом с помощью директив noindex, но это не лучший способ. Дублированный контент лучше всего обрабатывается с помощью канонических тегов, которые концентрируют ссылочный вес дубликатов на каноническую страницу. Если вы пытаетесь сэкономить бюджет сканирования, вам следует использовать файл robots.txt, чтобы запретить сканирование этого раздела сайта.

Пропускают ли неиндексированные страницы ссылочный вес?

Да. Несмотря на то, что страница не проиндексирована, она все равно может делиться любым авторитетом ранжирования. Однако поисковые роботы должны иметь возможность переходить по ссылкам на странице, чтобы ссылочный вес проходил через них. Если для страницы установлены значения noindex и nofollow, она не может передать ссылочный вес.

При отсутствии индексации страница автоматически удаляется из поисковой выдачи Google?

Если ваша страница уже проиндексирована, добавление метатега robots не приведет к ее автоматическому удалению из результатов поиска. Чтобы страницы, которые уже проиндексированы, исчезли из поисковой выдачи, требуется некоторое время. Поисковым ботам необходимо повторно просканировать страницы, чтобы увидеть тег noindex. Чтобы получить более быстрые результаты, попросите Google повторно просканировать страницу и использовать инструмент для удаления URL.

Выявление проблемных страниц с помощью SEO-аудита

Не позволяйте неполноценному или дублированному контенту влиять на вашу видимость в поиске. Убедитесь, что вы даете своим страницам наилучшие шансы на ранжирование. Наш SEO-аудит, насчитывающий более 200 баллов, выявляет такие проблемы, как дублирование контента, отсутствие файла robots.txt, неправильное применение метатегов robots, раздувание индекса и многое другое. Запишитесь на бесплатную консультацию по SEO, чтобы узнать, как наша служба SEO-аудита может увеличить вашу видимость в Интернете и помочь вашему бизнесу расти.

НАЧНИТЕ РЕЙТИНГ СЕГОДНЯ

Получить бесплатную консультацию по SEO

Заполните форму для бесплатного анализа сайта.

 

Имя *


Фамилия *


Электронная почта компании *


Сколько вы хотите инвестировать в SEO? *
— Пожалуйста, выберите — Я еще не уверен / Мне нужна помощь с этим $2,999 — 5,000 / месяц $5,000 — 10,000 / месяц $10,000 — 20,000 / месяц $20,000+ / месяц

Как исправить ошибку отправленного URL с пометкой «NoIndex»? » Ранг Математика

В этой статье базы знаний мы обсудим, как исправить ошибку Представленный URL-адрес с пометкой «noindex» , которая появляется в консоли поиска Google.

Содержание

• Что означает эта ошибка?
• Проверка того, были ли URL-адреса помечены как «без индекса»
• URL-адрес страницы установлен на NoIndex правильно
• URL-адрес страницы неправильно установлен в NoIndex
• Final Words — проверьте исправление в Google Search Console

1 Что означает эта ошибка?

Если вы видите эту ошибку в разделе «Покрытие Google Search Console» или при проверке URL-адреса, это просто означает, что Google пытался проиндексировать страницу, но не смог этого сделать.

Почему? Ну, для начала — URL-адрес считался «отправленным», что означает, что он был указан в вашей карте сайта, но на странице также присутствует что-то, что указывает роботу Googlebot, что он не должен индексировать страницу. Это может быть простой noindex 9Метатег 0039 ( , который будет присутствовать в HTML-коде страницы ).

В результате страница не будет отображаться в результатах поиска, поэтому, если это сделано намеренно и вы не хотите, чтобы страница отображалась в поиске, то это не проблема. Но все же вам нужно выяснить, почему URL-адрес noindex присутствует в вашей текущей карте сайта.

С другой стороны, если эта страница должна быть проиндексирована, вы теряете потенциальный поисковый трафик. В любом случае вам нужно разобраться с этой проблемой, чтобы устранить ошибку, и следующие шаги помогут вам в этом.

2 Проверьте, были ли URL-адреса помечены как «без индекса»

Сначала откройте исходный код страницы URL-адреса, который был классифицирован этой ошибкой. Затем проверьте, содержит ли заголовок страницы метатег robots «noindex», как показано ниже.

После того, как вы подтвердите, что страница содержит метатег noindex, вам необходимо определить, правильно или неправильно помечена страница метатегом noindex. Исходя из этого, вы можете выполнить соответствующие шаги, описанные ниже.

3 URL-адрес страницы правильно задан как NoIndex

Если URL-адрес вашей страницы правильно настроен на noindex, но вы все еще видите эту ошибку, вероятно, Google не сканировал вашу страницу/карту сайта с момента внесения изменений.

3.1 Проверка доступности карты сайта

Поэтому вам следует проверить, может ли Google получить доступ к карте сайта вашего веб-сайта. Перейдите на карту сайта вашего сайта и проверьте, доступен ли он. Вы также можете использовать этот инструмент, чтобы проверить, доступна ли ваша карта сайта или выдает ли она ошибку. Если ваша карта сайта возвращает ошибку 404, вы можете обратиться к нашему руководству, чтобы исправить это.

Если ваша карта сайта недоступна по какой-либо другой причине, вы должны быть в состоянии понять это сейчас, чтобы вы могли разобраться в ней соответствующим образом.

3.2 Проверка кэширования карты сайта

Также возможно, что ваша карта сайта кэшируется, что повлияло бы на любые недавние изменения, отраженные в карте сайта. Вы можете обратиться к нашему специальному руководству по базе знаний, чтобы исключить кэширование вашей карты сайта.

3.3 Повторная отправка карты сайта в Google Search Console

После устранения проблемы с картой сайта удалите карту сайта из Google Search Console, а затем отправьте ее еще раз, как описано в этом руководстве.

4 URL-адрес страницы неправильно установлен на NoIndex

Если для вашей страницы был неправильно установлен noindex, вам следует изменить настройки Rank Math, чтобы добавить метатег index robots.

4.1 Check Rank Math Metabox

Начните с открытия термина записи/страницы/таксономии в редакторе WordPress. В случае редактора Gutenberg щелкните значок Rank Math SEO в правом верхнем углу страницы, чтобы открыть метабокс Rank Math.

Для классического редактора и терминов таксономии прокрутите страницу вниз, чтобы найти метабокс Rank Math.

Если метабокс Rank Math недоступен для вас, убедитесь, что вы включили Add SEO Controls из Rank Math > Titles & Meta Settings > Posts ( или другие соответствующие разделы ).

В появившемся на экране метаокне Rank Math выберите Вкладка Advanced . Если вкладка «Дополнительно» для вас недоступна, убедитесь, что вы переключились на расширенный режим в Rank Math. Если метаданные роботов установлены без индекса, просто выберите Index установите флажок, как показано ниже, и обновите страницу.

4.2 Проверка заголовков и мета-настроек Rank Math

Несмотря на то, что на предыдущем шаге вы можете изменить метатег noindex для определенных сообщений, вы все равно должны подтвердить, что noindex не был установлен в качестве значения по умолчанию в ваших заголовках и мета-настройках.

Итак, перейдите к Панель инструментов WordPress > Математика рангов > Заголовки и метаданные . Затем проверьте каждую вкладку и убедитесь, что настройки соответствуют вашим предпочтениям.

Если сообщения и таксономии, установленные как «noindex», соответствуют вашим предпочтениям, вы можете их игнорировать. Или, если вы считаете, что эти страницы приносят больше пользы вашим посетителям и нуждаются в индексации, вы можете проиндексировать эти страницы, выбрав соответствующий метатег «Индекс» для роботов, как показано ниже.

Примечание : по-прежнему рекомендуется установить для некоторых ссылок значение noindex, особенно для «Разное. Страницы», «Авторы», «Теги» и пустые страницы архива. В идеале вы не хотите, чтобы они индексировались, потому что это может создать проблемы с дублированием или недостаточным содержанием и ослабить авторитет вашего сайта.

После внесения изменений не забудьте нажать кнопку Сохранить изменения внизу страницы, чтобы изменения вступили в силу.

С учетом сказанного, эти изменения будут отражаться только в ваших будущих сообщениях, а не в существующих . Таким образом, если у вас есть существующие сообщения, установленные с неиндексом неправильно, вы можете изменить их на индекс с помощью метабокса, как обсуждалось на предыдущем шаге, или использовать массовые действия, чтобы внести изменения для нескольких сообщений за один раз.

4.3 Удаление NoIndex с помощью массовых действий PRO

Если на вашем веб-сайте для ряда сообщений случайно установлено значение noindex, вы можете использовать нашу функцию массовых действий, чтобы установить для них индексирование. Вот как это сделать.

Перейдите в меню WordPress Posts и в фильтре Rank Math, который появляется в правом верхнем углу экрана, выберите Articles Noindexed . Затем выберите параметр Filter , как показано ниже.

Теперь все ваши статьи с noindex будут отфильтрованы. Вы можете установить флажок вверху, чтобы выбрать все свои сообщения. Если вы хотите выбрать/отменить выбор определенных сообщений, флажок, появляющийся перед сообщениями, поможет вам в этом.

Затем в раскрывающемся списке массовых действий выберите Установить индекс . А затем нажмите Применить .

Теперь все выбранные вами сообщения будут индексироваться.

После внесения изменений вы можете проверить исходный код своей страницы, чтобы увидеть, был ли удален метатег noindex.

Примечание: Также можно массово редактировать метаданные о роботах ваших сообщений и страниц ( , а также сотрудничать с вашей командой ), используя функцию импорта и экспорта CSV в Rank Math. Вы можете обратиться к его выделенной базе знаний.

4.4 Видимость в поисковых системах

В дополнение к вышеуказанным шагам убедитесь, что в WordPress не установлен флажок Видимость в поисковых системах . Для этого перейдите в левую часть панели администратора WP > Настройки > Чтение.

Если этот параметр отмечен, то даже если для параметров Rank Math установлено значение Index, веб-сайт в целом будет помечен как NoIndex. Это может помешать поисковым системам индексировать все веб-страницы, даже если у вас есть хороший контент и релевантные ключевые слова.

5 Заключительные слова — проверьте исправление в Google Search Console

Наконец, убедитесь, что ваша карта сайта обновлена.