Представители Google про noindex
Noindex — это метод закрытия страницы от индексации. Страницу можно закрыть либо через тег meta name=robots с атрибутом content содержащим noindex, либо с помощью заголовка ответа сервера X-Robots-Tag содержащего noindex. На странице собраны ответы Google касающиеся noindex.
Можно использовать noindex или disallow для URL лицензии в Google Картинках
Некоторые сайты могут создавать уникальный URL-адрес лицензии для каждого изображения (если эти изображения имеют разные метаданные) хотя это не обязательно. Исполнение может отличаться в зависимости от CMS сайта, но всегда можно закрыть такие станицы от индексации через noindex и robots.txt и по-прежнему получать значок Licensable в поиске Google Картинки.
2020-04-14
Джон Мюллер, Google
Изменения nofollow для содержимого PDF такие же как и для HTML-страниц
Вы можете указать noindex для PDF-файла с помощью заголовка X-Robots-Tag вместе с любыми другими тегами в этом заголовке.
2020-03-31
Джон Мюллер, Google
Google со временем начинает игнорировать ссылки, размещенные на страницах с noindex
Если на страница закрыта от индексации с помощью noindex, то Google со временем начнет игнорировать ссылки с неё. Если у вас есть страницы, на которые ссылаются только страницы с noindex, то Google может посчитать их не важными.
2020-03-17
Джон Мюллер, Google
Google может рассматривать страницы с noindex как вариацию страницы 404 ошибки
Google может рассматривать страницу с noindex как версию страницы 404 ошибки и обрабатывать её соответствующе.
Если вы хотите, чтобы такие страницы были повторно проиндексированы, вы должны сообщить Google, что они изменились, например, посредством отправки их в файле sitemap с датой последнего изменения lastmod.
2020-03-06
Джон Мюллер, Google
Размещение не имеет смысла, так как это значение по умолчанию
Размещение тега на странице никак не влияет на поиск, так как это значение по умолчанию, и Google просто проигнорирует его. Но, нет смысла удалять его, разве что ради чистки лишнего HTML-кода на странице.
2020-01-21
Джон Мюллер, Google
Не существует риска передачи сигнала noindex канонической странице от не канонической
Если страница размечена как noindex и содержит canonical ведущий на индексируемую страницу, то она не передаст сигнал noindex основной канонической странице.
2019-12-10
Джон Мюллер, Google
Настройка noindex не закроет файл от сканирования Google
Настройка X-Robots-Tag со значением noindex для XML карты сайта никак не повлияет на её сканирование Google. Вы также можете использовать этот заголовок ответа сервера для файлов CSS стилей, так как это не отразится не их обработке Google, но зато предотвратит их появление в результатах поиска.
2019-10-18
Джон Мюллер, Google
Как использовать новый тег indexifembedded Google, что это
В Январе developers Google на своих страницах представил разработчикам новый тег robots — indexifembedded. Данный тег, по словам Гугла, позволит более гибко отстраивать индексирование контента. Будем тестировать…
Этим тегом мы сообщаем боту, что некий фрагмент контента нужно индексировать несмотря на то, что он размещается на странице закрытой в noindex (т.
е. под запретом индексации).
Как работает тег indexifembedded? …подробнее о нюансах, которые, как известно, есть всегда:
Новый тег будет полезен админам сайтов, которые имеют цель, чтобы проиндексировался только встроенный фрагмент контента, но не полная страница, и к тому же, придется кстати, если контент публикуется, к примеру, на независимом сайте. Новый тег indexifembedded решает задачу, когда noindex окончательно запрещает вставку и индексирование контента на других страницах или сайтах.
Разделы статьи:
- Как работает тег indexifembedded
- как использовать тег indexifembedded в связке с noindex
Как работает тег indexifembedded
Чтобы правильно, а , главное — полезно, использовать тег indexifembedded важно понимать, что он отработает в паре с noindex исключительно в случае, если контент на другую встраивается через iframe либо object.
Ну или какие-то аналоги HTML варианты тегов.
К примеру, есть некая страница с адресом:
podcast.host.example/playpage?podcast=12342
…и на этой странице применяются оба noindex и indexifembedded тега, то это обусловит то обстоятельство, что бот Google, во время сканирования, увидит и проиндексирует требуемый блок контента, когда тот размещен где-то на: site.example/my-recipes.html
к оглавлениюкак использовать тег indexifembedded в связке с noindex
Чтобы дать разрешения боту индексирование контента, только если тот встроен на другие страницы/сайт, необходимо нужно использовать новый тег indexifembedded вкупе с известным noindex.
Метастроки пишутся примерно так:
<meta name="googlebot" value="noindex" /> <meta name="googlebot" value="indexifembedded" /> <!— OR (или же так:) —> <meta name="googlebot" value="noindex,indexifembedded" />
или в заголовке HTTP — header:
X-Robots-Tag: googlebot:noindex X-Robots-Tag: googlebot:indexifembedded или: X-Robots-Tag: googlebot:noindex,indexifembedded
В настоящее время, новый тег поддерживается (распознается) только Google роботами.
Подробности здесь:
Другие известные поисковые системы пока никакой информации о его поддержке разработчикам не предоставляют.
Как работать с условными тегами WP: пример на странице пагинации — закрываем в noindex,follow
…вопросы в комментариях — помогу, в чём дюжу…
mihalica.ru !
Михаил ATs — владелец блога запросто с Вордпресс — в сети нтернет давным-давно…
…веб разработчик студии ATs media: помогу в создании, раскрутке, развитии и целенаправленном сопровождении твоего ресурса в сети… — заказы, вопросы… разработка…
Исключено тегом NoIndex — Статус консоли поиска Google » Rank Math
Тег NoIndex указывает Google не индексировать определенную страницу на вашем веб-сайте.
Это может быть полезно, если у вас есть страница, которую вы не хотите, чтобы люди находили в результатах поиска.
Тег NoIndex на странице будет отображаться как « Excluded by NoIndex Tag » в отчете о статусе Google Search Console и в отчете о статусе индекса Rank Math’s Analytics.
Если вы хотите, чтобы люди могли найти эту страницу, вам нужно удалить тег noindex.
Не волнуйтесь! В этой статье базы знаний мы объясним, что означает это сообщение, и дадим советы, как его исправить.
Статус исключено по тегу noindex означает, что Google обнаружил тег noindex на вашей странице. Это может быть вызвано рядом причин:
- Возможно, вы случайно добавили тег noindex на свою страницу.
- Возможно, вы случайно включили параметр «Не поощрять поисковую систему» в настройках WordPress.
- Подключаемый модуль или скрипт сайта может добавить на ваши страницы тег noindex.
- Возможно, ваш сайт был взломан, и хакер мог добавить на ваши страницы тег noindex.
Если вы хотите, чтобы люди могли найти эту страницу, вам нужно удалить тег noindex. Мы покажем вам, как это сделать в следующем разделе.
Первый шаг — определить все страницы вашего веб-сайта, на которые влияет это сообщение о состоянии.
Для этого перейдите в раздел Pages Google Search Console и нажмите Not indexed , как показано ниже.
Затем нажмите на статус «Исключено по тегу noindex».
Это покажет вам список всех страниц вашего веб-сайта, затронутых этой проблемой.
После того, как вы определили страницы, которые хотите проиндексировать, вам необходимо удалить с этих страниц тег NoIndex.
Кроме того, вы можете проверить статус индекса на вкладке Rank Math > Analytics > Index Status . На этой вкладке вы получите реальные данные/статус ваших страниц и их присутствие в Google.
Кроме того, вы можете отфильтровать статус индекса сообщения, используя раскрывающееся меню.
Когда вы выбираете определенный статус, скажем, Исключено тегом «noindex» , вы сможете увидеть все сообщения, которые имеют один и тот же индексный статус.
Чтобы исправить этот статус, вы можете выполнить соответствующие шаги, описанные ниже.
1 Check Rank Math Metabox
Начните с открытия термина записи/страницы/таксономии в редакторе WordPress. В случае редактора Gutenberg щелкните значок Rank Math SEO 9.0006 в правом верхнем углу страницы, чтобы открыть метабокс Rank Math.
Для классического редактора и терминов таксономии прокрутите страницу вниз, чтобы найти метабокс Rank Math.
Если метабокс Rank Math недоступен для вас, вам необходимо убедиться, что вы включили Add SEO Controls из Rank Math > Titles & Meta Settings > Pages ( или другие соответствующие разделы ).
Затем в появившемся на экране метаокне Rank Math выберите Вкладка «Дополнительно» .
Если вы не можете найти вкладку «Дополнительно», включите расширенный режим из Rank Math > Dashboard .
Затем вам нужно проверить, установлено ли для метаданных роботов значение No Index , затем просто установите флажок Index , как показано ниже, и обновите страницу/публикацию.
2 Проверьте заголовки и метанастройки Rank Math
Хотя предыдущий шаг позволяет вам изменить метатег noindex для определенных сообщений/страниц, вы все равно должны подтвердить, что noindex не был установлен в качестве значения по умолчанию в ваших Заголовки и настройки Meta .
Для этого перейдите на вкладку Rank Math > Titles & Meta и дважды проверьте каждый раздел, чтобы убедиться, что настройки соответствуют вашим предпочтениям.
Если сообщения и страницы, отмеченные как «без индекса», соответствуют вашим предпочтениям, вы можете игнорировать их. Или, если вы считаете, что эти страницы приносят больше пользы вашим посетителям и нуждаются в индексации, вы можете проиндексировать эти страницы, выбрав соответствующий метатег «Индекс» для роботов, как показано ниже.
Примечание: По-прежнему рекомендуется установить для некоторых ссылок значение noindex, особенно для «Misc. Страницы», «Авторы», «Теги» и пустые страницы архива. В идеале вы не хотите, чтобы они индексировались, потому что это может создать проблемы с дублированием или недостаточным содержанием и ослабить авторитет вашего сайта.
После внесения изменений нажмите кнопку Сохранить изменения внизу страницы.
С учетом сказанного, эти изменения отразятся только в ваших будущих сообщениях, а не в существующих. Так что если у вас есть старые посты с неправильным значением noindex — не волнуйтесь! Просто измените его на Index с помощью Metabox, как обсуждалось ранее, или используйте массовые действия для нескольких разных сообщений одновременно, чтобы все они обновлялись вместе.
3 Удаление NoIndex с помощью массовых действий
Если вы хотите быстро изменить значение NoIndex для нескольких разных сообщений одновременно, вы можете использовать массовые действия.
Это удобный способ внести изменения во многие сообщения без необходимости редактирования каждого по отдельности.
Чтобы сделать это, перейдите в меню WordPress Posts и в фильтре Rank Math, который появляется в правом верхнем углу экрана, выберите Articles Noindexed . Затем выберите параметр Filter , как показано ниже.
Теперь вы увидите все сообщения, для которых установлено значение NoIndex. Чтобы быстро изменить это для всех сообщений, установите флажок рядом с заголовком каждого сообщения.
Затем в раскрывающемся меню Массовые действия выберите Установить индекс и нажмите кнопку Применить.
Теперь это изменит значение noindex для всех этих сообщений на Index, и вы можете проверить это с помощью Metabox, как и раньше.
4 Видимость в поисковых системах
Последнее место, где можно установить значение noindex для ваших сообщений WordPress, — это настройки видимости в поисковых системах.
Это полезная функция, поскольку она позволяет быстро и легко изменить видимость всего вашего веб-сайта всего за несколько кликов.
Чтобы получить к нему доступ, перейдите в «Настройки » > «Чтение » на панели управления WordPress. На этой странице вы увидите раздел Видимость для поисковых систем с флажком Запретить поисковым системам индексировать этот сайт .
Если этот флажок установлен, это означает, что для вашего веб-сайта установлено значение noindex, и это будет применяться ко всем вашим сообщениям и страницам. Чтобы изменить это, просто снимите флажок и нажмите кнопку Сохранить изменения в нижней части экрана.
Вот и все! Мы надеемся, что эта статья помогла вам узнать, как исправить статус Excluded by NoIndex Tag в Google Search Console. Если это не поможет, вы можете связаться с нашей службой поддержки, и мы всегда более чем рады ответить на все ваши вопросы и проблемы.
Как Google справляется с директивами Noindex — Советы по поисковой оптимизации
Директива rel=”noindex” используется для указания поисковым системам не включать страницу в свой индекс, чтобы предотвратить ее появление в результатах поиска.
В приведенных ниже примечаниях о рабочих часах SEO объясняется использование этой директивы, а также дополнительные рекомендации, составленные на основе сеансов Google в рабочие часы и реальных примеров.
Подробнее о директивах noindex читайте в нашей статье: Noindex, Nofollow и Disallow.
Используйте новый метатег robots «indexifembedded» для управления индексацией встроенного контента.
Пользователь спросил, как заблокировать отдельное индексирование встроенных видео. Джон рекомендует использовать новый «indexifembedded» тег роботов (в сочетании со стандартными тегами noindex robots), чтобы контролировать, какие версии встроенных видео индексируются.
21 июля 2022 г.
Если URL-адреса, заблокированные файлом robots.txt, индексируются Google, это может указывать на недостаточное содержание доступных страниц сайта. txt (и иметь канонический) по-прежнему индексируется Google? Поможет ли добавление тега
noindex ? Джон ответил, что тег noindex в этой ситуации не поможет, так как блокировка robots.
txt означает, что Google его не увидит.Он указал, что в этой ситуации URL-адреса могут быть проиндексированы без контента (поскольку Google не может сканировать их с помощью блока в robots.txt), но вряд ли они будут отображаться для пользователей в поисковой выдаче, поэтому не должны вызывать вопросы. Далее он упомянул, что если вы видите, что эти заблокированные URL-адреса возвращаются для практических запросов, то это может быть признаком того, что остальную часть вашего веб-сайта трудно понять Google. Это может означать, что видимого контента на вашем веб-сайте недостаточно, чтобы Google понял, что обычные (и доступные) страницы релевантны этим запросам. Поэтому он сначала порекомендовал бы выяснить, действительно ли поисковики находят те URL-адреса, которые заблокированы robots.txt. Если нет, то все должно быть в порядке. В противном случае вам, возможно, придется просмотреть другие части веб-сайта, чтобы понять, почему Google не может его понять.
21 фев.
2022
Отсутствие индексации страниц с перенаправлением по географическому IP-адресу не идеально
Один пользователь спросил об использовании перенаправления по географическому IP-адресу в сочетании с тегами noindex . В примере были отдельные страницы, предназначенные для пользователей из разных мест, но с использованием тегов noindex, чтобы обеспечить индексацию только одной из них.
Джон упомянул, что Google обычно сканирует из одного места (в основном с использованием калифорнийского IP-адреса). Если IP-адрес направляет Google на один из URL-адресов, для которых вы установили значение noindex, это может привести к тому, что эти страницы не будут проиндексированы с полной остановкой. Поэтому этот подход не рекомендуется. Вместо этого вы должны сосредоточиться на том, чтобы упростить поиск контента для конкретного местоположения после того, как пользователь зашел на сайт.
27 января 2022 г.
Показ меньшего количества контента для поисковых систем, чем для пользователей, не обязательно является проблемой маскировки
Джона спросили о веб-сайте, на котором было много неиндексированных страниц с ошибками HTTP.
Они спросили, считается ли « маскировкой » показ пустой HTML-страницы ботам, чтобы деиндексировать эти URL-адреса, но при этом показывать пользователям страницу.
Джон упомянул, что часть «маскировки», которая является проблемой, заключается в том, что поисковые системы получают на больше или значительно другой контент , чем пользователи. Google не хочет обещать пользователям что-то, чего они не смогут найти при переходе на страницу по запросу. Однако отображение пустой страницы с noindex приведет к тому, что Google отбросит эти URL-адреса, и им будет все равно, увидят ли пользователи что-то другое, потому что страница не будет отображаться в результатах поиска.
17 ноября 2021 г.
Наличие высокого соотношения «неиндексируемых» и индексируемых URL-адресов может повлиять на возможность сканирования веб-сайта
Наличие неиндексируемых URL-адресов обычно не влияет на то, как Google сканирует остальную часть вашего веб-сайта — , если только у вас нет большого количества неиндексированных страниц, которые необходимо просканировать, чтобы достичь небольшого числа индексируемых страниц.
Джон привел пример: если веб-сайт содержит миллионы страниц, 90% из которых без индекса , так как Google необходимо сначала просканировать страницу, чтобы увидеть без индекса , Google может увязнуть в сканировании миллионов страниц только для того, чтобы найти эти 100 индексируемых. Если у вас нормальное соотношение индексируемых и неиндексируемых URL-адресов, а индексируемые можно быстро обнаружить, он не видит в этом проблемы для сканирования. Это связано не с соображениями качества, а скорее с технической проблемой из-за большого количества URL-адресов, которые необходимо будет просканировать, чтобы увидеть, что там есть.
17 ноября 2021 г.
Ускорение повторного сканирования ранее не проиндексированных страниц путем временной ссылки на них на важных страницах URL-адреса, если сканирование замедлилось из-за более раннего наличия тега
noindex . В приведенном примере были ранее неиндексированных страниц продуктов, и Джон предложил разместить на них ссылку на пару недель через специальный раздел продукта на главной странице.
Google увидит изменения внутренних ссылок, а затем просканирует эти URL-адреса, на которые есть ссылки. Это помогает показать, что они являются важными страницами по отношению к веб-сайту. Однако он также заявил, что если во внутренние ссылки будут внесены значительные изменения, это может привести к тому, что другие части вашего сайта, которые едва проиндексированы, выпадут из индекса — вот почему он предлагает использовать эти ссылки в качестве временной меры для их повторного сканирования. по обычному курсу, прежде чем изменить его обратно.17 ноября 2021 г.
Если страница не индексируется в течение длительного периода времени, сканирование замедлится.
Если для страницы задано значение noindex в течение длительного времени, сканирование Google замедлится. Как только страница снова станет индексируемой, сканирование возобновится, но для первоначального повторного сканирования может потребоваться некоторое время. Он также упомянул, что отчеты Search Console могут показывать худшую ситуацию, чем она есть на самом деле, но вы можете использовать такие вещи, как карты сайта и внутренние ссылки, чтобы ускорить их повторное сканирование.
17 ноября 2021 г.
Чтобы лучше контролировать индексацию страниц, используйте теги noindex на страницах вместо тегов nofollow во внутренних ссылках
Добавление тегов rel=»nofollow» к внутренним ссылкам не рекомендуется в качестве способа контроля индексация. Вместо этого Джон предлагает добавить теги noindex к страницам, которые вы не хотите индексировать, или вообще удалить внутренние ссылки на них.
1 ноябрь 2021 г.
Неиндексированные страницы, как правило, не учитываются алгоритмами качества контента
Google уделяет особое внимание качеству проиндексированного контента. Если он не отображается в поиске, он вообще не учитывается.
30 октября 2021 г.
Разрешить индексацию одного варианта страниц категорий
В настоящее время у Google нет рекомендаций по индексированию различных версий страниц категорий, но он движется к рекомендации разрешить индексацию одной версии, например порядок сортировки, а альтернативные варианты с другими фильтрами и порядком сортировки не должны индексироваться.