Meta tag robots noindex: Meta Robots Tag [noindex, nofollow] | Дропшиппинг

Содержание

Метатег robots и HTTP-заголовок X-Robots-Tag

Вы можете указать роботам правила загрузки и индексирования определенных страниц сайта одним из способов:

прописать метатег robots в HTML-коде страницы в элементе head;
настроить HTTP-заголовок X-Robots-Tag для определенного URL на сервере вашего сайта.

Примечание. Если страница запрещена в файле robots.txt, то директива метатега или заголовка не действует.

По умолчанию метатег и заголовок учитываются поисковыми роботами. Можно указать директивы для определенных роботов.

Поддерживаемые Яндексом директивы
Указание нескольких директив
Указания для определенных роботов

Разрешающие директивы используются роботом по умолчанию, поэтому их можно не указывать, если нет других директив. В сочетании с запрещающими директивами разрешающие имеют приоритет. Пример.

Роботы других поисковых систем и сервисов могут иначе интерпретировать директивы.

Пример:

Запись, которая запрещает индексирование страницы.

<html>
    <head>
        <meta name="robots" content="noindex" />
    </head>
    <body>...</body>
</html>

HTTP-ответ, где заголовок запрещает индексирование страницы.

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
X-Robots-Tag: noindex

Вы можете указать директивы через запятую.

<meta name="yandex" content="noindex, nofollow" />

Вы можете передать несколько заголовков в одном ответе, а также перечислить директивы через запятую.

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
X-Robots-Tag: noindex, nofollow
X-Robots-Tag: noarchive

Если для робота Яндекса указаны противоречивые директивы, то он учтет положительное значение. Пример с директивами метатега:

<meta name="robots" content="all"/>
<meta name="robots" content="noindex, follow"/>
<!--Робот выберет значение all, текст и ссылки будут проиндексированы.-->
<meta name="robots" content="all"/>
<meta name="robots" content="noarchive"/>
<!--Текст и ссылки будут проиндексированы, но в результатах поиска не будет ссылки 
на сохраненную копию страницы.-->

Указать директиву только для роботов Яндекса можно с помощью метатега robots. Пример:

<meta name="yandex" content="noindex" />

Если вы перечислите общие директивы и директивы для роботов Яндекса, то поисковая система учтет все указания.

<meta name="robots" content="noindex" />
<meta name="yandex" content="nofollow" />

Такие директивы робот Яндекса воспримет как noindex, nofollow.

Мета-тег Robots | SEO-портал

Мета-тег Robots должен содержать инструкции для поисковых роботов по отношению к веб-странице, на которой он указан.

Видео по теме

Для чего нужен мета-тег Robots?

Указание данного мета-тега, в зависимости от используемых в нем значений, может обеспечить запрет или разрешение поисковым роботам на На основании информации из баз данных формируются результаты поисковой выдачи.<div class="seog-tooltip-more-link"><a href="/baza/indeksatsiya">Подробнее</a></div> »>индексирование веб-страницы, на переход по ссылкам, размещенным на данной странице, для последующей индексации, или на комбинацию данных инструкций.

С помощью файла robots.txt можно запретить Сканирование веб-страниц предшествует их индексированию и попаданию в поисковую выдачу.»>сканирование определённых страниц и каталогов сайта, однако это не гарантирует того, что данные страницы не будут проиндексированы, т. к. <div class="seog-tooltip-more-link"><a href="/terminy/robot">Подробнее</a></div> »>роботы могут попасть на неё по внешним ссылкам. С помощью мета-тега Robots можно точно указать роботу, что данную страницу не следует индексировать.

Корректные инструкции мета-тега Robots гарантированно исполняются роботами поисковых систем по отношению к веб-странице.

Как прописать мета-тег Robots?

Как и другие мета-теги в HTML, Meta Robots указывается в блоке head веб-страницы и должен содержать два обязательных атрибута name и content:

<head>
<meta name="robots" content="all" />
<head>

Атрибут Name мета-тега Robots

Важно знать, что атрибут name не обязательно должен содержать значение robots: в нём можно указывать название конкретного робота, для которого указана инструкция в атрибуте. Если указывается значение robots, то инструкция в атрибуте content предназначается для всех поисковых роботов. Таким образом, можно комбинировать инструкции для определённых роботов с помощью нескольких мета-тегов на одной веб-странице:

<head>

<!-- Запрет индексирования страницы для всех роботов: -->
<meta name="robots" content="noindex" />

<!-- Разрешение индексирования страницы роботу Яндекса: -->
<meta name="yandex" content="index" />

</head>

Отметим, что в 99.9% случаев мета-тег Robots содержит общие для всех роботов инструкции и прибегать к использованию нескольких мета-тегов нет необходимости.

Директивы мета-тега Robots

В качестве значения атрибута content указывается одна или несколько директив (инструкций), перечисленных через запятую. Существуют общие директивы, понятные всем поисковым роботам, а также директивы, понятные только роботам определённых поисковых систем.

Общие директивы

В таблице представлены директивы мета-тега Robots, понятные роботам Яндекса и Google.

Универсальные директивы мета-тега Robots
Директива	Значение
all	Используется по умолчанию. Означает, что в отношении веб-страницы не предусмотрены исключающие правила для роботов.
noindex	Запрещает индексирование (отображение в поисковой выдаче) веб-страницы.
nofollow	Запрещает переход по ссылкам на веб-странице.
none	Запрещает индексирование и переход по ссылкам на веб-странице.
noarchive	Запрещает выводить ссылку на сохраненную копию веб-страницы в Существует 3 вида <span>сниппетов</span>: контекстные объявления, стандартные <span>сниппеты веб-страниц</span>, а также <span>особые сниппеты</span> (колдунщики, навигационные ответы и т. д.).<div class="seog-tooltip-more-link"><a href="/terminy/snippet">Подробнее</a></div> »>сниппете поисковой выдачи.

Директивы для Google

В таблице ниже представлены директивы, понятные только роботам Google.

Директивы мета-тега Robots для Google
Директива	Значение
nosnippet	Запрещает отображать фрагмент содержания страницы в поисковой выдаче, размещенный под заголовком сниппета.
notranslate	Запрещает отображать предложение перевести страницу в сниппете.
noimageindex	Запрещает индексировать изображения на странице.
unavailable_after:[date]	Запрещает отображать страницу в поисковой выдаче после указанного в формате RFC 850 времени.
nositelinkssearchbox	Запрещает отображение поля поиска по сайту в поисковой выдаче.

Директивы для Яндекса

Кроме общих для всех роботов директив, робот Яндекса способен учитывать отдельную директиву noyaca, запрещающую использовать описание из Яндекс.Каталога при формировании сниппета поисковой выдачи:

<meta name="yandex" content="noyaca" />

Комбинирование директив

В качестве значения атрибута content в мета-теге Robots можно применять комбинации директив, перечисляя их через запятую. Рассмотрим на примерах.

Значение «index, follow» или «all»

Для разрешения индексирования и перехода по ссылкам можно не указывать мета-тег Robots совсем, или использовать следующие значения:

<!--отсутствие мета-тега-->
<!--или-->
<meta name="robots" content="index, follow" />
<!--или-->
<meta name="robots" content="all" />

Значение «noindex, nofollow» или «none»

Для запрета индексирования страницы и перехода по ссылкам на ней можно применять следующие значения:

<meta name="robots" content="noindex, nofollow" />
<!--или-->
<meta name="robots" content="none" />

Значение «noindex, follow»

Если страницу не следует отображать в поисковой выдаче, но можно её сканировать на предмет ссылок, то применяется комбинация директив noindex, follow:

<meta name="robots" content="noindex, follow" />

Значение «index, nofollow»

Если страницу следует отображать в поисковой выдаче, но не следует переходить по ссылкам на ней, то применяется комбинация index, nofollow:

<meta name="robots" content="index, nofollow" />

Тег noindex и атрибут nofollow: что это такое

Тег noindex введен поисковой системой Яндекс. Он предназначен для закрытия от индексации роботами ссылки или части html кода на странице. Имеет следующую структуру:

<noindex> ссылка или часть кода, которые необходимо скрыть, </noindex>

Данный тег не чувствителен к вложенности и может быть размещен в любой части кода. Поисковые машины, кроме Яндекса, воспринимают команду в качестве невалидной. Если валидность кода важна, тег оформляется следующим образом:

<!—noindex—> текст <!—/noindex—>

Функции:

Тег noindex позволяет:

повысить релевантность страницы поисковым запросам за счет уменьшения доли второстепенной информации и увеличения плотности ключевых слов,
скрыть дублирующийся контент, за использование которого может последовать пессимизация сайта в выдаче Яндекса,
сохранять статический вес страниц и управлять его передачей, так как закрытие одних ссылок пропорционально увеличивает вИЦ оставшихся,
улучшить сниппет. Если в ходе раскрутки сайта в его текстовое описание в выдаче попадает ненужная информация со страницы, ее закрывают от индексации,
скрыть от роботов лишние данные (коды счетчиков, ссылки на сайты с постоянно изменяющейся информацией и т. д.).

Nofollow

Атрибут nofollow не оказывает влияния на индексацию ссылок, но сообщает поисковым роботам, что вес данного линка равен нулю. При продвижении сайта это позволяет сохранить его PR и тИЦ, которые на указанную страницу не передаются. Поисковые боты (кроме googlebot) по ссылке переходят. Атрибут поддерживают Google, Yahoo и Яндекс (с 30 апреля 2010 года). Структура написания параметра следующая: анкор ссылки

Атрибут nofollow используют для ссылок на все сайты, которым не требуется передавать TrustRank ресурса-донора. Для внутренней перелинковки прием не применяется.

Noindex и nofollow позволяют закрыть от индексацию не только отдельную ссылку, но и всю страницу (прописываются внутри нее или в файле robots.txt):

или

<html>
<head>
<meta content=”nofollow”/>
<title>Заголовок данной страницы</title>
</head>

Nofollow и noindex могут использоваться совместно:

<noindex><a rel=»nofollow» href=»http://example. ru»> анкор ссылки</a></noindex>.

В таком случае поисковый робот Google ссылку проигнорирует, а Яндекса не увидит.

Другие термины на букву «N»

Совпадений не найдено

Все термины SEO-Википедии

Теги термина

Мета-тег vs robots.txt — CodeRoad

Лучше ли использовать meta tags* или файл robots.txt для информирования пауков/искателей о включении или исключении страницы?
Есть ли какие-либо проблемы с использованием как мета-тегов, так и robots.txt?

*Eg: <#META name="robots" content="index, follow">

seo robots.txt meta-tags
Поделиться Источник keruilin 27 июля 2010 в 21:39
11 ответов
Как вы динамически редактируете robots.
txt в среде с балансировкой нагрузки?
Похоже, нам скоро придется начать балансировку нагрузки на наши веб-серверы. У нас есть запрос функции для динамического редактирования robots.txt, что не является проблемой для одного хоста-однако как только мы запустим наш балансировщик нагрузки-похоже, мне придется передать файл на другой…
Какие правила действуют в отсутствие robots.txt?
Должна ли поисковая система не сканировать веб-сайт, на котором нет robots.txt? Редактирование 1: Что делать, если даже мета-тег роботов отсутствует? Я пытаюсь определить законность, связанную с этим. Вот и все.

47

Есть одно существенное отличие. Согласно Google , они все равно будут индексировать страницу за robots.txt DENY, если страница связана с другим сайтом.

Однако они этого не сделают, если увидят метатаг:
Хотя Google не будет сканировать или индексировать контент, заблокированный robots. txt, мы все равно можем найти и индексировать запрещенный URL из других мест в интернете. В результате адрес URL и, возможно, другая общедоступная информация, такая как якорный текст в ссылках на сайт, все еще могут появляться в результатах поиска Google. Вы можете полностью запретить своему URL появляться в результатах поиска Google, используя другие методы блокировки URL, такие как защита паролем файлов на вашем сервере или использование мета-тега noindex или заголовка ответа .
Поделиться user2696762 19 августа 2013 в 14:27

4

Оба они поддерживаются всеми искателями, которые уважают пожелания веб-мастеров. Не все так делают, но против них ни одной техники недостаточно.
Вы можете использовать правила robots.txt для общих вещей, таких как запрет целых разделов вашего сайта. Если вы говорите Disallow: /family , то все ссылки, начинающиеся с /family , не индексируются искателем.
Мета-тег может быть использован для запрета одной страницы. Страницы, Запрещенные метатегами, не влияют на подстраницы в иерархии страниц. Если у вас есть тег meta disallow на /work, он не мешает искателю получить доступ к /work/my-publications , если на разрешенной странице есть ссылка на него.
Поделиться
jmz 27 июля 2010 в 21:50

3

Robots.txt IMHO.
Опция Meta tag говорит ботам не индексировать отдельные файлы, в то время как Robots.txt можно использовать для ограничения доступа ко всем каталогам.
Конечно, используйте мета-тег, если у вас есть нечетная страница в индексированных папках, которую вы хотите пропустить, но в целом я бы рекомендовал вам большую часть вашего неиндексированного контента в одной или нескольких папках и использовать robots.txt, чтобы пропустить много.
Нет, нет проблем в использовании обоих — если есть столкновение, в общих чертах, отказ отменит разрешение .
Поделиться CJM 27 июля 2010 в 21:49
Wordpress удалить роботы мета-тег noindex
наблюдается странная проблема с wordpress сайтов мета-тег Robots. Все страницы имеют следующий мета тег и мы не можем его удалить <meta name=robots content=noindex,follow/> Мы сняли флажок Discourage search engines from indexing this site в настройках > чтение > видимость поисковой системы,…
Должен ли я удалить мета-роботов (index, follow), когда у меня есть robots.txt?
Я немного запутался, должен ли я удалить мета-тег роботов, если хочу, чтобы поисковые системы следовали моим правилам robots.txt. Если мета-тег роботов (index, follow) существует на странице, будут ли поисковые системы игнорировать мой файл robots.txt и индексировать указанный запрещенный URLs в…

1

Существует очень большая разница между meta robot и robots. txt.
В robots.txt мы спрашиваем искателей, какую страницу вы должны сканировать и какую вы должны исключить,но мы не просим искателя не индексировать эти исключенные страницы из обхода.
Но если мы используем тег meta robots, мы можем попросить поисковые роботы не индексировать эту страницу. Тег, который будет использоваться для этого, является:
<#meta name = «имя робота», content = «noindex»> (удалить #)
OR
<#meta name = «имя робота», content = «follow, noindex» > (удалить #)
Во втором метатеге я попросил робота следовать этому URL, но не индексировать его в поисковой системе.
Поделиться Abhishek Kaushik 18 июля 2014 в 12:23

1

Вот мои знания о них. Я говорю об их рабочей зоне. И то, и другое мы можем использовать для блокировки контента.
Разница между ними такова:
Мета-робот может заблокировать одну страницу с помощью какого-то фрагмента кода, вставленного в заголовок сайта. Используя метатег робота, мы сообщаем поисковой системе, для какой функции мы используем метатег.
В файле Robots.txt вы можете заблокировать весь сайт целиком.
Вот пример мета робота:
<meta name="robots" content="index, follow"> <meta name="robots" CONTENT="all"> <meta name="robots" content="noindex, follow"> <meta name="robots" content="noindex, nofollow"> <meta name="robots" content="index, nofollow" /> <meta name="robots" content="noindex, nofollow" />
Вот пример файла Robots.txt:
Разрешение искателям сканировать весь веб-сайт
user-agent: * Allow: Disallow:
Запрещение сканерам сканировать весь веб-сайт
user-agent: * Allow: Disallow:/
Поделиться Tripti Rajput 04 марта 2019 в 13:47

0

Я бы, вероятно,использовал robots. txt поверх тега meta . Robots.txt существует дольше и может быть более широко поддержан (но я не уверен в этом).
Что касается второй части, я думаю, что большинство пауков возьмут любую наиболее ограничительную настройку для страницы — если есть несоответствие между robots.txt и метатегом.
Поделиться Mitch Dempsey 27 июля 2010 в 21:42

0

Robots.txt хорош для страниц, которые потребляют большую часть вашего бюджета обхода, таких как внутренний поиск или фильтры с бесконечной комбинацией. Если вы позволите Google индексировать yoursite.com/search=lalalala , это потратит ваш ползучий бюджет.
Поделиться Mathilde Joly 23 января 2014 в 17:03

0

мета превосходит.
Для того, чтобы исключить отдельные страницы из индексов поисковых систем, мета-тег noindex является на самом деле превосходит robots. txt.
Поделиться user2513846 15 февраля 2014 в 16:57

0

Вы хотите использовать ‘noindex,follow’ в метатеге роботов , а не robots.txt , потому что это позволит соку ссылки пройти через него. Это лучше с точки зрения SEO.
Поделиться Jérôme Verstrynge 12 августа 2014 в 18:31

0

Лучше ли использовать meta tags* или файл robots.txt для информирования пауков/искателей о включении или исключении страницы?
Ответ: и то, и другое важно использовать, они используются для разных целей. Файл Robots используется для включения или исключения страниц или корневых файлов из индекса spider. В то время как мета-теги используются для анализа страницы веб-сайта, которая определяет его нишу & контента внутри страницы.
Есть ли какие-либо проблемы с использованием как мета-тегов, так и robots.txt?
Ответ: оба должны быть реализованы на сайтах так, чтобы пауков поисковых систем/роботов может индексировать или индексировать URL-адреса.
Подробнее о работе пауков поисковой системы читайте здесь >> https:/ / www.playbuzz.com/alexhuber10 / how-search-and-spider-engines-work
Поделиться Alex Huber 23 июля 2019 в 11:07

-1

Вы можете иметь любой из них, но если ваш сайт имеет много веб-страниц, то robots.txt легко и уменьшает сложность времени
Поделиться James Andreson 20 августа 2013 в 07:20
Похожие вопросы:

Какие мета-теги я могу использовать на своей странице, чтобы остановить ее индексацию?
Есть ли для этого какие-то мета-теги? Я продолжаю получать Google индексировать свои страницы входа в систему и регистрации. Я попытался вставить что-то в robots.txt, но, похоже, он уже давно не…

Мета-тег Viewport для настольных браузеров?
Мой клиент просит меня уменьшить размер текущего веб-сайта для настольных браузеров на 30%. есть ли css или мета-тег, чтобы сделать это, как мета-тег viewport в мобильном браузере?

Мета-тег в html
Может ли кто-нибудь сказать мне, почему мы используем мета-тег в html

Как вы динамически редактируете robots.txt в среде с балансировкой нагрузки?
Похоже, нам скоро придется начать балансировку нагрузки на наши веб-серверы. У нас есть запрос функции для динамического редактирования robots.txt, что не является проблемой для одного хоста-однако…

Какие правила действуют в отсутствие robots.txt?
Должна ли поисковая система не сканировать веб-сайт, на котором нет robots.txt? Редактирование 1: Что делать, если даже мета-тег роботов отсутствует? Я пытаюсь определить законность, связанную с…

WordPress удалить роботы мета-тег noindex
наблюдается странная проблема с wordpress сайтов мета-тег Robots. Все страницы имеют следующий мета тег и мы не можем его удалить <meta name=robots content=noindex,follow/> Мы сняли флажок…

Должен ли я удалить мета-роботов (index, follow), когда у меня есть robots.txt?
Я немного запутался, должен ли я удалить мета-тег роботов, если хочу, чтобы поисковые системы следовали моим правилам robots.txt. Если мета-тег роботов (index, follow) существует на странице, будут…

Роботы Мета и robots.txt
Я использую условный оператор в моем заголовке php, чтобы исключить некоторые файлы из того, чтобы за ними следовали роботы. Однако временно я должен заблокировать некоторые из этих страниц, потому…

Как захватить мета-тег
Я пытаюсь написать функцию для заполнения значения мета-тега с помощью JavaScript. это мой мета тег; <meta my-data-id=home> и сценарий я попробовал….

Аргумент noindex в robots.txt
Я всегда запрещал google индексировать мой сайт с помощью файла robots.txt. Недавно я прочитал статью от сотрудника google, где он заявил, что вы должны сделать это с помощью мета-тегов. Значит ли…
Что такое meta name robots?
Всем привет. В предыдущей статье я рассказывал про тег <noindex> и атрибут nofollow тега <a>, но в отдельную тему я решил вынести мета-тег robots с атрибутом content=”noindex,nofollow”.
Индексация страниц с точки зрения SEO имеет огромное значение и необходимо владеть базовыми техническими знаниями в SEO. Поэтому сегодня я расскажу вам про мета-тег robots, про который не знают многие оптимизаторы.
Что такое meta name robots?
Прошу не путать с robots.txt, так как это совершенно разные файлы. Meta robots необходим, а Robots.txt призван для того чтобы создавать правила индексирования страниц для поисковых роботов.
Чтоб было нагляднее давайте разберем на примере:
Это пример файла robots.txt

User-agent: *

Disallow: /admin/

Clean-Param: utm_source&utm_medium&utm_campaign

Crawl-Delay: 0.5

Sitemap: https://website.ru/sitemap.xml

Host: https://website.ru

Читайте в нашем блоге: Rel Canonical – как правильно использовать
Кстати, совсем недавно написал полноценную статью про правильную настройку robots.txt
Вот это пример мета-тега robots с атрибутами name и content

<meta name=”robots” content=”noindex, follow” />

Как вы видете синтаксис довольно прост + параметры данного тега нечувствительны к регистру. Можно написать и в таком формате

<META NAME=”ROBOTS” CONTENT=”NOINDEX, FOLLOW” />

В принципе синтаксис мы уже увидели. Данный тег должен располагаться в разделе <head> тут</head> и нигде больше! Но использовать данный тег можно несколько раз на странице.
Список параметров мета-тега name robots:
Для всех поисковых систем
index – позволяет индексировать текст страницы
noindex – не индексировать текст страницы
follow – индексировать ссылки на этой странице
nofollow – не индексировать ссылки на этой странице
all – индексировать текст и ссылки на странице
none — не индексировать текст и ссылки на странице
noarchive – не показывает ссылку на сохраненную копию на странице поисковой системы
Только для Яндекса:
noyaca – не использовать описание Яндекс Каталога в результатах выдачи Яндекса
Только для Google:
nosnippet – не использует фрагмент содержания в результах поиска Google
noodp – не использует описание из каталогов ODP/DMOZ в результатах поиска Google
unavailable_after:[date]: — возможность указать точную дату и время, когда необходимо прекратить индексирование страницы
noimageindex – не использует картинки сайта в качестве источника ссылки, которая отображается в поисковой системе Google
Если тег meta name robots отсутствует на страницы, то мы автоматически разрешаем роботу индексировать текст и ссылки на странице.
Читайте в нашем блоге: Яндекс Вебмастер — Полное руководство
Итак, разберем каждый пример отдельно

<meta name=”robots” content=”noindex” />

Этот пример позволит закрыть от индексации текст страницы, но будет учитывать все ссылки на сайте и соответственно проиндексирует их. Та же ситуация произойдет если, мы добавим follow

<meta name=”robots” content=”noindex, follow” />

Разницы нет, писать можно так и так.
Если мы хотим полностью закрыть страницу от индексации через тег meta name, то есть два способа:

<meta name=”robots” content=”noindex, nofollow” />

И <meta name=”robots” content=”none” />

(Также можно использовать на странице тег noindex и и атрибут nofollow)
Оба варианта позволят роботу не учитывать текст и ссылки на странице.
<meta name=”robots” content=”all” />
Этот тег учитывает все ссылки и текст
Далее я расскажу в каких случаях использовать.
Использование meta name robots
Когда нужен robots.txt, а когда meta name robots?
Плюсы meta name robots.txt
Данный файл мы можем указывать, когда необходимо закрыть целые разделы, несколько страниц от индексации поисковых роботов. Причем, чтобы запретить раздел, мы прописываем это только одной строкой и если мы хотим разрешить индексирование одной страницы, то добавляем дополнительно строку.
В принципе более подробно про robots.txt я рассказал здесь.
Мета-тег name robots в этом случае проигрывает, потому что невозможно указать данный тег на весь раздел (придется выставлять отдельно на каждой странице, что очень неудобно и затратно).
Ну в целом и все. Главное, что мы выигрываем время.
Теперь разберем, когда лучше всего использовать meta name robots.
1. Страница в разработке.
Допустим, вы не до конца доделали страницу и в дальнейшем планируете его закончить, тогда вы можете внести ее на сайт, но попросить поисковую систему не индексировать эту страницу. В дальнейшем, когда страница будет готова, вы удалите этот тег.
Тег будет выглядеть так:

<meta name=”robots” content=”none” />2. Дублированный контент.

Если вы не знаете, то архивы, ярлыки создают дублирование контента. Но закрывать эти страницы от индексации полностью необязательно. Достаточно, тег meta name robots с запретом индексации текста, но индексацию ссылок не трогать.

<meta name=”robots” content=”noindex,follow” />

Ответы на вопросы
Что будет, если использовать одновременно meta name robots и robots.txt ?
Поисковой системе без разницы что вы используете для управления индексацией (файлом robots.txt или мета тегом robots). Важно чтобы эти элементы не противоречили друг другу. Поэтому будьте внимательны.
Читайте в нашем блоге: Как не сделать говносайт
Яндекс про meta robots.txt
Прочитал у Яндекса интересную заметку в справке:
“Если мета-теги не указаны, робот считает, что они имеют положительное значение (index, follow, archive). Если робот обнаруживает конфликт между тегами, выбирается именно положительное значение.
Пример:

<meta name=»robots» content=»all»/>

<meta name=»robots» content=»noindex, follow»/>

<!—Робот выберет значение all, текст и ссылки будут проиндексированы.—>

Исключение — атрибут all не влияет на noarchive:

<meta name=»robots» content=»all»/>

<meta name=»robots» content=»noarchive»/>

<!—Текст и ссылки будут проиндексированы, но в результатах поиска не будет ссылки
на сохраненную копию страницы.—> “
Google про мета-тег robots
Интересную информацию я нашел в справочнике Гугла:
Чтобы заблокировать большую часть поисковых роботов, добавьте следующий метатег в раздел <head> веб-страницы:

<meta name=»robots» content=»noindex»>

Если вы хотите закрыть доступ к странице только роботам Google, используйте такой код:

<meta name=»googlebot» content=»noindex»>

Другие поисковые системы могут иначе интерпретировать атрибут noindex на странице и показывать ее в результатах поиска.
По поводу ноуиндекс ничего нового мы не узнали, но зато я увидел вот что! В атрибуте name указано значение googlebot, а это говорит о том, что можно использовать различных поисковых ботов. Это я увидел в англоязычном справочнике Гугла.

Вот что пишет справочник Google
Странно здесь одно, что в справочнике Яндекса никакой информации про это я не увидел.
Заключение
Конечно, не стоит закрывать все ссылки на сайте, обязательно ссылайтесь на полезные ресурсы для посетителя и никаких nofollow, noindex вам не понадобится. Потому что роль данных тегов важна с точки зрения индексации, но не с точки зрения продвижения вашего сайта. Ну к примеру, я не использовал данный тег и мои сайты ранжировались нормально. Это скорее некая дополнительная фича к robots.txt.
Не злоупотребляйте спамными техниками и прочими черными методами продвижения сайтов и старайтесь не слушать биржи о покупке ссылок и волшебном продвижении в ТОП 10, и ничего за это вам не будет. Поймите – их цель продать вам продукт и они будут вливать вам как можно больше воды. Можно продвигать сайт без них, есть конкретные кейсы и примеры (точнее без покупки ссылок), ну а в сегодняшней статье всё.
Оставляйте вопросы в комментариях, а пока у меня к вам несколько вопросов:
Как вы используете meta-robots name?
Используете ли вы различных ботов (googlebot, googlebotnews) для запрета индексации той или иной страницы?
Управление мета тегом Robots из панели Joomla

Вступление
Считается, и так на самом деле, не все поисковики «видят», а вернее, «подчиняются» директивам в файле Robots.txt. Обычно это малоизвестные, но очень «вредные» поисковые машины. Многие веб-мастера, а вернее некоторые, закрывают от поисковиков страницы и/или разделы сайта при помощи мета тегов Robots. На CMS Joomla добавление мета тегов Robots в заголовок страниц сайта автоматизировано.
Немного теории
META-теги это атрибуты HTML, в которых можно указать (задать) информацию не для посетителей сайта, так называемую информацию служебного пользования. Обращена такая информация к поисковым роботам и браузерам.
Есть два атрибута, которые могут иметь МЕТА-теги:
В этой статье «HTTP-EQUIV» нас не интересует, а вот «METANAME» это по нашей теме.
Синтаксис атрибута META NAME
Посмотрим на синтаксис атрибута [METANAME]. Синтаксис [METANAME] не сложен:
<META NAME=»значение-атрибута» CONTENT=»содержание»>
Значениями атрибута могут быть:
Robots;

Description;

Keywords;

document-state;

GOOGLEBOT;

Author и др.

Как вы понимаете, нас интересует атрибут Robots, который обращен к поисковым роботам и управляет индексацией страниц сайта.
Синтаксис мета тега с атрибутом Robots таков:
<meta name=»Robots» content=»директива»>, где директива это, команда поисковикам по поведению в индексации страницы.
Примечание: Любой мета-тег нужно размещать, ТОЛЬКО, в заголовке HTML страницы, между тегами заголовка <head></head>. Как следствие, мета тег <meta name=»Robots» content=»директива»> будет работать, только для той страницы (страниц) в заголовок которых он помещен. Это нам понадобится для дальнейшего понимания, про Управление мета тегом Robots из панели Joomla.
Директивы МЕТА-тег Robots
Директива, а проще говоря, инструкция для поисковых роботов, указывает поисковикам, глобальные правила индексации страницы, где размещен этот тег. Основных директив четыре:
[Index]- не ограниченная индексация.

[Follow]-неограниченный обход всех внешних и внутренних ссылок, которые есть в документе.

[Noindex] и [Nofollow]- запрещена индексация и обход ссылок соответственно.

Дополнительных директив две:
[All] соответствует Index, Follow;

[None] соответствует Noindex, Nofollow.

Специальных директив несколько:
[noarchive] без ссылки на сохраненную копию;

[noyaca] без описания из Яндекс каталога;

[noodp] без DMOZ описания.

Примечание: Последние три читает Яндекс поисковик. В CMS Joomla дополнительные атрибуты не используются.
Мета тег name=»Robots» и файл Robots.txt
Вам наверняка знаком файл Robots.txt, который помещают в корневой каталог сайта и директивами в этом сайте управляют индексацией отдельных и групп страниц (разделов) сайта. Читать статью: Как использовать файл robots.txt на Joomla 3. Возникает вопрос, а как взаимодействуют директивы мета-тага Robots и директивы файла Robots.txt. Очень просто. Поисковик читает мета тег Robots и при встрече противоречащей директивы в файле Robots.txt её игнорирует.
Важно! Используя инструменты взаимодействия (управления) поисковыми роботами, нужно понимать, что не все роботы восприимчивы к сторонним командам, и некоторые из них, обычно малоизвестные, не «читают» ни мета теги Robots, ни файл Robots.txt.
Однако, расширенный синтаксис директив в файле Robots.txt, позволяют более конкретно «объяснять» поисковикам, как индексировать страницы сайта.
Управление мета тегом Robots на Joomla
Пора переходить, на управление мета тегом Robots из панели Joomla.
Чтобы каждый раз не ставить «ручками» мета теги Robots.txtна страницы сайта, в CMS Joomla предусмотрены инструменты такой вставки. Смотрим их в административной панели:
1. Мета теги Robots для всего сайта: Система→Общие настройки→
2. Мета теги Robots для разделов: Менеджер категорий→Категория→Публикация
3. Мета теги Robots для страниц (статей): Создать материал→Публикация
4. Настройки Мета тега Robots по умолчанию: берутся из Общих настроек. В завершении напомню,
Как закрыть отдельную ссылку от обхода и часть статьи от индексации
Чтобы закрыть отдельную ссылку от обхода и её учета используем синтаксис: <a href=»/url» rel=»nofollow»>текст ссылки</a>.

Чтобы закрыть часть текста от индексации поисковиком Яндекс, используем синтаксис: <!—noindex—>текст, запрещенный к индексации<!—/noindex—>

если забыть поставить закрывающий тег <!—/noindex—>, Яндекс проигнорирует весь после <!—noindex—>.

©Joomla3-x.ru
Другие статьи по теме: Оптимизация Joomla 3

Мета-теги — Help Mail.ru. Информация для веб-мастеров
Робот Mail.ru учитывает содержание следующих тегов, размещенных в коде страницы сайта:
<meta name=»Keywords» content=»…»/> — может учитываться при определении соответствия страницы поисковым запросам;

<meta name=»Description» content=»…»/> — содержание данного тега используется в сниппетах;

<meta http-equiv=»Content-Type» content=»type; charset=…»/> — значения этого тега определяют тип документа и его кодировку;

<meta http-equiv=»refresh» content=»N;url=_адрес цели перенаправления_»/> — перенаправление пользователя на страницу с адресом url, после N секунд нахождения на данной странице. При небольших значениях N считается временным перенаправлением, аналогичным серверным редиректам с HTTP-кодом 302/303/307.

Также робот Mail.ru учитывает в тегах такие указания, как:
<meta name=»robots» content=»all»/> — индексация текста и ссылок на странице аналогично <meta name=»robots» content=»index, follow»/>;

<meta name=»robots» content=»noindex»/> — запрет на индексирование текста страницы;

<meta name=»robots» content=»nofollow»/> — запрет на индексирование ссылок на странице. Однако, такие страницы все равно могут быть проиндексированы, если где-то еще на них указаны ссылки без nofllow.

<meta name=»robots» content=»none»/> — запрет на индексирование текста и ссылок на странице аналогично <meta name=»robots» content=»noindex, nofollow»/>

<meta name=»robots» content=»noarchive»/> — запрет на показ ссылки на сохраненную копию на странице результатов поиска.

Если в коде страницы не указаны мета-теги, то робот считает, что по умолчанию они имеют «положительные» значения. В случаях конфликтов между тегами робот делает выбор в пользу значения по умолчанию.
Пример:
<meta name="robots" content="all"/> <meta name="robots" content="noindex, follow"/>
Поскольку тут противоречащие теги, то робот отдаст предопчтение значению all, т.е. текст и ссылки будут проиндексированы.
Тег со значением all не распространяется на noarchive.
Пример:
<meta name=»robots» content=»all»/> <meta name=»robots» content=»noarchive»/>
Текст и ссылки будут проиндексированы, но ссылки на сохраненную копию в результатах поиска не будет.
полное руководство • Yoast
Джоно Алдерсон
Джоно — цифровой стратег, технолог по маркетингу и разработчик полного цикла. Он занимается техническим SEO, новыми технологиями и стратегией бренда.
Если вы используете мета-тегов роботов на своих страницах, вы можете дать поисковым системам инструкции о том, как вы хотите, чтобы они сканировали или индексировали части вашего веб-сайта. На этой странице представлен обзор всех различных значений, которые могут быть в метатеге роботов, их функций и поисковых систем, поддерживающих каждое значение.
Различные значения метатегов роботов
Следующие значения («параметры») могут быть размещены отдельно или вместе в атрибуте content тега (через запятую), чтобы управлять тем, как поисковые системы взаимодействуют с вашей страницей.
Прокрутите вниз, чтобы увидеть, какие поисковые системы поддерживают определенные параметры.
индекс
Разрешить поисковым системам добавлять страницу в свой индекс, чтобы люди могли ее обнаружить.
Примечание: Если нет директив, относящихся к индексированию, предполагается, что это значение по умолчанию.
noindex
Запретить поисковым системам добавлять эту страницу в свой индекс и, следовательно, запретить им показывать ее в своих результатах.
Примечание: Неофициальные сообщения от Google предполагают, что если для страницы задано значение noindex в течение длительного периода времени, ее также можно рассматривать, как если бы она была также установлена на nofollow .Точный механизм этого неясен, и неясно, ведут ли другие поисковые системы аналогично.
подписаться на
Сообщает поисковым системам, что они могут переходить по ссылкам на странице, чтобы обнаружить другие страницы.
Примечание: Если нет директив, относящихся к следующим ссылкам, предполагается, что это значение по умолчанию.
nofollow
Указывает роботам поисковых систем не «поддерживать» (передавать капитал). любые ссылок на странице.Обратите внимание, что сюда входят всех ссылок на странице, включая, например, ссылки в элементах навигации, ссылки на изображения или другие ресурсы и т. Д.
Примечание: Неясно (и несовместимо между поисковыми системами), запрещает ли этот атрибут поисковым системам переходить по ссылкам или просто не дает им присваивать какое-либо значение этим ссылкам.
нет
Ярлык для noindex, nofollow .
все
Ярлык для индекса , следуйте за .
Примечание: Предполагается по умолчанию на всех страницах и ничего не делает, если указано.
noimageindex
Запретить поисковым системам индексировать изображения на странице.
Примечание: Если изображения связаны напрямую из других источников, поисковые системы все равно могут их индексировать, поэтому использование HTTP-заголовка X-Robots-Tag, как правило, является лучшей идеей.
без архива
Запрещает поисковым системам показывать кэшированную копию этой страницы в своих списках результатов поиска.
нокаш
То же, что noarchive , но используется только MSN / Live.
№
№
Запрещает поисковым системам показывать текст или фрагмент видео (т. Е. Метаописание ) этой страницы в результатах поиска, и запрещают им показывать кэшированную копию этой страницы в своих списках результатов поиска.
Примечание: фрагменты могут по-прежнему отображать миниатюры изображения, если также не используется noimageindex .
нос. Ссылкиsearchbox
Запрещает поисковой системе отображать встроенное окно поиска для вашего сайта.
nopagereadaloud
Запрещает поисковой системе читать вслух содержимое вашей страницы с помощью голосовых служб / результатов.
notranslate
Запрещает поисковым системам показывать перевод страницы в результатах поиска.
max-snippet: [номер]
Устанавливает максимальное количество символов для метаописания.
Примечание: Пропуск этого тега может привести к предполагаемому значению 0 . Значение по умолчанию -1 должно означать «без ограничений».
max-video-preview: [номер]
Устанавливает максимальное количество секунд для видео при предварительном просмотре.
Примечание: Пропуск этого тега может привести к предполагаемому значению 0 . Значение по умолчанию -1 должно означать «без ограничений».
max-image-preview: [настройка]
Задает максимальный размер изображения для использования при предварительном просмотре ( нет , стандартный или большой ).
Примечание: Пропуск этого тега может привести к предполагаемому значению none .
рейтинг
Указывает, что страница содержит материалы для взрослых.
unavailable_after
Сообщает поисковым системам дату / время, после которых они не должны показывать это в результатах поиска; «синхронизированная» версия noindex .
Примечание: должен быть в формате RFC850 (например, понедельник, 15 августа 05 15:52:01 UTC ).
ноябрь
Запрещает фрагменту результатов поиска использовать описание страницы из Справочника Яндекса.
Примечание: Поддерживается только Яндекс.
~~нойдир~~
Запрещает Yahoo использовать описание этой страницы в каталоге Yahoo в качестве фрагмента для вашей страницы в результатах поиска.
Примечание: Поскольку Yahoo закрыл свой каталог, этот тег устарел, но время от времени вы можете встретить его.
Какая поисковая система поддерживает какие значения метатегов роботов?
В этой таблице показано, какие поисковые системы поддерживают какие значения.Обратите внимание, что документация, предоставляемая некоторыми поисковыми системами, скудна, поэтому есть много неизвестных.
Стоимость роботов Google Yahoo Bing Спросите Baidu Яндекс
Элементы управления индексированием
индекс Я * Я * Я * ? Y Y
noindex Y Y Y ? Y Y
noimageindex Y N N ? N N
Следует ли переходить по ссылкам
следовать Я * Я * Я * ? Y Y
nofollow Y Y Y ? Y Y
нет Y ? ? ? N Y
все Y ? ? ? N Y
Элементы управления фрагментом / предварительным просмотром
нет архива Y Y Y ? Y Y
нокаш N N Y ? N N
носниппет Y N Y ? N N
nositelinkssearchbox Y N N N N N
nopagereadaloud Y N N N N N
notranslate Y N N ? N N
max-snippet: [number] Y Y N N N N
max-video-preview: [номер] Y Y N N N N
max-image-preview: [настройка] Y Y N N N N
Разное
рейтинг Y N N N N N
недоступен_после Y N N ? N N
лапша N Y ** Y ** ? N N
нойдир N Y ** N ? N N
Нояка N N N N N Y
^{* Большинство поисковых систем не имеют специальной документации для этого, но мы предполагаем, что эта поддержка для исключения параметров (например,g., nofollow ) подразумевает поддержку положительного эквивалента (например, следует за ).}
^{** Хотя атрибуты noodp и noydir все еще могут «поддерживаться», эти каталоги больше не существуют, и вполне вероятно, что эти значения ничего не делают.}
Правила для конкретных поисковых систем
Иногда вам может потребоваться предоставить конкретные инструкции определенной поисковой системе , но не другим. Или вы можете предоставить разные поисковые системы совершенно разные инструкции.
В этих случаях вы можете изменить значение атрибута content для конкретной поисковой системы (например, googlebot ).
Примечание. Учитывая, что поисковые системы просто игнорируют инструкции, которые они не поддерживают или не понимают, очень редко нужно использовать несколько метатегов роботов для установки инструкций для определенных поисковых роботов.
Конфликтующие параметры и файлы robots.txt
Важно помнить, что мета-теги robots работают иначе, чем инструкции в вашем файле robots.txt, и конфликтующие правила могут вызвать неожиданное поведение. Например, поисковые системы не смогут увидеть ваши метатеги , если страница заблокирована через robots.txt .
Вам также следует позаботиться о том, чтобы не задавать конфликтующие значения в вашем метатеге robots (например, использовать оба параметра index и noindex ), особенно если вы устанавливаете разные правила для разных поисковых систем. В случае конфликта обычно выбирается наиболее ограничительная интерпретация (т.е., «не показывать» обычно лучше «показывать»).
Добавить noindex или nofollow в сообщение или страницу очень просто, если вы используете WordPress. Прочтите, как использовать Yoast SEO, чтобы сообщения не появлялись в результатах поиска.
Ресурсы из поисковых систем
Страницы веб-роботов
О теге
роботов
В двух словах
Вы можете использовать специальный тег HTML, чтобы запретить роботам индексировать содержание страницы и / или не сканировать его на предмет наличия ссылок.
Например:
...
При использовании тега robots следует учитывать два важных момента:
роботы могут игнорировать ваш тег. Особенно вредоносные роботы, которые сканируют Интернет на наличие уязвимостей в системе безопасности и сборщики адресов электронной почты, используемые спамерами не обратит внимания.
директива NOFOLLOW применяется только к ссылкам на этой странице.Это вполне вероятно, что робот найдет те же ссылки на других страница без NOFOLLOW (возможно, на каком-то другом сайте), и так далее попадает на вашу нежелательную страницу.
Не путайте это NOFOLLOW с rel = «nofollow» атрибут ссылки.
Детали
Как и /robots.txt, robots META tag является стандартом де-факто. Он возник в результате встречи «птиц пера» в 1996 году. распределенный семинар по индексированию, и он был описан в заметках о совещании.
Тег META также описан в HTML Спецификация 4.01, Приложение B.4.1.
Остальная часть этой страницы дает обзор того, как использовать роботов. Теги на ваших страницах с некоторыми простыми рецептами. Чтобы узнать больше, см. Также FAQ.
Как написать метатег для роботов
Куда девать
Как и любой тег, он должен быть помещен в раздел HEAD HTML-кода. page, как в примере выше. Вы должны поместить его на каждую страницу своего сайт, потому что робот может найти глубокую ссылку на любой страницу на вашем сайте.
Что в него положить
Атрибут «ИМЯ» должен быть «РОБОТЫ».
Допустимые значения атрибута CONTENT: «ИНДЕКС», «НОИНДЕКС», «СЛЕДУЮЩИЕ», «НЕ СЛЕДУЕТ». Допускается несколько значений, разделенных запятыми, но очевидно, только некоторые комбинации имеют смысл. Если нет тег роботов, по умолчанию — «INDEX, FOLLOW», так что нет необходимости объяснять это. Остается:

Руководство по тегам
Meta Robots на 2021 год
Meta Robots Tags вкратце
Мета-теги роботов — важный инструмент для улучшения сканирования и индексации поисковой системы, а также для управления вашими сниппетами в поисковой выдаче.
В этой статье мы объясним, как это сделать, как интерпретация и поддержка различаются для разных поисковых систем и как метатег robots связан с X-Robots-Tag и файлом robots.txt.
Метатег robots дает владельцам сайтов возможность контролировать сканирование и индексацию поисковыми системами, а также то, как их фрагменты отображаются на страницах результатов поисковых систем (SERP).
Метатег robots входит в раздел вашего HTML и является лишь одним из существующих там метатегов.
Пожалуй, самый известный метатег роботов — это тот, который сообщает поисковым системам не индексировать страницу:

Вы можете предоставить те же инструкции, включив их в заголовок HTTP с помощью X-Robots-Tag. X-Robots-Tag часто используется для предотвращения индексации не-HTML-контента, такого как PDF-файлы и изображения.
Директивы мета-роботов
Мы предпочитаем говорить о мета-директивах роботов вместо мета-тегов роботов , потому что называть их «мета-тегами роботов» некорректно (см. «Анатомию мета-элемента» ниже).
Осторожно с роботами lingo
Директивы Meta robots не следует путать с директивами robots.txt. Это два разных способа общения с поисковыми системами о различных аспектах их поведения при сканировании и индексировании. Но они влияют друг на друга, как мы увидим далее в статье.
Анатомия метаэлемента
Давайте воспользуемся примером мета-директивы роботов, упомянутым выше, чтобы объяснить, что к чему:
Весь фрагмент кода называется метаэлементом .
и /> - это открывающий и закрывающий теги.
Есть атрибут с именем , имя и значение robots . robots применяется ко всем поисковым роботам, но может быть заменен конкретным пользовательским агентом.
Затем есть атрибут content со значением noindex, после . noindex, следующие могут быть заменены другими директивами.
Во-первых, директивы мета-роботов дают вам столь необходимый контроль над сканированием и индексированием поисковыми системами.Без какого-либо направления поисковые системы будут пытаться сканировать и индексировать весь контент, с которым они сталкиваются. Это их поведение по умолчанию.
Во-вторых, поисковые системы будут генерировать сниппет для ваших URL-адресов при их ранжировании. Они принимают ваше метаописание в качестве входных данных, хотя часто вместо этого предлагают свой собственный фрагмент - на основе содержания вашей страницы - если они думают, что он будет работать лучше.
Проверяйте свои мета-директивы роботов
Быстро узнайте, правильно ли настроены ваши мета-директивы для роботов!
Теперь давайте рассмотрим несколько применений директив мета-роботов для защиты вашей SEO-эффективности:
Предотвратите проблему дублирования контента, применив директиву meta robots noindex к целевым страницам PPC и страницам результатов поиска на сайте.Обратите внимание, что директивы robots не передают никакой авторитетности и релевантности, как канонический URL.
Запретить поисковым системам индексировать контент, который никогда не должен индексироваться, потому что вы предоставляете скидки или какое-либо другое предложение, которое, по вашему мнению, не должно быть доступно всему миру.
Удалите проиндексированное конфиденциальное содержимое: если поисковые системы проиндексировали контент, они никогда не должны были индексироваться, примените директиву meta robots noindex , чтобы удалить контент из их индексов.Вы можете использовать ту же технику при установке ловушек для ползунков.
Выборочно примените директиву meta robots noindex к снятым с производства продуктам, чтобы обеспечить пользователям удобство работы.
Промежуточные среды
Мы намеренно не включили в список, чтобы убедиться, что промежуточные среды не индексируются поисковыми системами в качестве примера использования.
Это потому, что использование HTTP Auth - гораздо лучшее решение, поскольку оно предотвращает доступ из как пользователей, так и поисковых систем и предотвращает перенос директивы мета-роботов noindex на рабочий сайт.
Прежде чем мы углубимся в подробности, давайте рассмотрим некоторые основы:
В синтаксисе не учитывается регистр
Мета-директивы роботов не чувствительны к регистру, что означает, что все приведенные ниже примеры действительны:

Разделение директив запятыми для Google
Для Google необходимо разделять директивы запятыми.Место не подрезать:

Пробелы после запятых не требуются
Вы не обязаны использовать пробелы после запятых между директивами. Итак, оба приведенных ниже примера действительны:

А теперь перейдем к самим директивам!
В этом разделе мы расскажем о наиболее распространенных метадирективах, с которыми вы столкнетесь в дикой природе, и о том, что именно они означают.Мы сосредоточимся в первую очередь на поддержке директив от Google, поскольку они являются доминирующей поисковой системой.
Вот директивы, которые мы рассмотрим:
Мета-роботы «все»
По умолчанию поисковые системы будут сканировать и индексировать любой контент, с которым они сталкиваются, если не указано иное. Если вы хотите явно указать, что это разрешено, вы можете сделать это с помощью следующей директивы:

Мета-роботы «Индекс»
Хотя это и не обязательно, поскольку это поведение по умолчанию, но если вы хотите явно указать поисковым системам, что им разрешено индексировать страницу, вы можете сделать это с помощью приведенной ниже директивы meta robots.

Мета-роботы «index, follow»
Часто директива index комбинируется с директивой follow , что приводит к:

Эти директивы, по сути, означают то же, что и указанная выше, в которой указывается только index , поскольку follow также является поведением поисковой системы по умолчанию. .
Мета-роботы «noindex»
Директива мета-роботов noindex предписывает поисковым системам не индексировать страницу. Вот как выглядит директива meta robots noindex :

В приведенном выше примере говорится, что поисковым системам не следует индексировать страницу, но они могут свободно переходить по всем ссылкам на нее, поскольку в явной форме не указано, что они не должен.
Директива noindex имеет большой вес, поэтому, когда поисковые системы находят ее, они быстро удаляют контент из своего индекса.Другой стороной медали является то, что этот контент сложно повторно проиндексировать, если, например, вы случайно применили директиву noindex .
Будьте предупреждены о мошеннических директивах noindex
Будьте незамедлительно предупреждены о мошеннических директивах noindex для предотвращения сбоев SEO!
Полезные ресурсы
Мета-роботы «noindex, follow»
Часто встречаются мета-роботы noindex в сочетании с директивой follow .Он сообщает поисковым системам не индексировать страницу, но что можно переходить по ссылкам:

Рискуя звучать как неработающая запись, и < meta name = "robots" content = "noindex, follow" /> означает то же самое, поскольку follow является поведением сканера поисковой системы по умолчанию.
Мета-роботы noindex, nofollow
Вы также можете комбинировать директиву meta robots noindex с метадирективой nofollow (не путать с атрибутом ссылки nofollow):

Комбинация noindex, nofollow указывает поисковым системам не индексировать страницу и не переходить по ссылкам на странице, что означает отсутствие авторитета ссылки должны быть переданы либо.
«noindex» со временем становится «noindex, nofollow»
Поисковые системы значительно сокращают повторное сканирование неиндексированной страницы, что по существу приводит к ситуации noindex, nofollow , потому что ссылки на не просканированной странице не переходят. Мета-роботы «нет» Директива meta robots none на самом деле является сокращением для noindex, nofollow , которые мы рассмотрели чуть выше. Вот как выглядит директива meta robots none : Он используется не очень часто, и люди часто думают, что это означает прямо противоположное: index, follow . Так что будьте осторожны с этим! Мета-роботы «noarchive» Директива мета-роботов noarchive запрещает поисковым системам отображать кешированную версию страницы в поисковой выдаче. Если вы не укажете директиву noarchive , поисковые системы могут просто использовать кэшированную версию страницы. Опять же, это директива отказа. Вот как выглядит директива noarchive : Тем не менее, он часто сочетается с другими директивами.Например, вы обычно увидите, что он используется вместе с директивами noindex и nofollow : Это означает, что поисковые системы не должны индексировать страницу, не должны переходить по ее ссылкам и не должны кэшировать страницу . Мета-роботы «носниппет» Директива мета-роботов nosnippet предписывает поисковым системам не показывать текстовый фрагмент (обычно взятый из мета-описания) или предварительный просмотр видео для страницы. Вот как выглядит директива nosnippet : Если бы мы применили директиву meta robots nosnippet к нашей статье о перенаправлениях, фрагмент кода выглядел бы так: Поисковые системы могут по-прежнему отображать миниатюры изображения, если они считают, что это улучшает взаимодействие с пользователем. Для Google это относится к обычному веб-поиску, картинкам Google и Google Discover.Директива nosnippet также работает как директива noarchive . Если директива nosnippet не включена, Google самостоятельно сгенерирует фрагмент текста и предварительный просмотр видео. Запрет использования определенного контента для сниппета В частности, в Google вы можете запретить отображение некоторого содержания своей страницы во фрагменте с помощью HTML-атрибута data-nosnippet . Хотя это не мета-директива для роботов, она тесно связана с ними, поэтому мы должны коснуться этого здесь. HTML-атрибут data-nosnippet может использоваться в элементах span , div и section . Вот пример: Это может быть показано во фрагменте, а это не будет отображаться во фрагменте . Подробнее об атрибуте data-nosnippet можно узнать здесь (открывается в новой вкладке). Мета-роботы «max-snippet» Директива meta robots max-snippet указывает поисковым системам ограничивать фрагмент страницы (обычно извлекаемый из метаописания страницы) определенным количеством символов. Вот пример, где максимальная длина фрагмента 50 символов: Мета-роботы «max-snippet: 0» Когда вы указываете max-snippet: 0 , вы указываете поисковым системам не показывать фрагмент - по сути, то же самое, что и директива meta robots nosnippet , которую мы только что описали выше: Мета-роботы «max-snippet: -1» Когда вы указываете max-snippet: -1 , вы явно указываете поисковым системам, что они могут сами определять длину фрагмента, что является их поведением по умолчанию: Влияние Европейской директивы об авторском праве С октября 2019 года сайты, классифицированные как «публикации европейской прессы», по умолчанию отображаются в Google без фрагментов.Вы можете включить показ своих фрагментов с помощью директив max-snippet и max-image-preview , или вы можете удалить свой сайт из списка публикаций европейской прессы через Google Search Console (открывается в новая вкладка). Подробнее об этом здесь (открывается в новой вкладке). Если вы используете плагин Yoast SEO в WordPress, вы обнаружите, что он автоматически включается, когда вы включаете следующий фрагмент: Менее важные директивы мета-роботов Теперь мы подошли к менее важным мета-директивам роботов, о которых мы только кратко коснемся. То, что относится к другим директивам мета-роботов, относится и к ним: если они не определены, поисковые системы будут делать все, что им заблагорассудится. Вот что директивы сигнализируют поисковым системам: unavailable_after : «удалить страницу из индекса после определенной даты». Дата должна быть указана в широко распространенном формате, таком как, например, ISO 8601 (открывается в новой вкладке). Директива игнорируется, если не указаны допустимые дата / время. По умолчанию для контента нет срока годности.По сути, это временная директива noindex , поэтому будьте осторожны при ее использовании. noimageindex : «не индексировать изображения на этой странице». max-image-preview : «определить максимальный размер для предварительного просмотра изображения на странице с возможными значениями: нет , стандартный и большой ». max-video-preview : «определить максимальную длину предварительного просмотра видео на странице». notranslate : «не предлагать переведенную версию страницы в результатах поиска». Полезные ресурсы Помимо возможности комбинировать директивы, вы также можете предоставлять директивы разным поисковым роботам. Каждый сканер будет использовать сумму предоставленных ему директив, то есть: они складываются. Чтобы проиллюстрировать, как это сделать, давайте рассмотрим пример: Эти директивы интерпретируются следующим образом: Google: noindex, nofollow Другие поисковые системы: nofollow Как вы понимаете, когда вы начинаете складывать директивы, легко ошибиться.Если возникает сценарий, в котором есть конфликтующие директивы, Google по умолчанию будет использовать для наиболее строгого . Возьмем, к примеру, следующие директивы: Вердикт: Google проявит осторожность, а не проиндексирует страницу. Но способ интерпретации конфликтующих директив может различаться в разных поисковых системах.Возьмем другой пример: Google не будет проиндексировать эту страницу, а Яндекс сделает прямо противоположное и проиндексирует ее. Так что имейте это в виду и убедитесь, что ваши директивы robots работают правильно для поисковых систем, которые важны для вас. X-Robots-Tag - эквивалент заголовка HTTP Файлы в формате, отличном от HTML, такие как изображения и файлы PDF, не имеют исходного кода HTML, в который можно включить мета-директиву роботов.Если вы хотите сообщить поисковым системам о своих предпочтениях сканирования и индексирования этих файлов, лучше всего использовать HTTP-заголовок X-Robots-Tag . Давайте кратко коснемся заголовков HTTP. Когда посетитель или поисковая система запрашивает страницу с веб-сервера и эта страница существует, веб-сервер обычно отвечает тремя вещами: Код состояния HTTP : трехзначный ответ на запрос клиента (например, 200 OK ). HTTP-заголовки : заголовки, содержащие, например, возвращенный тип содержимого и инструкции о том, как долго клиент должен кэшировать ответ. HTTP Body : тело (например, HTML , CSS , JavaScript и т. Д.), Которое используется для рендеринга и отображения страницы в браузере. X-Robots-Tag может быть включен в заголовки HTTP. Вот скриншот заголовков HTTP-ответа страницы, взятых из Chrome Web Inspector для страницы, содержащей X-Robots-Tag: noindex : Так как же это работает на практике? Настройка X-Robots-Tag на Apache Например, если вы используете веб-сервер Apache и хотите добавить noindex, nofollow X-Robots-Tag в HTTP-ответ для всех ваших файлов PDF, добавьте следующий фрагмент в свой .htaccess файл или httpd.conf файл: <Файлы ~ "\ .pdf $"> Заголовочный набор X-Robots-Tag "noindex, nofollow" Или, возможно, вы хотите сделать изображения файлов типов PNG , JPG , JPEG и GIF неиндексируемыми: <Файлы ~ "\. (Png | jpe? G | gif) $"> Заголовочный набор X-Robots-Tag "noindex" Конфликтуют ли ваши мета-теги роботов и X-Robots-Tags? Сделайте быструю проверку с ContentKing и узнайте, отправляете ли вы Google в штопор! Настройка X-Robots-Tag на nginx Тем временем на веб-сервере nginx вам нужно отредактировать сайта.conf файл. Чтобы удалить все файлы PDF из индексов поисковых систем на всем сайте, используйте это: расположение ~ * \ .pdf $ { add_header X-Robots-Tag "noindex, nofollow"; } И чтобы не индексировать изображения, используйте это: расположение ~ * \. (Png | jpe? G | gif) $ { add_header X-Robots-Tag "noindex"; } Обратите внимание, что изменение конфигурации веб-сервера может негативно повлиять на эффективность SEO всего вашего веб-сайта. Если вам не удобно вносить изменения в конфигурацию веб-сервера, лучше оставить эти изменения администратору сервера. В связи с этим мы настоятельно рекомендуем отслеживать ваши сайты с помощью ContentKing. Наша платформа немедленно отмечает любые изменения, чтобы вы могли отменить их, прежде чем они окажут негативное влияние на эффективность вашего SEO. Полезные ресурсы Рекомендации по поисковой оптимизации для роботов Придерживайтесь следующих рекомендаций в отношении директив по роботам: Избегайте конфликтующих директив роботов. : избегайте использования как мета-роботов, так и директив X-Robots-Tag, чтобы сигнализировать о ваших предпочтениях сканирования и индексирования для ваших страниц, так как это легко испортить и отправить противоречивые инструкции.Вполне нормально использовать мета-директивы для роботов на страницах и X-Robots-Tag для изображений и PDF-файлов - просто убедитесь, что вы не используете оба метода доставки инструкций директив для роботов в один и тот же файл. Не запрещайте контент с помощью важных директив robots. : если вы запретите контент с помощью файла robots.txt, поисковые системы не смогут выбрать предпочтительные директивы robots для этого контента. Скажем, например, вы применяете директиву noindex к странице и переходите к , запрещая доступ к той же странице.Поисковые системы не смогут увидеть noindex , и они могут еще долго держать страницу в своем индексе. Не комбинируйте директиву noindex с каноническим URL-адресом : страница, которая имеет как директиву noindex , так и каноническую для другой страницы, сбивает с толку поисковые системы. В редких случаях это приводит к переносу noindex в каноническую цель. Учить больше. Не применяйте директиву noindex к страницам с разбивкой на страницы. : поскольку поисковые системы (особенно Google) хорошо понимают страницы с разбивкой на страницы, они обрабатывают их по-разному и не воспринимают их как дублированный контент.И имейте в виду, что на практике директива noindex со временем становится noindex , nofollow , закрывая путь на пути обнаружения контента, на который есть ссылки через страницы с разбивкой на страницы. Учить больше. Нет hreflang для страниц с noindex : hreflang сигнализирует поисковым системам, какие варианты контента доступны для различных аудиторий, посылая сигнал о том, что их необходимо проиндексировать. Поэтому избегайте ссылок на страницы с директивой noindex . Не включать страницы с noindex в карту сайта XML. : страницы, которые не должны индексироваться, также не должны включаться в вашу карту сайта XML, поскольку карта сайта XML используется для того, чтобы сигнализировать поисковым системам, какие страницы они должны сканировать и индексировать. . Директивы Meta robots, X-Robots-Tag и robots.txt имеют свое уникальное применение. Подводя итог тому, что мы рассмотрели, вот для чего их можно использовать: * Контент, запрещенный в robots.txt обычно не индексируется. Но в редких случаях это все же может случиться. Поддержка в поисковых системах Это не просто интерпретация конфликтующих директив роботов, которая может различаться в зависимости от поисковой системы. Поддерживаемые директивы и способ их доставки (HTML или HTTP-заголовок) также могут различаться. Если ячейка в таблице ниже отмечена зеленой галочкой (), поддерживаются реализации заголовков как HTML, так и HTTP. Красный крестик () не поддерживается.Если поддерживается только один, поясняется. А теперь перейдем к менее важным: Полезные ресурсы Подводя итоги и переезд на Надежное техническое SEO - это отправка поисковым системам правильных сигналов. И директива мета-роботов - лишь один из таких сигналов. Итак, продолжайте учиться тому, как брать поисковые системы в свои руки, с нашим руководством по контролю сканирования и индексирования! Что такое теги NoIndex и как они влияют на SEO? Директивы «Без индекса» предписывают поисковым системам исключить страницу из индекса, что делает ее непригодной для отображения в результатах поиска. Теги мета-роботов «Noindex» Самый распространенный способ запретить поисковым системам индексировать страницу - это включить тег Meta Robots в тег HTML-страницы с помощью директивы noindex, как показано ниже: Примерно в 2007 году основные поисковые системы начали реализовывать поддержку директив noindex в тегах Meta Robots. Теги Meta Robots могут также включать другие директивы, такие как директива «follow» или «nofollow», которая предписывает поисковым системам сканировать или не сканировать ссылки, найденные на текущей странице. Обычно веб-мастера используют директиву noindex для предотвращения индексации контента, не предназначенного для поисковых систем. Некоторые распространенные варианты использования директив noindex: Страницы, содержащие конфиденциальную информацию Корзина покупок или страницы оформления заказа на веб-сайте электронной коммерции Альтернативные версии страниц для активных A / B или сплит-тестов «Промежуточные» (или незавершенные) версии страниц, еще не готовые для публичного использования Кроме того, поисковые системы поддерживают директиву noindex, доставляемую через заголовки HTTP-ответа для данной страницы.Хотя этот подход менее распространен и его труднее определить с помощью обычных инструментов SEO, иногда инженерам или веб-мастерам проще включить его в зависимости от конфигурации их сервера. Имя и значение для заголовка ответа «noindex» следующие: X-Robots-Tag: noindex Лучшие практики SEO для директив noindex 1. Избегайте использования «noindex» на ценных страницах Случайное включение тега или директивы noindex на ценную страницу может привести к тому, что эта страница будет удалена из индексов поисковой системы и перестанет получать весь органический трафик. Например, если новая версия веб-сайта запущена, но теги «noindex», которые были включены для предотвращения индексации поисковыми системами новых версий страниц до того, как они были готовы, остались на месте, новая версия веб-сайта может немедленно перестать получать трафик. из поиска 2. Поймите, что «noindex» в конечном итоге рассматривается как «nofollow» Веб-мастера часто используют теги Meta Robots или заголовки ответов, чтобы сигнализировать поисковым системам, что текущая страница не должна индексироваться, но ссылки на странице должны сканироваться, как со следующим тегом Meta Robots: Обычно используется для страниц с разбивкой на страницы.Например, «noindex, follow» может применяться к спискам архивов блога, чтобы сами страницы архива не появлялись в результатах поиска, но позволяли поисковым системам сканировать, индексировать и оценивать сами сообщения блога. Однако этот подход может работать не так, как предполагалось, поскольку Google объяснил, что их системы в конечном итоге обрабатывают директиву «noindex, follow» как «noindex, nofollow» - другими словами, они в конечном итоге перестанут сканировать ссылки на любой странице с директива noindex.Это может помешать вообще проиндексировать страницы назначения ссылок или снизить их PageRank или авторитет, снизив их рейтинг по релевантным ключевым словам. 3. Избегайте использования правил «noindex» в файлах Robots.txt Хотя никогда официально не поддерживался, поисковые системы какое-то время соблюдали директивы noindex в правилах robots.txt. Поскольку правила robots.txt с подстановочными знаками могут применяться ко многим страницам одновременно без внесения каких-либо изменений в сами страницы, многие веб-мастера предпочли этот метод.Google не рекомендует использовать файлы robots.txt для установки директив noindex и устаревшего кода, который поддерживал эти правила в сентябре 2019 года. Google делится информацией о том, как метатег Noindex может вызывать проблемы Джон Мюллер из Google ответил на вопрос об использовании метатега noindex на страницах товаров, которых временно нет в наличии. Джон ответил на вопрос и поделился своим мнением о том, как такое использование может немного сбить с толку Google и вызвать больше проблем. Мета-тег роботов Мета-тег роботов - это способ указать поисковым системам не индексировать веб-страницу.Под «индексированием» веб-страницы это означает включение в список веб-страниц, которые будут отображаться на страницах результатов поиска (также известных как поисковая выдача). «Директива » - это код, которому поисковые системы обязаны подчиняться. Метатег robots noindex сообщает поисковым системам, что страницу не следует включать в индекс. Страница, которая исключена из индекса, означает, что страница исключена из отображения в поисковой выдаче. Вопрос о страницах товаров, отсутствующих в наличии Вопрос, на который ответил Джон Мюллер, был задан издателем, который добавлял метатег noindex к страницам товаров, на которых товары отсутствовали. Реклама Читать ниже Таким образом Google может исключить страницу с товаром, которого нет в наличии, из результатов поиска Google. Затем издатель обновил метатег noindex до команды «index», когда продукт вернулся на склад. Изменяя директиву noindex на директиву index, издатель давал указание Google продолжить и начать показывать страницу в результатах поиска. Это вопрос: «Мы часто обновляем наших мета-роботов, index и noindex.А в прошлом месяце мы внедрили последнюю модификацию на страницы продуктов, которые появились в наличии за последние семь дней, и пометили их как «индекс», но мы не заметили никакого влияния на отправленные URL-адреса, помеченные как noindex. Я вручную проверил некоторые URL-адреса последних модификаций. Google, кажется, никогда не следит за ними ». Переключение мета-тега индекса роботов между noindex и index, похоже, не помогло издателю. Джон Мюллер рассказал, как Google обрабатывает метатег noindex. Объявление Продолжить чтение ниже «В целом, я думаю, что это колебание между индексированными и неиндексированными данными может немного сбить нас с толку. Потому что, если мы видим страницу, которая не индексировалась в течение длительного периода времени, мы будем считать, что это что-то вроде страницы 404, и нам не нужно ее сканировать так часто. Так что, вероятно, происходит то, что мы рассматриваем эти страницы как noindex и решаем больше не сканировать их так часто, независимо от того, что вы отправляете в файл карты сайта. Так вот что… колебания меты noindex здесь контрпродуктивны, если вы действительно хотите, чтобы эти страницы время от времени индексировались ». Как Google обрабатывает теги Noindex Интересно, что способ, которым Google обрабатывает метатеги noindex роботов, аналогичен тому, как они обрабатывают код ответа 404. Тег noindex для роботов - это мощный инструмент, и его лучше всего использовать на страницах, которые издатель никогда не хочет индексировать. Согласно странице разработчика метатега роботов Google: «Мета-тег robots позволяет использовать детальный подход к конкретной странице для управления тем, как отдельная страница должна быть проиндексирована и предоставлена пользователям в результатах поиска Google.« На той же странице Google говорится о метатеге noindex: «… дает указание поисковым системам не показывать страницу в результатах поиска ». В нем ничего не говорится о том, как Google обрабатывает это, как ответ 404 страница не найдена, что заставит Google посещать страницу реже, если вообще. Как обращаться со страницами товаров, отсутствующих на складе Есть несколько передовых методов работы с веб-страницами, отсутствующими на складе. Страницы категорий На страницах категорий, на которых перечислены товары, которые есть в наличии и которых нет в наличии, а также на страницах поиска на веб-сайтах рекомендуется по умолчанию сначала отображать товары, имеющиеся в наличии. Затем покажите товары, которых нет в наличии, внизу страниц поиска и страниц категорий. Снимок экрана страницы поиска в розничном магазине, на которой показаны последние товары, отсутствующие в наличии страницы товара. Реклама Продолжить чтение ниже Таким образом вы можете показать посетителю сайта аналогичные имеющиеся в наличии товары, которые могут его заинтересовать. Уведомление о наличии на складе Еще одна передовая практика - отобразить заметную кнопку «Предупреждение о наличии на складе», чтобы потребители могли выбрать получение уведомления, когда товар снова появится на складе. Снимок экрана кнопки регистрации электронного оповещения о наличии на складе Структурированные данные «нет в наличии» Свойство структурированных данных «предложение» продукта имеет тип ItemAvailability , который можно использовать, чтобы сообщать поисковым системам о наличии товара. или нет в наличии. Реклама Продолжить чтение ниже Тип ItemAvailability указан Google как рекомендуемый тип, но не является обязательным. Снимок экрана с структурированными данными об отсутствии на складе Если структурированные данные ItemAvailability помечены как недоступные, поисковые системы могут не показывать эту веб-страницу в результатах поиска, но продолжать ее индексировать. Неясно, не будут ли поисковые системы ранжировать эти страницы, но, судя по неофициальным данным, именно так поисковые системы обрабатывают данные. Реклама Продолжить чтение ниже Наблюдать за Джоном Мюллером Обсуждение метатега Noindex роботов Цель метатега роботов Вы когда-нибудь задумывались, для чего нужен файл robots на вашем сайте? Возможно, вы используете WordPress и наткнулись на этот незнакомый тег, который гласит:. Что это, черт возьми !? Это робот, который автоматизирует ваши метатеги? Это волшебный SEO-тег? Вызывает ли он робота Google на вашу страницу? Мета-тег роботов - это тег, который сообщает поисковым системам, за чем следовать, а за чем не следовать.Это фрагмент кода в разделе вашей веб-страницы. Это простой код, который дает вам возможность решить, какие страницы вы хотите скрыть от поисковых роботов и какие страницы вы хотите, чтобы они проиндексировали и просматривали. Еще одна функция метатега роботов заключается в том, что он сообщает сканерам поисковых систем, по каким ссылкам переходить и на каких ссылках останавливаться. Когда с вашего веб-сайта выходит много ссылок, вы должны знать, что теряете немного сока Google. В результате рейтинг вашей страницы снизится.Итак, что вы хотите сделать, так это сохранить этот сок при себе с помощью некоторых ссылок - и вы говорите сканерам поисковых систем не переходить по ссылкам, выходящим с вашего сайта, потому что при этом они также заберут часть вашего сока Google. с ними. Если у вас нет метатега robots, не паникуйте. По умолчанию сканеры поисковых систем БУДУТ проиндексировать ваш сайт и БУДУТ переходить по ссылкам. Позвольте мне прояснить, что поисковые роботы, переходящие по вашим ссылкам, это совсем не плохо. Если вы потеряете часть своего веса, это не сильно повлияет на ваш сайт в обмен на привлечение внимания других веб-сайтов, на которые вы ссылаетесь.На самом деле я вообще не рекомендую использовать nofollow, если у вас не слишком много исходящих ссылок. В основном метатег роботов может быть разбит на четыре основные функции для поисковых роботов: FOLLOW - команда для сканера поисковой системы, чтобы переходить по ссылкам на этой веб-странице INDEX - команда для сканера поисковой системы, чтобы проиндексировать эту веб-страницу NOFOLLOW - команда для сканера поисковой системы НЕ переходить по ссылкам на этой веб-странице NOINDEX - команда для сканера поисковой системы НЕ индексировать эту веб-страницу Довольно просто, не правда ли? Теперь вы говорите себе: «Черт возьми, это все? Я думал, что это какая-то безумная программа, на изучение которой уйдут годы.” Есть еще несколько команд для мета-тега robots, но эти четыре являются ГЛАВНЫМИ функциями. Именно для этих четырех мета-тегов в основном используются. Если вы спросите меня, мета-теги роботов - это мелочи в SEO вашего сайта, которые вы можете использовать для управления своими ресурсами Google. Я лично не использую noindex, но иногда использую nofollow. Не спрашивайте почему. Это личное. Ха-ха! Пример кода метатега роботов будет выглядеть так: Этот тег индексирует веб-страницу, на которой он находится.Это все равно, что сказать кому-то, кто хочет получить стакан воды, чтобы получить стакан воды. Потому что, опять же, по умолчанию поисковая система уже индексирует ваш сайт, даже если вы не используете этот код. И вы также можете комбинировать команды, если хотите: Мне нужно помнить об этом коде, особенно если вы пытаетесь сэкономить ресурсы Google, применяя nofollow к исходящим ссылкам. В остальном это не то, что вам нужно постоянно проверять, когда вы оптимизируете локальное SEO. Советы для Keeps: Мы все хотим знать все мелочи о SEO. Это может помочь в будущем, поэтому постарайтесь запомнить это. Этот код создан не зря. Самые опытные специалисты по поисковой оптимизации знают, как это лучше всего использовать. Для дальнейшего чтения вы можете перейти к статье о мета-роботах в Search Engine Land Эта запись является частью серии «Школа хакеров SEO: Использование метатегов для SEO» Если вы хотите, чтобы это руководство отправлялось прямо на ваш почтовый ящик, подпишитесь на в текстовой области под мета-тегов роботов | Как использовать мета-тег роботов для SEO WooRank Руководства по SEO Как использовать мета-тег роботов для SEO Вы можете использовать метатег robots, чтобы контролировать, где и как Google и другие сканеры поисковых систем перемещаются по вашему сайту и передают ссылочный вес со страницы на страницу.Если это звучит знакомо для другого текстового файла на вашем веб-сайте, следите за обновлениями ... В этом руководстве мы рассмотрим Что такое метатег роботов и почему он важен Как вы используете метатег robots для SEO Преимущества использования метатега robots Метатег robots - это HTML-тег, который является тегом заголовка страницы и предоставляет инструкции ботам. Как и файл robots.txt, он сообщает сканерам поисковых систем, разрешено ли им индексировать страницу. Чтобы найти метатег robots на странице, просто щелкните веб-страницу правой кнопкой мыши, выберите «Просмотреть исходный код» и затем выполните поиск для «robots». Это будет выглядеть примерно так: В этом примере верхняя строка относится ко всем ботам поисковых систем, а 4 строки после нее относятся к конкретным пользовательским агентам.В этом конкретном примере метатег роботов сообщает поисковым системам не индексировать страницу. Однако боты могут свободно переходить по ссылкам, которые они находят на странице. Метатег robots имеет значение, потому что он добавляет дополнительный уровень защиты к файлу robots.txt. Когда сканер переходит по внешней ссылке и попадает на одну из ваших страниц, он все равно может сканировать и индексировать эту страницу, поскольку он не видел файла robots.txt. Мета-тег robots предотвращает сканирование и индексирование. Метатег robots применяет только к странице, содержащей этот тег. Файлы robots.txt применяются ко всему вашему сайту. Как работает метатег robots? Как видите, тег состоит из двух частей: name = ”” и content = ”” . Прочтите руководство по сканерам поисковых систем и сканированию, чтобы узнать больше о том, как они работают. Часть имени определяет пользовательский агент бота, которого вы инструктируете, точно так же, как строка user-agent в файле robots.txt файл. В отличие от robots.txt, вы не используете подстановочный знак для включения всех ботов. Для этого вы просто напишите «роботы». Отсюда и название мета-тега роботов. Вторая часть, content = ”” - это то место, где вы говорите ботам, что делать. Какие существуют значения метатегов роботов? Есть много разных значений, которые вы можете добавить в поле content в теге robots. Каждое из этих значений имеет свои особенности: Индекс: Указывает поисковым системам проиндексировать страницу.На первый взгляд это может показаться бессмысленным, поскольку по умолчанию используется «Индекс», но может быть полезно, если вы хотите, чтобы страницу проиндексировала только определенная группа поисковых систем. NoIndex: Указывает поисковым системам не индексировать страницу, чтобы она не отображалась в результатах поиска. NoImageIndex: Указывает поисковым системам не индексировать изображения на странице. Однако, если кто-то добавит это изображение в другое место в Интернете, Google все равно проиндексирует его и отобразит в результатах поиска. Нет: Это работает как ярлык для «noindex, nofollow».Он предписывает поисковым системам игнорировать страницу и делать вид, что никогда ее не видели. Follow: Указывает поисковым системам переходить по ссылкам, которые они находят на странице. Как и в случае с «Индексом», это статус по умолчанию, когда бот не находит применимый к нему метатег robots. NoFollow: Указывает поисковым системам вообще не переходить по ссылкам на странице. Вы также можете добавить это значение к отдельной ссылке. NoArchive: Указывает поисковым системам не показывать кэшированные копии страницы. NoCache: То же, что и «NoArchive», за исключением того, что используется MSN / Live. NoSnippet: Запрещает поисковым системам показывать фрагмент этой страницы в результатах поиска. Это также предотвращает кеширование страницы. NoTranslate: Указывает поисковым системам не предлагать переведенные версии страницы в результатах поиска. Unavailable_after: Указывает поисковым системам не отображать страницу в результатах поиска после определенной даты. NoYDir: Указывает поисковой системе не использовать Yahoo! Описание страницы каталога в поисковом фрагменте. NoODP: Запрещает поисковым системам использовать описание страницы из DMOZ в поисковом фрагменте. ODP - это сообщество, которое запускает и поддерживает каталог DMOZ. Последние два значения - NoYDir и NoODP - в наши дни не используются. Ни Yahoo! Каталог или DMOZ больше не существуют. Тем не менее, вы все еще можете видеть их в Интернете. Немного усложняет тот факт, что не все поисковые системы поддерживают все значения. Итак, вот удобная таблица, которая разбивает это: Какие значения распознаются какими поисковыми системами? Значение Google Bing Яндекс индекс Есть Есть Есть noindex Есть Есть Есть нет Есть Сомнение Есть noimageindex Есть № № следовать Есть Сомнение Есть nofollow Есть Есть Есть noarchive / nocache Есть Есть Есть носниппет Есть № № notranslate Есть № № недоступен_после Есть № № лапша № № № нойдир № № № Используя запятые, вы можете создавать многонаправленные метатеги вместо создания одного тега для каждой директивы.Фактически, вы будете видеть это довольно часто, так как многие метатеги роботов используют значения noindex, nofollow: Обеспечение того, чтобы определенные малоценные страницы не попадали в индекс Google и не попадали в результаты поиска, является такой же частью SEO, как и попадание страниц в результаты поиска. Отсутствие индексации малоценных страниц может помочь увеличить так называемую «потребность в сканировании» вашего сайта, что может способствовать более частому сканированию вашего сайта. Meta robots также добавляет дополнительный уровень защиты страниц, которые вы заблокировали через своих роботов.txt файл. Эти страницы могут быть проиндексированы, если Google перейдет на них по внешней обратной ссылке. Отсутствие индексации страницы предотвратит это. Использование метатега robots для предотвращения индексации страницы и перехода по ссылкам выглядит следующим образом: Значения noindex и nofollow - два наиболее часто используемых значения в метатеге robots. Однако другие значения, перечисленные выше, также имеют значение SEO: . NoImageIndex: Указывает поисковым системам не сканировать изображения на странице. Нет: Это эквивалентно использованию "noindex, nofollow" в одном значении. Поисковые роботы не будут индексировать страницу и переходить по ссылкам. NoArchive: Запретить поисковым системам показывать кешированную версию вашей страницы. Убедитесь, что люди всегда видят самую последнюю версию вашего контента. MSN / Live использует «NoCache» вместо «NoArchive». NoSnippet: Это запрещает поисковым системам отображать фрагмент вашего сайта в результатах поиска. и не отображают кешированную версию страницы. Если весь смысл SEO заключается в том, чтобы страницы попадали в результаты поиска, как, черт возьми, мета-роботы на странице помогают SEO? Предотвращает индексирование и отображение любых личных файлов или папок в результатах поиска. Как правило, рекомендуется не публиковать этот контент на своем сайте или защитить его паролем. Однако, если по какой-то причине вам нужно разместить его на своем сайте, метатег robots не позволит ему попасть в Google. Это помогает поисковым системам более эффективно сканировать ваш сайт.У поисковых роботов ограниченные бюджеты сканирования, поэтому они теоретически могут тратить все свое время на сканирование страниц, ранжирование которых вам неинтересно, игнорируя самые важные из них. Блокирование индексации этих неважных файлов поможет поисковым роботам перейти на ваши более ценные страницы. Если у вас есть страница, на которую набрано много ссылок, но вы не хотите, чтобы она индексировалась, используйте директиву follow, чтобы передать эти ссылки на другие страницы вашего сайта. Хотя никогда не рекомендуется публиковать конфиденциальную информацию на своем веб-сайте, но иногда это случается.Блокировка этих URL-адресов через robots.txt говорит всем, кто его читает, что им следует взглянуть на эти страницы. Добавление «noindex» к метатегу robots убережет эту страницу от результатов поиска, не указав ее там, где ее можно найти. Самая важная часть использования метатега robots - убедиться, что вы используете его правильно. Это не редкость, когда деиндексируется весь сайт, потому что кто-то случайно добавил тег noindex для роботов ко всему сайту. Поэтому понимание того, как работает метатег robots, абсолютно необходимо для SEO. .

Стоимость роботов	Google	Yahoo	Bing	Спросите	Baidu	Яндекс
Элементы управления индексированием
индекс	Я *	Я *	Я *	?	Y	Y
noindex	Y	Y	Y	?	Y	Y
noimageindex	Y	N	N	?	N	N
Следует ли переходить по ссылкам
следовать	Я *	Я *	Я *	?	Y	Y
nofollow	Y	Y	Y	?	Y	Y
нет	Y	?	?	?	N	Y
все	Y	?	?	?	N	Y
Элементы управления фрагментом / предварительным просмотром
нет архива	Y	Y	Y	?	Y	Y
нокаш	N	N	Y	?	N	N
носниппет	Y	N	Y	?	N	N
nositelinkssearchbox	Y	N	N	N	N	N
nopagereadaloud	Y	N	N	N	N	N
notranslate	Y	N	N	?	N	N
max-snippet: `[number]`	Y	Y	N	N	N	N
max-video-preview: `[номер]`	Y	Y	N	N	N	N
max-image-preview: `[настройка]`	Y	Y	N	N	N	N
Разное
рейтинг	Y	N	N	N	N	N
недоступен_после	Y	N	N	?	N	N
лапша	N	Y **	Y **	?	N	N
нойдир	N	Y **	N	?	N	N
Нояка	N	N	N	N	N	Y

Значение	Google	Bing	Яндекс
индекс	Есть	Есть	Есть
noindex	Есть	Есть	Есть
нет	Есть	Сомнение	Есть
noimageindex	Есть	№	№
следовать	Есть	Сомнение	Есть
nofollow	Есть	Есть	Есть
noarchive / nocache	Есть	Есть	Есть
носниппет	Есть	№	№
notranslate	Есть	№	№
недоступен_после	Есть	№	№
лапша	№	№	№
нойдир	№	№	№

Метатег robots и HTTP-заголовок X-Robots-Tag

Мета-тег Robots | SEO-портал

Видео по теме

Для чего нужен мета-тег Robots?

Как прописать мета-тег Robots?

Атрибут Name мета-тега Robots

Директивы мета-тега Robots

Общие директивы

Директивы для Google

Директивы для Яндекса

Комбинирование директив

Значение «index, follow» или «all»

Значение «noindex, nofollow» или «none»

Значение «noindex, follow»

Значение «index, nofollow»

Рекомендации по применению

Тег noindex и атрибут nofollow: что это такое

Nofollow

Другие термины на букву «N»

Мета-тег vs robots.txt — CodeRoad

11 ответов

Разница между ними такова:

Вот пример мета робота:

Вот пример файла Robots.txt:

Похожие вопросы:

Что такое meta name robots?

Что такое meta name robots?

Список параметров мета-тега name robots:

Использование meta name robots

Яндекс про meta robots.txt

Google про мета-тег robots

Заключение

Управление мета тегом Robots из панели Joomla

Вступление

Немного теории

Синтаксис атрибута META NAME

Директивы МЕТА-тег Robots

Мета тег name=»Robots» и файл Robots.txt

Управление мета тегом Robots на Joomla

Как закрыть отдельную ссылку от обхода и часть статьи от индексации

Другие статьи по теме: Оптимизация Joomla 3

Мета-теги — Help Mail.ru. Информация для веб-мастеров

полное руководство • Yoast

Различные значения метатегов роботов

Какая поисковая система поддерживает какие значения метатегов роботов?

Правила для конкретных поисковых систем

Конфликтующие параметры и файлы robots.txt

Ресурсы из поисковых систем

Страницы веб-роботов

О теге

В двух словах

Детали

Как написать метатег для роботов

Куда девать

Что в него положить

Meta Robots на 2021 год

Директивы мета-роботов

Анатомия метаэлемента

В синтаксисе не учитывается регистр

Разделение директив запятыми для Google

Пробелы после запятых не требуются

Мета-роботы «все»

Мета-роботы «Индекс»

Мета-роботы «index, follow»

Мета-роботы «noindex»

Мета-роботы «noindex, follow»

Мета-роботы noindex, nofollow

Мета-роботы «нет»

Мета-роботы «noarchive»

Мета-роботы «носниппет»

Мета-роботы «max-snippet»

Мета-роботы «max-snippet: 0»

Мета-роботы «max-snippet: -1»

Менее важные директивы мета-роботов

X-Robots-Tag - эквивалент заголовка HTTP

Настройка X-Robots-Tag на Apache

Настройка X-Robots-Tag на nginx

Рекомендации по поисковой оптимизации для роботов

Поддержка в поисковых системах

Подводя итоги и переезд на

`В синтаксисе не учитывается регистр`

`Разделение директив запятыми для Google`

`Пробелы после запятых не требуются`

`Мета-роботы «все»`

`Мета-роботы «Индекс»`

`Мета-роботы «index, follow»`

`Мета-роботы «noindex»`

`Мета-роботы «noindex, follow»`

`Мета-роботы noindex, nofollow`

`Поддержка в поисковых системах`

`Подводя итоги и переезд на`

`Что такое теги NoIndex и как они влияют на SEO?`

`Теги мета-роботов «Noindex»`

`Лучшие практики SEO для директив noindex`

`1. Избегайте использования «noindex» на ценных страницах`

`2. Поймите, что «noindex» в конечном итоге рассматривается как «nofollow»`

`3. Избегайте использования правил «noindex» в файлах Robots.txt`

`Google делится информацией о том, как метатег Noindex может вызывать проблемы`

`Мета-тег роботов`

`Вопрос о страницах товаров, отсутствующих в наличии`

`Как Google обрабатывает теги Noindex`

`Как обращаться со страницами товаров, отсутствующих на складе`

`Страницы категорий`

`Снимок экрана страницы поиска в розничном магазине, на которой показаны последние товары, отсутствующие в наличии страницы товара.`

`Уведомление о наличии на складе`

`Снимок экрана кнопки регистрации электронного оповещения о наличии на складе`

`Структурированные данные «нет в наличии»`

`Снимок экрана с структурированными данными об отсутствии на складе`

`Наблюдать за Джоном Мюллером Обсуждение метатега Noindex роботов`

`Цель метатега роботов`

`мета-тегов роботов | Как использовать мета-тег роботов для SEO`

`Как работает метатег robots?`

`Какие существуют значения метатегов роботов?`

`Добавить комментарий Отменить ответ`