Яндекс noindex: Валидный тег NOINDEX для Яндекс | Дропшиппинг

Содержание

Яндекс признал некорректную работу тега noindex

25 июля 2018

Оксана Мамчуева

3836

С середины мая в Яндексе тег <noindex> работал некорректно — контент, заключенный в этом теге исправно индексировался и по нему шел поиск. Об этом на своей странице в Facebook сообщил SEO-специалист компании webit Андрей Ефремов.

Он связался по этому поводу со службой поддержки поисковика и получил подтверждение от Платона, что «… удалось обнаружить техническую ошибку, из-за которой запрещенный при помощи тега noindex контент действительно может попасть в поиск».

По словам специалиста, некорректная работа этого тега негативно сказывалась на видимости сайтов, у которых много технического «мусора» было закрыто в <noindex>. Причем Яндекс не считал это серьезной проблемой и не решал ее достаточно долго:

«Только недавно мы начали замечать исправление этой ситуации и Платон подтвердил, что тег починили.
Вот так бывает — ломаешь голову, думаешь, что изменился алгоритм ранжирования или обновились хостовые факторы, а тут просто не работает довольно важный тег».

PR-служба Яндекса уточнила для Searchengines.ru, что тег <noindex>, про который говорится в переписке с Платоном, не влияет на индексирование служебных страниц с личными данными:

Запретом для индексирования таких страниц, как и ранее, выступает robots.txt, МЕТА-тег noindex или защита авторизацией.

Напомним, в начале июля содержание документов из Google Docs стало показываться в результатах поисковой выдачи Яндекса.

А на прошлой неделе SEO-специалист Павел Медведев обнаружил в выдаче поисковика личные данные россиян — сканы паспортов, данные о банковских платежах, билеты на самолеты и поезда и т.д.

Источник: Facebook

Новости
SEO

Акции Facebook упали на 20% после отчёта за второй квартал 2018 года

Facebook представил финансовые результаты за второй квартал 2018 года. ..

Хорошо ли вы знаете новые форматы Директа — Тест

Яндекс.Директ шаг за шагом превращается в единую рекламную платформу для решения задач бизнеса

Google опубликовал новую версию руководства для асессоров

20 июля Google обновил своё руководство для асессоров – специалистов, оценивающих качество поиска

Google добавит больше ИИ-функций в G Suite

На конференции Google Cloud Next компания Google представила несколько новых ИИ-функций для G Suite и поделилась свежей статистикой по сервису

Google выпустил разметку для издателей, заинтересованных в Assistant

Google представил новую разметку, предназначенную для тех издателей, которые хотят, чтобы их контент озвучивался Google Assistant

Facebook планирует создать инновационный хаб в Китае

Facebook открыл филиал в Китае и планирует создать на его базе инновационный хаб для поддержки местных стартапов и разработчиков – несмотря на то, что его сайт здесь. ..

nofollow и noindex | Закрыть ссылку от индексации

nofollow и noindex – любимые персонажи разметки html-страницы, главная задача которых состоит в запрете индексирования ссылок и текстового материала веб-страницы поисковыми роботами.

nofollow и noindex – самые загадочные персонажи разметки html-страницы, главная задача которых состоит в запрете индексирования ссылок и текстового материала веб-страницы поисковыми роботами.

nofollow (Яндекс & Google)

nofollow – валидное значение в HTML для атрибута rel тега «a» (rel=»nofollow»)
Это значение предназначено для поисковых систем.
Оно устанавливает запрет на переход по ссылке и последующее её индексирование.

rel=»nofollow» – не переходить по ссылке

Оба главных русскоязычных поисковика (Google и Яндекс) – прекрасно знают атрибут rel=»nofollow» и, поэтому – превосходно управляются с ним. В этом, и Google, и Яндекс, наконец-то – едины. Ни один поисковый робот не пойдёт по ссылке, если у неё имеется атрибут

rel=»nofollow»:

<a href=»http://example.ru» rel=»nofollow»>анкор (видимая часть ссылки)</a>

content=»nofollow» – не переходить по всем ссылкам на странице

Допускается указывать значение nofollow для атрибута content метатега <meta>.
В этом случае, от поисковой индексации будут закрыты все ссылки на веб-странице

<meta name=»robots» content=»nofollow»/>

Атрибут content является атрибутом тега <meta> (метатега). Метатеги используются для хранения информации, предназначенной для браузеров и поисковых систем. Все метатеги размещаются в контейнере <head>, в заголовке веб-страницы.

Действие атрибутов rel=»nofollow» и content=»nofollow»

на поисковых роботов Google и Яндекса

Действие атрибутов rel=»nofollow» и content=»nofollow»
на поисковых роботов Google и Яндекса несколько разное:

Google: Увидев атрибут rel=»nofollow» у отдельно стоящей ссылки, поисковые роботы Google не переходят по такой ссылке и не индексируют её видимую часть (анкор).
Увидев атрибут content=»nofollow» у метатега <meta> в заголовке страницы, поисковые роботы Google сразу «разворачивают оглобли» и катят к себе восвояси, даже не пытаясь заглянуть на такую страницу. Таким образом, чтобы раз и навсегда закрыть от роботов Google отдельно стоящую ссылку (тег <а>) достаточно добавить к ней атрибут rel=»nofollow»:
<a href=»http://example.ru» rel=»nofollow»>Анкор</a>
А, чтобы раз и навсегда закрыть от роботов Google всю веб-страницу,
достаточно добавить в её заголовок строку с метатегом:
<meta name=»robots» content=»nofollow»/>
Яндекс: Для роботов Яндекса атрибут rel=»nofollow» имеет действие запрета

только! на индексацию ссылки и переход по ней. Видимую текстовую часть ссылки (анкор) – роботы Яндекса всё равно проиндексируют.
Для роботов Яндекса атрибут метатега content=»nofollow» имеет действие запрета только! на индексацию ссылок на странице и переходов по них. Всю видимую текстовую часть веб-страницы – роботы Яндекса всё равно проиндексируют.
Для запрета индексации видимой текстовой части ссылки или страницы для роботов Яндекса – ещё потребуется добавить его любимый тег или значение noindex

noindex – не индексировать текст

(тег и значение только для Яндекса)

Тег <noindex> не входит в спецификацию HTML-языка.
Тег <noindex> – это изобретение Яндекса, который предложил в 2008 году использовать этот тег в качестве маркера текстовой части веб-страницы для её последующего удаления из поискового индекса. Поисковая машина Google это предложение проигнорировала и Яндекс остался со своим ненаглядным тегом, один на один. Поскольку Яндекс, как поисковая система – заслужил к себе достаточно сильное доверие и уважение, то придётся уделить его любимому тегу и его значению – должное внимание.

Тег <noindex> – не признанное изобретение Яндекса

Тег <noindex> используется поисковым алгоритмом Яндекса для исключения служебного текста веб-страницы поискового индекса. Тег <noindex> поддерживается всеми дочерними поисковыми системами Яндекса, вида Mail.ru, Rambler и иже с ними.

Тег noindex – парный тег, закрывающий тег – обязателен!

Учитывая не валидность своего бедного и непризнанного тега,
Яндекс соглашается на оба варианта для его написания:
Не валидный вариант – <noindex></noindex>,
и валидный вариант – <!— noindex —><!—/ noindex —>.

Хотя, во втором случае – лошади понятно, что для гипертекстовой разметки HTML, это уже никакой не тег, а так просто – html-комментарий на веб-странице.

Тег <noindex> – не индексировать кусок текста

Как утверждает справка по Яндекс-Вебмастер, тег <noindex> используется для запрета поискового индексирования служебных участков текста. Иными словами, часть текста на странице, заключённая в теги <noindex></noindex> удаляется поисковой машиной из поискового индекса Яндекса. Размеры и величина куска текста не лимитированы. Хоть всю страницу можно взять в теги <noindex></noindex>. В этом случае – останутся в индексе одни только ссылки, без текстовой части.

Поскольку Яндекс подходит раздельно к индексированию непосредственно самой ссылки и её видимого текста (анкора), то для полного исключения отдельно стоящей ссылки из индекса Яндекса потребуется наличие у неё сразу двух элементов – атрибута

rel=»nofollow» и тега <noindex>. Такой избирательный подход Яндекса к индексированию ссылок даёт определённую гибкость при наложении запретов.

Так, например, можно создать четыре конструкции, где:

Ссылка индексируется полностью: <a href=»http://example.ru»>Анкор (видимая часть ссылки)</a>
Индексируется только анкор (видимая часть) ссылки: <a href=»http://example.ru» rel=»nofollow»>Анкор</a>
Индексируется только ссылка, без своего анкора: <a href=»http://example.ru»><noindex>Анкор</noindex></a>
Ссылка абсолютно НЕ индексируется: <a href=»http://example. ru» rel=»nofollow»><noindex>Анкор</noindex></a>

Для справки: теги <noindex></noindex>, особенно их валидный вариант <!— noindex —><!—/ noindex —> – абсолютно не чувствительны к вложенности. Их можно устанавливать в любом месте HTML-кода. Главное, не забывать про закрывающий тег, а то – весь текст, до самого конца страницы – вылетит из поиска Яндекса.

Метатег noindex – не индексировать текст всей страницы

Допускается применять noindex в качестве значения для атрибута метатега content –
в этом случае устанавливается запрет на индексацию Яндексом текста всей страницы.

Атрибут content является атрибутом тега <meta> (метатег). Метатеги используются для хранения информации, предназначенной для браузеров и поисковых систем. Все метатеги размещаются в контейнере <head>, в заголовке веб-страницы.

Абсолютно достоверно, ясно и точно, что использование noindex в качестве значения атрибута content для метатега <meta> даёт очень хороший результат и уверенно «выбивает» такую страницу из поискового индекса Яндекса.

<meta name=»robots» content=»noindex»/>
Текст страницы, с таким метатегом в заголовке –
Яндекс совершенно не индексирует, но при этом он –
проиндексирует все ссылки на ней.

Разница в действии тега и метатега noindex

Визуально, разница в действии тега и метатега noindex заключается в том, что запрет на поисковую индексацию тега noindex распространяется только на текст внутри тегов <noindex></noindex>, тогда как запрет метатега – сразу на текст всей страницы.
Пример: <noindex>Этот текст будет не проиндексирован</noindex>

<meta name=»robots» content=»noindex»/>
Текст страницы, с таким метатегом – Яндекс полностью не индексирует

Принципиально, разница в действии тега и метатега проявляется в различиях алгоритма по их обработке поисковой машиной Яндекса. В случае с метатегом noindex, робот просто уходит со страницы, совершенно не интересуясь её содержимым (по крайней мере – так утверждает сам Яндекс). А, вот в случае с использованием обычного тега <noindex> – робот начинает работать с контентом на странице и фильтровать его через своё «ситечко». В момент скачивания, обработки контента и его фильтрации возможны ошибки, как со стороны робота, так и со стороны сервера. Ведь ни что не идеально в этом мире.
Поэтому, кусок текста страницы, заключённого в теги <noindex></noindex> – могёт запросто попасть Яндексу «на зуб» для дальнейшей поисковой индексации. Как утверждает сам Яндекс – это временное неудобство будет сохраняться до следующего посещения робота. Чему я не очень охотно верю, потому как, некоторые мои тексты и страницы, с тегом и метатегом noindex – висели в Яндексе по нескольку месяцев.

Особенности метатега noindex

Равно, как и в случае с тегом <noindex>, действие метатега noindex позволяет гибко накладывать запреты на всю страницу. Примеры метатегов для всей страницы сдерём из Яндекс-Вебмастера:

не индексировать текст страницы: <meta name=»robots» content=»noindex»/>
не переходить по ссылкам на странице: <meta name=»robots» content=»nofollow»/>
не индексировать текст страницы и не переходить по ссылкам на странице: <meta name=»robots» content=»noindex, nofollow»/>
что, аналогично следующему:
запрещено индексировать текст и переходить по ссылкам на странице для роботов Яндекса: <meta name=»robots» content=»none»/>

Вот такой он, тег и значение noindex на Яндексе :):):).

Тег и метатег noindex для Google

Что-же касается поисковика Google, то он никак не реагирует на присутствие выражения noindex, ни в заголовке, ни в теле веб-страницы. Google остаётся верен своему валидному «nofollow», который он понимает и выполняет – и для отдельной ссылки, и для всей страницы сразу (в зависимости от того, как прописан запрет). После некоторого скрипения своими жерновами, Яндекс сдался и перестал продвижение своего тега и значения noindex, хотя – и не отказывается от него полностью. Если роботы Яндекса находят тег или значение noindex на странице – они исправно выполняют наложенные запреты.

Универсальный метатег (Яндекс & Google)

С учётом требований Яндекса, общий вид универсального метатега,
закрывающего полностью всю страницу от поисковой индексации,
выглядит так:

<meta name=»robots» content=»noindex, nofollow»/>: – запрещено индексировать текст и переходить по ссылкам на странице
для всех поисковых роботов Яндекса и Google

nofollow и noindex | Закрываемся от индексации на tehnopost. info

nofollow (Яндекс & Google)
1. rel=»nofollow» – не переходить по ссылке
2. content=»nofollow» – не переходить по всем ссылкам
3. Действие rel=»nofollow» и content=»nofollow»
  на поисковых роботов Google и Яндекса
noindex – не индексировать текст
(тег и значение только для Яндекса)
1. Тег <noindex> – не признанное изобретение Яндекса
2. Тег <noindex> – не индексировать кусок текста
3. Метатег noindex – не индексировать текст всей страницы
4. Разница в действии тега и метатега noindex
5. Особенности метатега noindex
6. Тег и метатег noindex для Google
Универсальный метатег (Яндекс & Google)

Вакансий Яндекса на май 2023

Je veux embaucher Je veux travailler

Концерн Яндекс

Яндекс — ведущая поисковая система в России, основанная в 1997 году. Она предлагает ряд услуг и продуктов, которые можно использовать для выхода на российский рынок или интеграции русскоязычных сервисов на веб-сайт или в приложение. Яндекс особенно полезен для тех, кто хочет зарабатывать на российском рынке. Эксперт Яндекса — это тот, кто специализируется на услугах, продуктах, маркетинговых стратегиях и аналитике Яндекса. С помощью эксперта вы можете оптимизировать свой веб-сайт или приложение, чтобы зарабатывать больше денег, укреплять доверие клиентов и обеспечивать превосходный опыт работы в Интернете.

Вот несколько проектов, реализованных нашим экспертом Yandex Experts:

Разработка SEO-стратегий и исследование ключевых слов для повышения видимости в поиске Яндекса
Оптимизация веб-сайтов для рекламных кампаний Яндекса
Создание мобильных приложений с помощью Yandex AppMetrics SDK
Дизайн Информационные бюллетени Yandex Mail с HTML
Интеграция веб-сервисов с API Яндекса

Яндекс — это мощная платформа, которая может помочь компаниям выйти на прибыльный российский рынок, и у Freelancer. com есть эксперты Яндекса, которые помогут вам сделать ваш сайт или приложение доступным и выгодно всего за несколько кликов. Если вы ищете инновационные способы выхода на российский рынок и заработка, почему бы не опубликовать свой проект на Freelancer.com сегодня и не нанять опытного эксперта Яндекса?

Sur 39 commentaires, les client ont évalué nos Яндекс Эксперты 4,99 за 5 звезд.
Знакомство с экспертами Яндекса

Последние исследования

Параметр фильтра:

Бюджет

Проекты с фиксированной ценой

Проекты

Дюре Toutes les duréesMoins d’une semaineDe 1 à 4 semainesDe 1 à 3 moisDe 3 à 6 moisPlus de 6 mois / en coursНе указано

Конкурсы

Тип

Траво локо
Emplois à la une
Наемный рекрутер
Emplois à temps plein

Компетенции

Языки

Статьи рекомендуются только для вас

Полное руководство по найму веб-разработчика в 2021 году

Если вы хотите оставаться конкурентоспособными в 2021 году, вам нужен качественный веб-сайт. Узнайте, как быстро нанять лучшего веб-разработчика для вашего бизнеса.

ЧТЕНИЕ 11 МИН

Подробное руководство: наймите опытных разработчиков Zen Cart рядом с вами

Найдите местных экспертов по разработке Zen Cart с помощью этого полезного руководства.

ЧТЕНИЕ 17 МИН

Лучший способ найти надежного разработчика WordPress рядом с вами

Поскольку компании продолжают отдавать приоритет своему присутствию в Интернете, спрос на квалифицированных разработчиков WordPress в местных регионах продолжает расти.

ЧТЕНИЕ 17 МИН

Что такое метатег Robots и как его использовать? EverSpark Interactive

Что делать, если вы не хотите, чтобы страница отображалась в Google?

SEO — это искусство управления тем, как ваш сайт взаимодействует с поисковыми системами. Обычно это означает получение как можно большего количества показов, но могут быть случаи, когда вы хотите исключить страницу из результатов поиска или ограничить способ ее использования поисковыми системами.

Для любого вида SEO-работы метатеги часто являются одними из самых полезных инструментов в вашем наборе инструментов. И один тег, известный как метатег robots , позволяет вам давать специальные инструкции непосредственно поисковым системам — инструкции, которые могут изменить то, как (или если) ваш сайт будет отображаться в результатах поиска.

Это дает вам более высокий уровень контроля над тем, как и отображается ли ваш контент в Google, Bing и других поисковых системах.

Что такое метатег Robots и как он работает?

Метатеги — это строки html-кода на веб-странице, которые не влияют на то, как страница выглядит для посетителей, но содержат дополнительную информацию — «метаданные», которые могут быть полезны поисковым системам или программистам.

Метатег robots — это тег, предназначенный для прямого взаимодействия с программами поисковых систем («роботами»), когда они сканируют вашу веб-страницу. Поисковые системы постоянно сканируют Интернет в поисках нового или обновленного контента, чтобы их результаты поиска были актуальными и точными. Большинство поисковых систем считывают тег robots на сайте и соблюдают любые содержащиеся в нем специальные инструкции.

Вам просто нужно знать, как писать эти инструкции. И этому мы вас научим.

Роботы Meta vs. Robots.txt

Прежде чем мы углубимся в инструкции, важно понять наши термины. В мире веб-дизайна и SEO вы также встретите термин robots.txt или текстовый файл robots . Хотя имена похожи, метатег robots отличается от robots.txt. Оба служат одинаковой цели информирования поисковых систем об особой обработке, но они работают на разных уровнях.

Robots.txt — это файл высокого уровня, который содержит инструкции для всего веб-сайта или целой области веб-сайта. Например, robots.txt может указать поисковой системе не индексировать блог вашей компании. (Кстати, это плохой выбор для SEO.)

Метатег robots применяется только к одной конкретной странице вашего сайта. Например, он может сказать поисковым системам не индексировать сообщение в блоге, опубликованное во вторник.

Тег robots обеспечивает более высокий уровень контроля, чем robots.txt. В этой статье мы рассмотрим только метатег, так как он более полезен для целей SEO.

Зачем мне использовать этот метатег?

Обычно вам не нужно использовать метатег robots. Если вы хотите максимизировать свой веб-трафик и рейтинг страницы, вы должны позволить поисковым системам беспрепятственно выполнять свою работу. Но могут быть особые случаи, когда имеет смысл отклонить их или ограничить их возможности.

Например:

Ограниченная конфиденциальность. Если страница на самом деле не предназначена для широкой публики, метаданные robots снизят вероятность того, что люди ее найдут. Он не будет невидимым — его все равно увидит любой, у кого есть ссылка, — но он будет в стороне от проторенных путей.
Страница не готова для общего доступа. Допустим, новая функция сайта находится в стадии бета-тестирования, и вы хотите, чтобы большое количество сотрудников или избранные клиенты могли ее проверить. Вы можете запустить страницу и использовать метатег robots, чтобы удерживать поисковый трафик, пока она не будет готова. Просто не забудьте обновить свой тег, когда захотите выйти в эфир!
Спам-ссылки. Есть несколько более быстрых способов снизить рейтинг вашей страницы, чем ссылки на спам-сайты. Но что, если на таком сайте действительно есть отличный ресурс, которым вы хотите поделиться со своими посетителями? Метатег robots может указать поисковым системам не переходить по ссылке, защищая рейтинг вашей страницы.
Защита изображений. Для большинства предприятий лучше всего позволить своим изображениям (с водяными знаками, атрибутами) широко распространяться в Интернете. Но если вы хотите разместить изображение, не увидев его использования где-либо еще, тег robots может запретить Google индексировать ваши изображения.

Как вставлять метатеги robots

Метатег robots выглядит примерно так:

{code type=HTML}
{/code}

Это всегда одна строка кода, которую необходимо вставить в раздел заголовка HTML-кода страницы. Например:

{тип кода = HTML}
 
<голова>
…


…{/код} 

Если вы используете WordPress.org, существуют плагины, которые позволяют вам возиться с вашими метатегами самостоятельно или как часть вашей стратегии SEO без прямого редактирования кода. Мета-теги не влияют на то, как ваш сайт выглядит для посетителей.

То, что делает ваш тег robots, зависит от того, какие значения вы в него вложите.

Базовые значения

В приведенном выше примере nofollow – это «значение» метатега. Но есть шесть основных значений, каждое из которых делает что-то свое:

index: поисковые системы могут нормально индексировать страницу
noindex: поисковые системы не должны индексировать страницу; он не будет отображаться в результатах поиска
follow: роботы поисковых систем могут «сканировать» или переходить по всем ссылкам на странице
nofollow: роботы не должны сканировать ссылки на странице
архив: поисковые системы могут заархивировать полную копию страницы и показать ее в своих результатах поиска (даже если вы закроете страницу)
noarchive: поисковые системы не должны архивировать страницу

Обратите внимание, что не все поисковые системы будут учитывать все (или некоторые) теги, и они не обязаны обрабатывать вашу страницу так, как вам нравится. Например, Baidu, ведущая китайская поисковая система, не придерживается тега «noindex».

Расширенные значения тегов и альтернативы

Шесть приведенных выше тегов удовлетворят потребности большинства пользователей, но есть и более специализированные, а также альтернативные теги, используемые некоторыми поисковыми системами.

Вот другие значения тегов, вместе с которыми их распознают поисковые системы:

все: объединяет значения «index» и «follow». , Яндекс)
нет: сочетает в себе значения noindex и nofollow и является наиболее ограничивающим из основных значений тега (Google, Ask, Yandex)
noimageindex: просит поисковые системы не индексировать ваши изображения (Google)
unavailable_after: устанавливает крайний срок, после которого страница больше не должна отображаться в результатах поиска (используется, например, как «unavailable_after: 31 декабря 1999 23:59:59 EST») (Google)
nocache: это альтернативная форма значения noarchive; это просто еще один способ попросить поисковые системы не архивировать кешированную версию вашей страницы (Bing/Yahoo!)
nosnippet: делает то же самое, что и noarchive или nocache, но идет на шаг дальше. Большинство поисковых систем создадут фрагмент вашей веб-страницы, чтобы показать его в результатах поиска; это просит их не делать этого. (Гугл)
notranslate: попросит поисковые системы не предоставлять перевод страницы в результатах поиска (Google)
noodp: просит поисковые системы не использовать Open Directory Project, редактируемый человеком архив веб-страниц, для фрагмента вашей страницы (Google, Bing/Yahoo!)
noydir: не позволяет поисковым системам использовать Yahoo! Описание каталога в виде описательного фрагмента страницы в результатах поиска (устарело, поскольку Yahoo! была захвачена Bing)

Советы по использованию

Многие владельцы сайтов, не имеющие опыта веб-дизайна, могут захотеть повозиться с метатегами в целях SEO. Вам не нужно быть гуру HTML, чтобы редактировать метатег вашего робота, но вам нужно правильно использовать значения.

Следует помнить о трех вещах:

Можно использовать более одного значения. Объединяя их, вы получаете более тонкий контроль, и вы можете поместить их всех в один тег робота. Просто разделите несколько значений запятыми. Например: nofollow, noimageindex, notranslate ” />
Заглавные буквы не имеют значения. За исключением паролей, в Интернете ограничения почти никогда не имеют значения. Например, Конфликтующие значения тегов
Тег может содержать конфликтующие значения. Например:
{code type=HTML}{/code}
Тег none указывает поисковым системам , а не , переходить по вашим ссылкам, а тег «follow» сообщает им , что они должны переходить по вашим ссылкам. Вы всегда должны дважды проверять свои метатеги, когда вводите их, чтобы избежать подобных ситуаций. Однако, если это произойдет, это не катастрофа; это просто непредсказуемые результаты.
Большинство поисковых систем никогда не давали публичных ответов о том, как они справляются с подобным конфликтом. У Google есть, и он всегда отдает предпочтение наиболее ограничительному тегу: в приведенном выше примере он будет игнорировать «follow». Яндекс также объяснил свою политику, и она идет с настройкой по умолчанию. Итак, в этом примере Яндекс будет сканировать ваши ссылки, Google будет , а не , а что может сделать любая другая поисковая система, остается загадкой.
Точно так же, если ваш файл robots. txt конфликтует с вашим метатегом robots, нет однозначного ответа на то, как они разрешаются большинством поисковых систем.

Могу ли я не указывать метатеги Robots?
Если всего этого слишком много, можете смело не указывать теги robots. Вам не нужно включать их, даже чтобы сказать «все» или «индексировать». Все поисковые системы по умолчанию будут индексировать вашу страницу и сканировать ваши ссылки, если вы не запретите им это делать. Использование метатегов совершенно необязательно.
Однако, если вы запускаете сложный веб-сайт или хотите, чтобы определенный контент был менее заметным, метатег robots может быть отличным способом сделать это. Несмотря на то, что он не является полностью надежным, его уважают наиболее широко используемые англоязычные поисковые системы, и с его помощью вы можете контролировать, как они используют ваш контент.

Мы можем помочь
В Everspark мы поощряем наших клиентов учиться и экспериментировать с тем, как управлять метатегами.