Что такое noindex? Тег для Яндекса

Noindex – метатег, используемый веб-мастерами для запрета поисковым роботам Яндекса индексации некоторой части веб-страницы. Распространяется он только на текст – изображения и ссылки остаются индексируемыми. Если в ссылке используется анкор, то текстовый якорь не индексируется, однако учитывается сама ссылка.

Прописывают тег следующим образом:

<noindex>часть контента, которая не должна индексироваться</noindex>

Данный метатег был введен Яндексом и используется только им, поэтому он не валиден. Для стандартизации документа стоит прописывать его в виде комментария:

<!—noindex—>часть контента, которая не должна индексироваться<!—/noindex—>

Невзирая на то, что данный метатег используется лишь одной поисковой системой, за злоупотребление им могут быть наложены фильтры. Так, предприимчивые веб-мастера прячут за метатегом noindex нерелевалентный или неуникальный контент, который видят лишь пользователи. Для роботов создается отдельный текст, наполненный ключевыми словами и тяжелый для восприятия людьми.

Яндекс, для выявления любых «серых» методов, все же индексирует текст, помеченный тегом noindex. После проверки, если все в порядке, система отфильтровывает скрытый текст. Либо, посчитав его некорректным, накладывает определенные санкции на сайт.

Альтернатива noindex

Часть страницы можно закрыть от индексации лишь в Яндексе. Остальные поисковые системы, по желанию владельцев, не проводят индексирование лишь цельных страниц. К ним могут относиться следующие документы:

• администраторская панель;
• продублированный контент – архивы, теги, результаты поисковых запросов по ресурсу;
• неуникальный контент;
• коды аналитических счетчиков;
• документы, содержащие комментарии, отзывы, сообщения;
• справочная информация (контакты, ссылки), которая не должна появляться в выдаче;
• постоянно обновляемый контент, индексировать который не имеет смысла.

Установить блокировку индексации отдельных документов для всех поисковиков можно через текстовый файл robots:

<meta name=»robots»content=»noindex, follow «/>

Если нужен запрет для конкретного поисковика, то указывается его идентификатор – информацию можно найти в справочниках поисковых систем. К примеру, запрет на индексацию документа для Гугла выглядит так:

<meta name=»googlebot»content=»noindex, follow»/>

Что дает запрет на индексацию

Метатег noindex способствует оптимизцации ресурса:

• контент сайта становится более релевалентен за счет исключения ненужной для пользователей информации (неуникального текста, устаревших или второстепенных данных). Происходит не только устранение ненужного материала, но возрастает плотность использования ключевых фраз на оставшийся текстовый объем;
• скрывается дублирующаяся на нескольких страницах информация из сквозных блоков, не приветствуемая поисковыми системами;
• исключается попадание в сниппет служебной информации (адресов, номеров телефонов), которые могут быть закреплены за другими компаниями в онлайн-справочниках или упоминаться на иных сайтах.

Дайджест обновлений «Яндекса» и Google. Что произошло за первый квартал 2022 — SEO на vc.ru

2152 просмотров

И снова здравствуйте! Первый квартал 2022 оказался богат на обновления. Наш бессменный автор Андрей Комаров, руководитель группы оптимизаторов Webit, постарался ничего не упустить и порадовать нас свежими обновлениями поисковых систем.

Яндекс

1. «Яндекс» договорился о мировом соглашении с Avito, Profi.ru и другими по делу о «колдунщиках».

2. Яндекс закрывает сервис по продаже и обмену товаров «Объявления».

3. В Яндекс.Вебмастере появилось уведомление.

Возможны неточности в данных – если что пишите в службу поддержки.

4. Яндекс тестирует вывод результатов поиска по центру экрана. Непривычно наблюдать за этим на большом мониторе.

5. Начали править интерфейс отчета по внешним ссылкам в Яндекс.Вебмастере? Пропала динамика, осталась лишь круговая.

диаграмма по ИКС входящих ссылок

6. Помогите Яндексу развить свой сервис. Создайте там свой магазин 😉 Теперь любой продавец может создать аналог своего сайта прямо на Яндекс.Маркете.

7. Яндекс тестирует двойной блок быстрых ответов в выдаче.

8. Яндекс запустил блок Поиска по товарам для всех (раньше было бета-тестирование).

9. Индекс качества воспроизведения видео — новый показатель в поиске. Идентификационный значок видеоконтента будет расположен в Вебмастере на странице Показатели качества.

Google

1. Google добавил новый блок «Shops» в результаты поиска.

В компании подтвердили запуск. Согласно Google, новый блок пока выводится по избранным запросам, связанным с покупками, на английском языке.

2. Google тестирует новый блок для городов и других локаций в результатах поиска. Блок называется «Location».

3. Google в Search Console выкатил отчет по основным интернет показателям и удобстве страниц теперь еще и для десктопа. Это подготовка к февральскому алгоритму, который будет учитывать Core Web Vitals в ранжировании результатов поиска на десктопе.

4. Новый тег robots: indexifembedded. Разрешает индексацию контента в Google, встроенного через <iframe>, даже если сама страница запрещена к индексации при помощи noindex.

5. Google обновил требования к разметке рецептов. Обновление коснулось свойств cookTime и prepTime. Удалены рекомендации по указанию диапазона времени, теперь поддерживается только указание точного времени, диапазоны не поддерживаются.

6. В мобильной выдаче Google появился блок People Search Next.

7. Появился новый API от Google — Search Console URL Inspection API (не путайте с Google Indexing API). Данный API уже интегрирован в Screaming Frog Прикольная штука – обязательно попробуйте.

8. Google тестирует выдачу без описаний.

9. Google тестирует новую функцию «Руководство по покупке» в результатах поиска.

10. Google тестирует новые пометки для рекламных объявлений в поисковой выдаче. Возможно, реклама станет заметнее и CTR органического поиска станет выше? Следим. Хотя в свете остановки рекламы Google в РФ, данный пункт пока неактуален.

11. 23 февраля Google начал запуск обновления Page Experience на десктопах. 3 марта закончили выкатывать. Теперь показатели Web Vitals для десктопов также учитываются в ранжировании. Читайте нашу статью о том, как мы готовились к внедрению этого алгоритма.

12. Карта в блоке локальной выдачи Google стала интерактивной. Пока это замечают только англоязычные пользователи. Ждем, когда раскатают на всех.

13. С 4 марта Google приостановил рекламу в России.

Теперь только органическая выдача. Вот сейчас можно реально оценить сколько трафика забирала реклама у органики.

Также тут добавлю, что мы видим перераспределение рекламных бюджетов на Яндекс. В результате, для большинства тематик в Google, органический трафик растет, а в Яндексе начинает падать.

14. Робот Google Favicon теперь следует правилам для Googlebot-Image и Googlebot в robots. txt. Пока такие изменения замечены в англоязычной справке.

15. Google запустил две новые функции для улучшения поисковых запросов. Пока работает только для США.

16. Google запустил бесплатные ссылки для бронирования отелей в Поиске и на Картах. Начиная с апреля отдельные отели, соответствующие требованиям, смогут вручную добавить свои тарифы в бизнес-профиль в Google. В каких странах это будет работать не уточнили.

17. Google приглашает к тестированию новой метрики для Core Web Vitals. С 8 марта она доступна в отчете Chrome UX как «experimental.responsiveness» (экспериментальная отзывчивость).

18. Роскомнадзор 23 марта заблокировал Google News.

19. 23 марта начали раскатывать очередной Google Product Reviews Update.

20. Google прекратит поддержку инструмента параметров URL в Search Console.

23. Google запускает значок «Trusted Store» для продавцов с отличными услугами доставки и возврата.

22. Сам не проверял, но заметил в одном из телеграмм каналов.

После 3-й попытки появился новый альтернативный способ подтверждения компании в Google Мой Бизнес «Видеовстреча». Похоже ребятам из службы поддержки Google сейчас совсем скучно. Кстати, видеовстреча появилась после подтверждения через E-mail. Т.е. вчера я подтвердил код по e-mail – но им показалось этого мало и они предлагают еще видеовстречу 😎

Комаров Андрей, Руководитель группы оптимизаторов Webit

БОНУС

1. В Chrome DevTools появилась превью-версия новой панели Recorder. Возможно, кому-нибудь будет интересно.

2. IndexNow начал поддерживать обмен данными между поисковыми системами Яндекс и Bing. Google пока тестирует, но, возможно, в ближайшем будущем присоединится (надеемся).

3. Opera теперь поддерживает URL-адреса из эмодзи. Получается прикольно).

4. Книга по GA4, вдруг кто-то хочет прокачать свои скиллы.

На этом все. Задавайте вопросы и оставляйте комментариями под Дайджестом. Постараюсь на все ответить.

Комаров Андрей

Руководитель группы оптимизаторов Webit

Заблокировать поисковый робот Яндекса Задавать вопрос

спросил 6 лет, 1 месяц назад

Изменено 6 лет, 1 месяц назад

Просмотрено 1к раз

Последние несколько дней наш сайт ведет себя очень странно, много тайм-аутов и т.д. Наконец, кажется, я нашел причину, бот Яндекса сканирует около 10 000 страниц в час! Мне нужно остановить это как можно скорее, я думаю, что это создает около 50-100 ГБ пропускной способности в день.

Заблокированные IP-адреса (через https://myip.ms/info/bots/Google_Bing_Yahoo_Facebook_etc_Bot_IP_Addresses.html):

100.43.90.0/24, 37.

9.115.0/24, 37.140.165.0/24, 77.88.22.0/25, 77.88.29.0/24, 77.88.31.0/24, 77.88.59.0/24, 84.201.204,148,0 .148.0/24, 84.201.149.0/24, 87.250.243.0/24, 87.250.253.0/24, 93.158.147.0/24, 93.158.148.0/24, 93.158.151.0/24, 90.158.319,153.0 /24, 95.108.138.0/24, 95.108.150.0/23, 95.108.158.0/24, 95.108.156.0/24, 95.108.188.128/25, 95.108.234.0/24, 95.108.248.0/24, 100.43.80.0/24, 130.193.62.0/24, 141.8.153.0/24, 178.154.165.0/24, 178.154.166.128/25, 178.154.173.29, 178.154.200.158, 178.154.202.0/24, 178.154.205.0/24, 178.154.239.0/24, 178.154.243.0/24, 37.9.84.253, 199.21.99.99, 178.154.162.29, 178.154.203.251, 178.154.211.250, 95.108.246.252, 5.45. 254.0/24, 5.255.253.0/24, 37.140.141.0/24, 37.140.188.0/24, 100.43.81.0/24, 100.43.85.0/24, 100.43.91.0/24, 199.21.99.0/23 9000

Мои robots.txt:

 User-agent: Яндекс
Запретить: /
Пользовательский агент: *
Запретить: ... и т. д.
 

Но, по сообщению Cloudflare, он все еще ползает.

Что еще я могу сделать, чтобы остановить это?

• web-crawlers
• yandex

Прямо с сайта Яндекса

 User-Agent Mozilla/5. 0 (совместимый; Яндекс...) строка идентифицирует роботов Яндекса. Роботы
может отправлять запросы GET (например, ЯндексБот/3.0) и HEAD (ЯндексВебмастер/2.0) к
сервер. Обратный просмотр DNS можно использовать для проверки подлинности роботов Яндекса. Более
информацию можно найти в разделе Как проверить принадлежность робота Яндексу
помощь веб-мастера.
Если у вас есть какие-либо вопросы о наших роботах, пожалуйста, свяжитесь с нашей службой поддержки:
[email protected]. Если у вас возникли технические проблемы с нашими роботами
рекомендуем прикрепить лог вашего сервера.
 

Вы можете написать их команде по электронной почте и попросить не сканировать ваш сервер и не блокировать правильный пользовательский агент. Если ваш сервер перегружен и не справляется с запросами робота на загрузку, вам следует использовать директиву Crawl-delay. Это позволит вам указать минимальное количество времени (в секундах) между загрузкой поисковым роботом одной страницы и запуском следующей.

Примеры:

 User-agent: Яндекс
Crawl-delay: 2 # задает 2-секундный тайм-аут
 

и

 Агент пользователя: *
Запретить: /поиск
Crawl-delay: 4. 5 # указывает время ожидания 4,5 секунды.
 

2

Зарегистрируйтесь или войдите в систему

Зарегистрируйтесь с помощью Google

Зарегистрироваться через Facebook

Зарегистрируйтесь, используя электронную почту и пароль

Опубликовать как гость

Электронная почта

Требуется, но никогда не отображается

Опубликовать как гость

Электронная почта

Требуется, но не отображается

Нажимая «Опубликовать свой ответ», вы соглашаетесь с нашими условиями обслуживания, политикой конфиденциальности и политикой использования файлов cookie

.

Страница заблокирована от индексации

Страница заблокирована от индексации

Опубликовано Четверг, 2 мая 2019 г. • Обновлено Среда, 1 февраля 2023 г.

Как сделать так, чтобы поисковые системы могли сканировать вашу страницу

Добавить дополнительный элемент управления (необязательно)

Ресурсы

Поисковые системы могут отображать страницы в результатах поиска только в том случае, если эти страницы явно не блокируются поисковыми роботами. Некоторые заголовки HTTP и метатеги сообщают поисковым роботам, что страницу не следует индексировать.

Блокировать индексирование только того контента, который вы не хотите отображать в результатах поиска.

# Почему аудит индексации Lighthouse терпит неудачу

Lighthouse помечает страницы, которые поисковые системы не могут индексировать:

Lighthouse проверяет только заголовки или элементы, которые блокируют все сканеры поисковых систем. Например, приведенный ниже элемент запрещает всем сканерам поисковых систем (также известным как роботы) доступ к вашей странице:

Этот заголовок ответа HTTP также блокирует все поисковые роботы:

 X-Robots-Tag: noindex 

У вас также могут быть элементы , которые блокируют определенные поисковые роботы, например:

Lighthouse не проходит проверку на такие директивы для поисковых роботов, но они все же могут затруднить обнаружение вашей страницы, поэтому используйте их с осторожностью. Lighthouse выдаст предупреждение, если директива, специфичная для сканера, блокирует обычного индексирующего бота.

Каждый SEO-аудит имеет одинаковый вес в рейтинге Lighthouse SEO Score, за исключением ручного аудита . Структурированные данные действительны. аудит. Узнайте больше в Руководстве по подсчету очков Lighthouse.

# Как убедиться, что поисковые системы могут сканировать вашу страницу

Сначала убедитесь, что вы хотите, чтобы поисковые системы индексировали страницу. Некоторые страницы, такие как карты сайта или юридический контент, вообще не должны индексироваться. (Имейте в виду, что блокировка индексации не препятствует доступу пользователей к странице, если они знают ее URL-адрес.)

Для страниц, которые вы хотите проиндексировать, удалите все заголовки HTTP или элементы , которые блокируют сканеры поисковых систем. В зависимости от того, как вы настроили свой сайт, вам может потребоваться выполнить некоторые или все из следующих шагов:

• Удалить заголовок ответа HTTP X-Robots-Tag , если вы настроили заголовок ответа HTTP:

 X -Robots-Tag: noindex 

• Удалите следующий метатег, если он присутствует в заголовке страницы:

• Избегайте метатегов, которые блокируют определенные поисковые роботы, если эти теги присутствуют в заголовке страницы.