seo — Должен ли я удалить мета-роботов (индексировать, следить), когда у меня есть файл robots.txt?

спросил 8 лет, 10 месяцев назад

Изменено 4 года, 10 месяцев назад

Просмотрено 1к раз

Я немного не понимаю, следует ли удалять метатег robots, если я хочу, чтобы поисковые системы следовали моим правилам robots.txt.

Если на странице существует метатег robots (index, follow), будут ли поисковые системы игнорировать мой файл robots.txt и индексировать указанные запрещенные URL-адреса в моем файле robots.txt?

Причина, по которой я спрашиваю об этом, заключается в том, что поисковые системы (в основном Google) по-прежнему индексируют запрещенные страницы моего сайта.

• поисковая оптимизация
• метатеги
• robots. txt

0

Если бот поисковой системы принимает ваш файл robots.txt, а вы запрещаете сканирование

/foo , то бот никогда не будет сканировать страницы, пути URL которых начинаются с /foo . Следовательно, бот никогда не узнает, что есть мета — роботов элементов.

И наоборот, если вы хотите запретить индексировать страницу (указав meta — robots с noindex ), вы не должны запрещать сканирование этой страницы в файле robots.tx т. В противном случае доступ к noindex никогда не осуществляется, и бот считает, что сканирование запрещено, а не индексация .

С помощью файла robots.txt вы можете указать поисковым системам не сканировать определенные страницы, но это не помешает им индексировать страницы. Если страница, запрещенная в robots.txt, будет найдена сканером по внешней ссылке, она может быть проиндексирована.

Это можно предотвратить с помощью метатега. Таким образом, robots.txt и метатег работают по-разному.

https://developers.google.com/search/reference/robots_meta_tag?hl=en#combining-crawling-with-indexing—serving-directives

Метатеги Robots и заголовки HTTP X-Robots-Tag обнаруживаются при сканировании URL-адреса. Если страница запрещена для сканирования через файл robots.txt, то любая информация об индексации или обслуживании директив не будет найдена и, следовательно, будет проигнорирована. Если необходимо следовать директивам индексации или обслуживания, URL-адреса, содержащие эти директивы, не могут быть запрещены для сканирования.

Зарегистрируйтесь или войдите в систему

Зарегистрируйтесь с помощью Google

Зарегистрироваться через Facebook

Зарегистрируйтесь, используя электронную почту и пароль

Опубликовать как гость

Электронная почта

Требуется, но никогда не отображается

Опубликовать как гость

Электронная почта

Требуется, но не отображается

Нажимая «Опубликовать свой ответ», вы соглашаетесь с нашими условиями обслуживания и подтверждаете, что прочитали и поняли нашу политику конфиденциальности и кодекс поведения.

Правильное использование индекса, следуйте тегу

🇺🇸 Мэтт Стормс

🇺🇸 Мэтт Стормс

Международный консультант по поисковой оптимизации — Маркетинг и SEO для роста электронной коммерции — fmr SEO-менеджер TripAdvisor — Ветеран ВМС США — Свидетель-эксперт

Опубликовано 8 марта 2015 г.

+ Подписаться

Прежде чем углубляться, давайте разберемся побыстрее. Вы можете разместить метатег на своих страницах, содержащих один из этих четырех тегов.

1. без индекса, без следования
2. без индекса, следуйте
индекс
3. , nofollow
Индекс
4. , следуйте за

Тег #1 ( noindex, nofollow ) означает, что вы не хотите, чтобы Google или поисковая система находили страницу. Этот тег должен быть размещен на сайте до того, как сайт будет проиндексирован. Если вы добавите его позже, у вас будут проблемы. Самая большая проблема заключается в том, что у Google будет больше времени для удаления страниц с этим тегом из индекса Google.

Тег № 2 ( noindex , следуйте ) означает, что вы не хотите, чтобы поисковая система индексировала эту конкретную страницу, но вы хотите, чтобы они переходили по ссылкам на странице. Это полезно на странице низкого качества. Если вы хотите, чтобы ваш сайт не индексировался из-за проблем с низким качеством страниц, это может быть ваш тег. Мне очень нравится этот тег. Я использую его часто.

Тег № 3 ( index , nofollow ) означает, что вы хотите, чтобы поисковые системы индексировали только эту страницу, а затем не переходили ни на что другое на этой странице. Я видел это во многих стартапах, которые находятся в процессе создания своего сайта. Они просто проиндексировали домашнюю страницу и создают остальную часть сайта на лету.

Имеет некоторые полезные потребности.

Тег #4 (индекс , следуйте за ) это, безусловно, самый глупый тег, который можно использовать. Без шуток, и вот почему, если вы не говорите Google или Bing или кому-то еще не индексировать или не следить за страницей, тогда этот тег не нужен, потому что они все равно будут его сканировать.

В качестве веб-мастера, SEO, разработчика, технического директора вам не нужно использовать тег #4 (индекс , следуйте ), поскольку он уже подразумевается. Вам не нужно использовать индекс, следуйте тегу вообще. Я постоянно вижу раздувание кода, и он просто не нужен. Да, я ненавижу даже 1 строчку кода, которая не должна быть на сайте. Когда вы используете , следуйте за тегом , это просто пустая трата того, что уже подразумевается.

Теперь, если вы используете остальные три тега, вы лучше понимаете, что делаете, поскольку можете навредить своему сайту. Если вы не уверены, что произойдет, не делайте этого.

Имейте в виду, что это очень логично, и я надеюсь, что это дает лучшее представление об использовании тега.

Вы должны поместить тег в раздел head, вот все 4 тега, которые вы можете увидеть.

Если вы используете тег, вы должны использовать только 1 тег на странице. Я видел, как своенравные веб-мастера используют все четыре сразу, и если вы не думаете, что это сбивает с толку поисковые системы, то вы сумасшедший.

• Действительно ли блоги компании того стоят?

  7 декабря 2019 г.

• Что важнее, Google или ваши конкуренты?

  26 нояб.

  2019 г.

• Управление проектами для SEO? Или… Как это сделать!

  19 нояб. 2019 г.

• Инвестиции в цифровую компанию, что важнее всего? Генеральный директор или команда SEO?? Плохие оптимизаторы могут привести к увольнениям.

  7 ноября 2019 г.

• Почему множественные редиректы — это плохо в SEO-стратегии.

  5 ноября 2019 г.

  

• Что важнее — скорость или эффективность для вас и вашей команды?

  23 окт. 2019 г.

• Логин и юридические страницы — нужны ли они вам… проиндексированы для SEO?

  21 октября 2019 г.

• Когда вы наняли слишком много консультантов в свой бизнес

  20 октября 2019 г.

• Хорошо, Дешево или Быстро — выберите два, но не получите третий!

  17 окт.