Robots noindex nofollow meta: Robots Meta Tags Specifications | Google Search Central

Содержание

В чем разница между «index, follow» или «следуй за мной»



в чем же заключаются отличия приведенных ниже списков:

<meta name="robots" content="index, follow">

<meta name="robots" content="follow">

<meta name="robots" content="noindex, follow">

<meta name="robots" content="index, nofollow">

<meta name="robots" content="noindex, nofollow">
html seo noindex
Поделиться Источник Richard Frey Reyes     11 июля 2018 в 04:45

3 ответа


  • В чем разница между follow и +1

    у меня есть страница в google plus. на моей странице подписчиков 170. я добавляю значок google на свой сайт. в этом поле значка google отображается кнопка +300 и +1. моя страница google не показывает эту кнопку +1 , в чем разница между follow и +1. как я могу показать кнопку +1 на своей странице…

  • В чем разница между INDEX и VIEW в MySQL

    Какой из них быстрый либо Index, либо View оба используются для оптимизации, оба реализуются в столбце таблицы, поэтому любой объяснит, какой из них быстрее и в чем разница между ними обоими и какой сценарий мы используем view и index.



4

Прежде всего, знаете ли вы о метатегах роботов? Мета-теги роботов должны указывать пауку или искателю, какую страницу сканировать или индексировать, а какую нет.

Следовать означает : страница будет обход.
Не следовать означает : страница не будет сканироваться.
Индекс означает : ваша страница отображается в результатах поиска.
Отсутствие индекса означает , что ваша страница не отображается в результатах поиска.


<meta name="robots" content="index, follow">

Этот тег сообщает веб-искателю, что все страницы будут проиндексированы и будут сканироваться.


<meta name="robots" content="follow">

Этот тег используется для того, чтобы сообщить веб-искателю, что все страницы будут просмотрены и проиндексированы.


<meta name="robots" content="noindex, follow">

Этот тег используется для указания искателю следовать, но не индексировать страницу в вашей базе данных.


<meta name="robots" content="index, nofollow">

Чтобы сказать странице веб-искателя не сканировать, а индексировать их.


<meta name="robots" content="noindex, nofollow">

Чтобы веб-искатель не индексировал и не сканировал.

Поделиться Mahesh Sharma     15 июля 2018 в 04:30



1

Основное различие между этими тегами заключается в очень простых словах:

noindex Страница не должна отображаться в списке результатов таких страниц, как google, yahoo и так далее. индекс означает обратное и допускает это.

nofollow Запрещает искателям/роботам вызывать (следовать) ссылки, которые встроены в / найдены на страницах, которые несут этот флаг в своих метаданных. следовать означает противоположное и позволяет это.

Теперь вы сами можете понять, к чему приводит каждая комбинация того и другого. 😉

Поделиться Lynx 242     11 июля 2018 в 05:02



1

Паук будет индексировать весь ваш сайт. Паук будет индексировать не только первую веб-страницу вашего сайта, но и все остальные веб-страницы, когда он будет перемещаться по ссылкам с этой страницы. Сообщает поисковым системам, что он может переходить по ссылкам на странице, чтобы обнаружить другие страницы. (оба из них являются поведением по умолчанию

)

<meta name="robots" content="index, follow">

<meta name="robots" content="follow">

Теперь паук будет индексировать весь ваш сайт. Паук не будет индексировать веб-страницу, но он может переходить по ссылкам на странице, чтобы обнаружить другие страницы.

<meta name="robots" content="noindex, follow">

Паук будет индексировать эту страницу, но он не будет переходить по ссылкам на этой странице на новые страницы.

<meta name="robots" content="index, nofollow">

Паук вообще не будет индексировать эту страницу и не будет переходить по ссылкам на этой странице на любые другие страницы.

<meta name="robots" content="noindex, nofollow">

Источники :

https://www.metatags.org/meta_name_robots

The ultimate guide to the meta robots tag

https://developer.mozilla.org/en-US/docs/Web/HTML/Element/meta#attr-имя

Поделиться Jordan Quartermain     11 июля 2018 в 05:14



Похожие вопросы:


В чем разница между CREATE INDEX и CREATE UNIQUE INDEX?

В чем разница между CREATE INDEX AND CREATE UNIQUE INDEX в SQLite3 и Android OS? Как работают индексы в базе данных? Как они связаны со столбцами в таблице?


В чем разница между ‘index’ и ‘list-index’

Для сопоставления коллекций в NHibernate с упорядоченными коллекциями, такими как списки, необходимо сопоставить поле столбца индекса. Я только что заметил, что, начиная с NHibernate 2.0, существует…


В чем разница между MySQL create index и alter add index?

У меня есть таблица data с идентификатором столбца (varchar), текстом(varchar), датой(date). Создавая индекс на mysql, я использую heidiSQL. Когда я щелкаю правой кнопкой мыши по столбцу и выбираю…


В чем разница между follow и +1

у меня есть страница в google plus. на моей странице подписчиков 170. я добавляю значок google на свой сайт. в этом поле значка google отображается кнопка +300 и +1. моя страница google не…


В чем разница между INDEX и VIEW в MySQL

Какой из них быстрый либо Index, либо View оба используются для оптимизации, оба реализуются в столбце таблицы, поэтому любой объяснит, какой из них быстрее и в чем разница между ними обоими и какой…


В чем разница между enabled: false и index: ‘no’ в elasticsearch?

При отображении полей в elaticsearch в чем разница между настройками enabled : false на поле против установки index : ‘no’ ?


В чем разница между «git add» и » git update-index»

В чем разница между git add и git update-index? При каких обстоятельствах я мог бы использовать одну из этих команд или другую?


В чем разница между флагами —find-links и —index-url pip?

Читая документацию pip , мне не совсем понятно, в чем разница между указанием —find-links URL или —index-url/—extra-index-url для дополнительных пакетов. В документации говорится : : -i,…


В чем разница между isRemovedOnCompletion и kCAFillModeForwards

Я не понимаю, в чем разница между isRemovedOnCompletion и kCAFillModeForwards в анимации слоев. Я читаю книгу об анимации, которая предлагает использовать только kCAFillModeForwards, чтобы сохранить…


Разница между использованием X.push (?) или X[index] =?

Я хочу создать array (X) известной длины в javascript. В чем разница между использованием X.push(??) или X[index] = ?? для заполнения моего массива? Результаты кажутся одинаковыми, но есть ли…

driver.page_source возвращает только meta name=»ROBOTS» content=»NOINDEX, NOFOLLOW» с использованием Selenium



Я хочу очистить один сайт, чтобы получить содержимое страницы с этим кодом:

from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
driver = webdriver.Remote("http://adress:4444/wd/hub", DesiredCapabilities.CHROME)
link = 'website_url'
driver.get(link)
s = driver.page_source
print((s.encode("utf-8")))
driver.quit()

это то, что получают:

<meta name="ROBOTS" content="NOINDEX, NOFOLLOW">

Я также пробовал много разных способов, Luminati, proxy newipnow, phantomjs, но не работает, есть предложения, что еще я могу попробовать решить эту проблему?

python selenium web-scraping meta-tags meta
Поделиться Источник Unknown     24 августа 2019 в 13:02

1 ответ




1

<meta name="ROBOTS" content="value">

Этот мета-тег сообщает различным поисковым системам о действиях, которые они могут и не могут совершать на определенной странице. Этот мета-тег может быть размещен в любом месте внутри тегов <head> и </head> .

Примечание :: поскольку этот тег <meta> не имеет общесайтового эффекта, он может содержать разные значения на разных страницах одного и того же веб-сайта.

Допустимыми значениями являются:

  • Index (значение по умолчанию)
  • Noindex
  • None
  • Follow
  • Nofollow
  • Noarchive
  • Nosnippet

Эти значения также могут быть объединены для формирования желаемого допустимого тега meta robots.

Пример:

  • <meta name="robots" content="noindex" />
  • <meta name="robots" content="index,follow" />
  • <meta name="robots" content="index,follow,noarchive" />

Значение NOINDEX передает поисковым системам NOT для индексации страницы, поэтому страница не должна отображаться в результатах поиска. Значение NOFOLLOW передает поисковые системы NOT для отслеживания или обнаружения страниц, на которые есть ссылки на этой странице.

Веб-разработчики добавляют тег NOINDEX , NOFOLLOW meta robots на сайты разработки, поэтому поисковые системы случайно не начинают отправлять трафик на сайт, который все еще находится в стадии разработки.


Почему ты видишь?

Причина может быть одной из следующих:

  • Вы пытаетесь выполнить свои автоматизированные тесты в среде разработки .
  • Команда разработчиков случайно добавила этот тег на живой сайт.
  • Команда разработчиков забыла удалить его с живых сайтов после выхода в эфир.

Ссылка

Каково значение тега meta name «robots»


Концовка

Использование мета — тега robots

Поделиться DebanjanB     24 августа 2019 в 22:26


Похожие вопросы:


Установите NOINDEX, NOFOLLOW на конкретные продукты

My magento store имеет следующее, чтобы позволить google / поисковым системам сканировать весь сайт. <meta name=robots content=INDEX,FOLLOW /> Теперь я нуждаюсь в некоторых конкретных…


SEO — noindex, nofollow и канонический тег

Мне нужно кое-что объяснить по поводу моего вопроса. Пример в моем заголовке уже добавлен <meta name=robots content=noindex, nofollow /> Должен ли я снова добавить канонический тег в свой…


Нужно ли добавлять атрибут nofollow rel к ссылкам, если страница href содержит метатег роботов, содержащий noindex и nofollow?

Если у меня есть страница (dontFollowMe.html) с метатегом: < meta name = robots content = noindex, nofollow / > … и я ссылаюсь на эту страницу … Нужно ли включать атрибут nofollow rel в…


CakePHP: добавление тега meta nofollow в макет из представления

Я хочу иметь возможность добавить мета-тег из представления (или контроллера, если это возможно) в CakePHP У меня есть страница типа /mycontroller/myview , но когда к ней обращаются с такими…


Как редактировать в Magento <meta name=»robots» content=»NOINDEX,FOLLOW» /> для отдельных страниц

Я изо всех сил пытаюсь найти в Magento способ редактировать <meta name=robots content=NOINDEX,FOLLOW> для отдельных страниц. Кто-нибудь знает, как это сделать? Пожалуйста, помогите. Спасибо


Noindex, nofollow-достаточно ли поместить их в ответ HTTP?

Я думаю, что название этого вопроса говорит само за себя — при разработке и развертывании бета-версий, должен ли я поставить X-Robots-Tag: noindex, nofollow в ответе HTTP, или <meta name=robots…


тег meta robots на joomla 2.5, глобальные настройки

У меня возникла эта проблема с joomla 2.5 и тегом Meta robots. В принципе, в joomla есть эта черная дыра, которая не имеет значения, что такое URL, пока у вас есть действительный идентификатор…


Расположение <meta name=’robots’ content=’noindex,follow’ /> в WordPress файлах

Я работаю на сайте WordPress, построенном кем-то другим, и обнаружил, что этот мета-тег есть на всех страницах: <meta name=’robots’ content=’noindex,follow’ /> Мне нужно это отредактировать. Я…


<meta name=»robots»> не работает

У меня есть страница по адресу: https:/ / www.luckycheckout.com/goto/282/cs/1?ct=1 который содержит следующую строку кода в разделе head: <meta name=robots content=noindex, nofollow /> У меня…


Как добавить `nofollow, noindex` всех страниц в robots.txt?

Я хочу добавить nofollow и noindex на свой сайт, пока он строится. У клиента есть запрос, чтобы я использовал эти правила. Я знаю о <meta name=robots content=noindex,nofollow> Но у меня есть…

Что такое мета-тег Robots и зачем он нужен?

Содержание:

Мета-тег robots поможет найти общий язык с поисковыми роботами 

Даже не зная, зачем нужен мета-тег robots, только исходя из его названия, уже можно сделать выводы о том, что он имеет какое-то отношение к роботам поисковых систем. И это действительно так.

Внедрение мета-тега robots в код веб-страницы дает возможность указать поисковым ботам свои пожелания по поводу индексирования ее содержимого и ссылок, расположенных на ней.

Это может пригодится в многих ситуациях. Например, при наличии на сайте дублирования контента или для предотвращения передачи веса страничек по ссылкам, расположенным на них.

Как воспользоваться возможностями мета-тега robots

Страница, к которой нужно применить желаемые условия индексирования, должна содержать внутри тега <head> своего html-кода правильно оформленный мета-тег robots. 

Структура его довольно проста:


 
Чтобы он был правильно воспринят ботами поисковиков, в данной конструкции содержимое атрибута content (‘’ххххххххх’’) должно состоять из одной или нескольких (через запятую) стандартных директив:

  1. index/noindex – указывает на необходимость индексации/игнорирования содержимого страницы.
     
  2. follow/nofollow – анализировать/игнорировать ссылки в пределах веб-страницы.
     
  3. all/none – индексировать/игнорировать страницу полностью.
     
  4. noimageindex – запрет индексации присутствующих на странице изображений.
     
  5. noarchive – запрет на вывод в результатах поиска ссылки «Сохраненная копия», которая дает возможность просматривать сохраненную в кэше поисковика копию страницы (даже если она временно недоступна или удалена с сайта).
     
  6. nosnippet – запрет на вывод в поисковой выдаче под названием страницы фрагмента текста (сниппета), описывающего ее содержание.
     
  7. noodp – директива, которая сообщает Google-боту о запрете использования в качестве сниппета страницы, описания из каталога Open Directory Project (он же DMOZ). 

Особенности использования мета-тега robots

Некоторые поддерживаемый этим мета-тегом комбинации директив взаимозаменяемы (тождественны). Например, если нужно запретить индексирование содержимого странички и всех ссылок на ней, можно использовать в мета-теге robots ‘’noindex, nofollow’’ или же директиву ‘’none’’.


 
В обратном случае, когда нужно индексировать всё (в параметре content мета-тега robots – ‘’index, follow’’ или ‘’all’’), появляется еще и третий вариант – вообще не внедрять этот тег в код страницы.


 
Бывают и частные случаи, в которых указания по поводу индексирования нужно сообщить только роботу какой-нибудь одной поисковой системы. Для этого нужно вместо ‘’robots’’ указать имя бота, которого касаются содержащиеся в мета-теге директивы. Например, если Google должен внести в свой индекс содержимое странички, но при этом не анализировать ссылки на ней:


 
Важно, чтобы в содержимом атрибута content не было повторений или присутствия противоречащих друг другу директив, поскольку в этом случае мета-тег может быть проигнорирован поисковым ботом.

Еще один момент, на почве которого довольно часто спорят веб-мастера – регистр, в котором прописывается содержимое мета-тега. Одни считают, что правильно использовать только прописные, другие – только строчные. Но на самом деле приемлемы оба варианта, поскольку мета-тег нечувствителен к регистру.

Зачем нужен мета-тег robots, если есть файл robots.txt?

Да, действительно на первый взгляд может показаться, что применение этого мета-тега предоставляет те же возможности, что и настройка файла robots.txt. Но несколько отличий все же есть. И они вполне могут быть причинами, чтобы отдать предпочтение использованию мета-тега:

  1. Мета-тег robots используется для более тонкой настройки индексации – можно закрыть контент, но оставить открытыми ссылки (в параметре content мета-тега robots – ‘’noindex, follow’’) и наоборот. В robots.txt такой возможности нет.


     

  2. В ситуациях, когда нет возможности получить доступ к корневой директории веб-сайта, редактировать robots.txt не представляется возможным. Вот тогда-то и приходит на помощь одноименный мета-тег. 
     
  3. В robots.txt можно закрыть от индексации целый каталог, чтобы запретить доступ ботов ко всем, содержащимся в нем страницам, тогда как мета-тег придется использовать для каждой из них. Получается, что в таком случае удобнее произвести настройки в файле. Но если некоторые страницы внутри каталога все же нужно оставить открытыми, удобнее использовать мета-тег.

Для управления индексацией страниц веб-сайта допустимо одновременно использовать мета-тег robots и файл robots.txt. Они могут отвечать за указания поисковым ботам по поводу разных веб-страниц или же дублировать команды друг друга. 

А вот если в них будут присутствовать противоречащие директивы по поводу одних и тех же страниц, роботы поисковиков будут принимать не всегда верное решение – по умолчанию выбирается более строгое указание. Получается, что страницы (или ссылки на них), по поводу которых между robots.txt и мета-тегом robots имеются разногласия, индексироваться не будут.

Возможность управления индексацией веб-сайта – очень полезный инструмент для SEO-продвижения.  Главное, научиться правильно определять, в какой ситуации эффективнее использовать тот или иной из теперь известных Вам способов.

 

 

Тег meta name robots contents — noindex, follow, noodp и др.

Назначение тега robots состоит в том, чтобы давать возможность или запрещать роботам, посещающим сайт, добавлять сведения о нем в базу данных поисковых систем (индексировать страницу). Еще этот элемент может предложить роботам обойти весь сайт и проиндексировать его страницы. Запрещать индексирование файлов и каталогов предпочтительно через файл robots.txt Пользователи, не имеющие доступа к корневой директории сервера, могут использовать этот тег для запрета индексирования своих документов и каталогов.

Тег ставится в начале html-документа (значения помещаются в meta тег).

Его запись довольно проста (не имеет значения большие или маленькие буквы используются):

<meta name=»robots» content=»значение«>

Атрибут content элемента robots может принимать такие параметры:

  • index — робот может индексировать страницу
  • noindex — робот не может индексировать страницу
  • follow — робот может переходить по ссылкам со страницы
  • nofollow — робот не может переходить по ссылкам со страницы
  • all — то же, что и INDEX, FOLLOW
  • none — то же, что и NOINDEX, NOFOLLOW
  • noimageindex — робот не может индексировать картинки
  • noarchive — не сохранять копию и не показывать ссылку «сохраненная копия»
  • noyaca — для ПС yandex: не использовать описание из Яндекс.Каталога в результатах поиска.
  • noodp — не использовать описание из каталога DMOZ в результатах поиска.
  • notranslate — запретить перевод контента вашей страницы (для Google — не предлагать автоперевод)
  • nosnippet — запретить вывод описания страницы в результатах поиска, также запрещает кешировать (noarchive)

Meta name robots noindex и nofollow

Для того чтобы отключить индексацию нужно написать

<meta name=»robots» content=»noindex«>

Если вы хотите чтобы робот не переходил по ссылкам со страницы нужно изменить значение meta-тега атрибута content на nofollow.

Чтобы не дать определенному поисковому роботу индексировать вашу страницу, но разрешить это другим, нужно использовать такую запись:

<meta name=»имя_робота которому_запрещена_индексация» content=»noindex, nofollow«>

Как видите, если аргумент content имеет несколько параметров, то они перечисляются через запятую.

Meta name yandex

Имя робота в случае ПС Яндекса — yandex

<meta name=»yandex» content=»noindex, nofollow«>

Meta name google

Для поисковой системы Google имя робота следует указать — google, пример:

<meta name=»google» content=»noindex, nofollow«>

Meta name robots index и follow

Чтобы одновременно можно было переходить индексировать страницу и переходить по ссылкам следует записать:

<meta name=»robots» content=»index, follow«>

Чтобы не заносить в базу данных поисковой машины картинки пишут:

<meta name=»robots» content=»noimageindex«>

Meta name robots content noarchive

Поисковые машины Google и Yandex для каждого сканируемого сайта, делают и сохраняют его снимок. Архивированный вариант хранится в кэше, что дает возможность поисковику отображать эту страницу по специальной ссылке в результатах поиска, когда она по каким-то техническим причинам недоступна. Веб-страница, хранимая в кэше, отображается такой, какой она была в тот момент, когда ее сохранил поисковый робот. О том, что пользователь просматривает кэшированную страницу говорит сообщение в верхней части сайта. Можно обратиться к кэш-версии страницы, нажав на кнопку «сохранено в кэше», в результатах поиска.

Если вы не желаете, чтобы в поисковых системах была подобная ссылка, можно дописать в head такой тег:

<meta name=»robots» content=»noarchive«>

Для того чтобы кнопка «Сохранено в кэше» не выводилась в определенной поисковой системе можно написать:

<meta name=»имя_робота» content=»noarchive«>

Такая запись убирает только ссылку «Сохранено» на архивированную страницу, поисковая система и дальше будет индексировать сайт и отображать его фрагмент.

NOSNIPPET — убрать сниппет

Сниппетом называется текст, под заголовком страницы в результатах поиска, используемый для описания сайта.

Чтобы он не выводился, в части head добавляется такой тег:

<meta name=»имя_робота» content=»nosnippet«>

Когда удаляется фрагмент с ним удаляются и архивированные в кэш страницы.

NOODP — запрет использования DMOZ поисковиками

Для создания фрагментов часто применяется такой источник, как Open Directory Project. Чтобы поисковики не применяли его, для описания содержимого сайта, добавляется тег:

<meta name=»robots» content=»noodp«>

Или такой:

<meta name=»имя_робота» content=»noodp«>

Параметры атрибута content можно объединять, таким образом:

<meta name=»robots» content=»noodp, nofollow«>

Запреты поисковым системами

Каким образом можно дать понять поисковому роботу, что какую-то часть страницы не нужно проверять или по какой-то одной ссылке не стоит переходить?

Разные поисковые системы предлагают сделать это по разному. Яндекс советует вставлять такой текст между тегами <!—noindex—><!—/noindex—>, тогда как Google предлагает добавлять к ссылкам атрибут rel=»nofollow».

Мета тег document-state

Программист может указать роботу, что содержание какого-то документа может изменяться в будущем. Если он напишет об этом только в robots.txt, то пользователь не сможет знать, что сайт может измениться.

В таких случаях применяется тег document-state. Он принимает два значения: static и dynamic(по умолчанию):

<meta name=»document-state» content=»static»>

<meta name=»document-state» content=»dynamic»>

Static означает, что нет необходимости переиндексировать страницу в будующем, так как она не будет изменяться. Dynamic означает что необходимо регулярно переиндексировать страницу, так как она будет изменяться.

Немного о тегах noindex, nofollow, alt и мета тег Robots

Из этой статьи Вы узнаете для чего служат теги noindex, nofollow, alt и мета тег Robots и как их использовать по назначению.

ТЕГ NOINDEX
Тег noindex используется для запрета от индексации какой-либо части текста страницы или ее кода.
Использование тега:

< noindex>текст или код страницы, который нужно скрыть

Следует заметить, что данная конструкция воспринимается только поисковыми роботами Яндекса и Рамблера, такие поисковики как Google и другие ее игнорируют. Также noindex в качестве атрибута используется в мета-теге Robots.

ТЕГ REL=”NOFOLLOW”

Атрибут rel=”nofollow” используется при формировании кода ссылки.
Использование тега:

< a rel=””nofollow”” href=””http://сама_ссылка.ru””>текст ссылки

Данный атрибут не влияет на индексацию ссылки. Также в большинстве поисковиков (кроме Google) переход по ней все-таки осуществляется. Единственная задача данного атрибута – сообщить поисковой системе, что рейтинг со страницы, на которой ссылка размещена, не должен передаваться странице, на которую данная ссылка ведет.

Мета тег Robots

Данный тег нужно помещать между тегов < head> и .
Данный тег в выглядит так:

< meta name=”Robots” content=”тут условие”>

С его помощью можно управлять индексацией конкретной страницы. Инструкции индексации и следования по ссылкам прописываются в поле content.

Существует несколько инструкций для мета тега Robots:

1. < noindex> – не индексировать
2. < index> -индексировать
3. < nofollow>- по ссылкам не следовать
4. < follow>- по ссылкам следовать
5. < all> – индексировать и следовать по ссылкам
6. < none> – не индексировать и не следовать по ссылкам

Возможно применение двух инструкций из noindex, nofollow, index, follow одновременно, например, данный тег:

< meta name=”robots” content=”index, nofollow”>

разрешает индексацию и запрещает следовать по ссылкам. Инструкции none и all должны использоваться отдельно от других инструкций, и хотя тег вида

< meta name=”robots” content=”none, nofollow”>

является синтаксически верным, смысла он не имеет, к тому же можно допустить ошибку, применив две взаимоисключающие инструкции, например all и nofollow.

Имеет ли смысл применять тег robots? В некоторых случаях его использование оправданно. Однако следует учитывать тот факт, что, например, использование nofollow запрещает переход по ВСЕМ ссылкам, т.е. страница становится тупиковой. В этом случае для “лишних” ссылок лучше использовать атрибут nofollow в коде самих ссылок.

Напомним, что тег robots, как и другие мета теги, не является обязательным для использования, и, например, размещения в коде страницы вот такого тега:

< meta name=”robots” content=”all”>

является абсурдом.

ТЕГ ALT
Любое изображение на странице имеет специальный атрибут «альтернативный текст», который задается в теге «ALT».

< a href=””http://сама_ссылка.ru””>

Этот текст будет отображен на экране в том случае, если скачать изображение не удалось или же показ изображений заблокирован в браузере.

Поисковые системы запоминают значение тега ALT при разборе (индексации) страницы, однако не используют его при ранжировании результатов поиска.

На данный момент достоверно известно, что поисковая система Google учитывает текст в теге ALT тех изображений, которые являются ссылками на другие страницы, остальные же теги ALT игнорируются. По другим поисковым систем точных данных нет, но можно предполагать что-то подобное.

В целом стоит дать такой совет – использовать ключевые слова в тегах ALT можно и нужно, хотя принципиального значения это не имеет.

Директивы Meta Robots и как их использовать

Meta Robots — это метатег, который позволяет настроить инструкции по индексации сайта. Его плюсы заключаются в надёжности и простоте установки. Но многие вебмастера и SEO-специалисты зачастую ограничиваются лишь директивами noindex и nofollow, указывающими на запрет индексации страниц сайта и содержащихся на них ссылок.

Я решил подробнее ознакомиться с возможностями Meta Robots, а потому в рамках данной статьи разберу и другие способы использования Meta Robots, которые вы сможете применить для SEO-продвижения вашего сайта.

Директивы Meta Robots и какие поисковые системы их учитывают

Всего существует чуть больше десятка основных директив Meta Robots, которые можно комбинировать между собой:

  • noindex — запрещает индексирование страницы.
  • nofollow — запрещает роботу переходить по ссылкам с этой страницы.
  • none — аналогичен комбинации noindex, nofollow.
  • all — нет ограничений на индексирование и показ контента. Директива используется по умолчанию и не влияет на работу поисковых роботов, если нет других указаний.
  • noimageindex — не индексировать изображения на этой странице.
  • noarchive — запрещает показывать ссылку «Сохраненная копия» для определенной страницы.
  • nocache — указывает на необходимость отправить запрос на сервер для валидации ресурса перед использованием кэшированных данных.
  • nosnippet — запрещает показывать видео или фрагмент текста в результатах поиска.
  • notranslate — запрещает предлагать перевод этой страницы в результатах поиска.
  • unavailable_after: [RFC-850 date/time] — указывает точную дату и время, когда нужно прекратить сканирование и индексирование этой страницы.
  • noodp — не использовать метаданные из проекта Open Directory для заголовков или фрагментов этой страницы.
  • noydir — не брать название сайта и его описание из Yahoo! Directory (каталога Yahoo!).
  • noyaca — не использовать описание из Яндекс.Каталога для сниппета в результатах поиска.

Некоторые из директив по-разному воспринимаются роботами тех или иных поисковых систем. В таблице ниже собрана информация о том, как боты систем Google, Yahoo, Bing и Яндекс работают с директивами Meta Robots.

Директивы Google Yahoo Bing Яндекс
index Да* Да* Да* Да
noindex Да Да Да Да
follow Да* Да* Да* Да
nofollow Да Да Да Да
none Да ? ? Да
all Да ? ? Да
noimageindex Да Нет Нет Нет
noarchive Да Да Да Да
nocache Нет Нет Да Нет
nosnippet Да Нет Да Нет
notranslate Да Нет Нет Нет
unavailable_after Да Нет Нет Нет
noodp Нет Да** Да** Нет
noydir Нет Да** Нет Нет
noyaca Нет Нет Нет Да

* Поисковая система не имеет официальной документации, которая бы подтверждала поддержку этой директивы. Но предполагается, что поддержка исключающего значения (например, nofollow) подразумевает поддержку положительного (например, follow).

** Теги noodp и noydir перестали поддерживаться, и, вероятно, не работают.

Директивы Meta Robots, которые стоит использовать в SEO

Как мы видим из предыдущей таблицы, не все атрибуты метатега Robots поддерживаются поисковой системой Google, под которую оптимизируют сайты большинство разработчиков и SEO-специалистов. Поэтому рассмотрим те атрибуты метатега Robots, которые поддерживаются Google:

  1. nosnippet,
  2. noimageindex,
  3. noarchive,
  4. unavailable_after.

Все они прописываются в блоке <head> страницы, к которой вы хотите применить те или иные инструкции по индексации.

Nosnippet

Эта директива может понадобиться, если, например, вы хотите предотвратить попадание контента вашего сайта в блоки с готовыми ответами Google (Featured Snippet). Несмотря на то, что фрагмент контента в Featured Snippet, как правило, позволяет повысить конверсию, всё же он может отвлекать внимание от самого сайта. То есть, у пользователей, получивших ответ на свой вопрос, пропадает надобность кликать по ссылке.

Для решения проблемы вам следует использовать инструкцию следующего вида:

<meta name="robots" content="nosnippet">

Также важно учитывать, что атрибут nosnippet отключает и отображение расширенных сниппетов в результатах поиска.

К тому же, исследование HubSpot показало, что сниппеты с расширенной информацией получают в два раза больше кликов. Соответственно, отключение сниппета может стать причиной снижения CTR вашего сайта или отдельных его страниц.

Noimageindex

Директива noimageindex позволит скрыть графический контент на вашем сайте из результатов поиска по картинкам. Это может быть полезно, если вы, к примеру, хотите разместить на своём блоге уникальные изображения и при этом минимизировать риск воровства.

Чтобы запретить поисковым системам индексировать изображения, задайте в блоке <head> html-документа следующую директиву:

<meta name = "robots" content = "noimageindex">

Действие необходимо повторить с каждой страницей, которая содержит изображения, которые вы хотите скрыть от поисковиков. Учитывайте, что если другие сайты уже ссылались на ваши изображения, поисковики могут продолжать индексировать их.

Запрещая индексацию изображений, не забывайте о том, что поиск по картинкам может приносить хороший дополнительный трафик вашему сайту.

Noarchive

Директива может пригодиться тем, кто работает с интернет-магазинами. К примеру, на вашем сайте есть страницы с товарами и указанной на них стоимостью. Так как цены с определённой периодичностью меняются, кэшированные страницы товаров могут быстро терять свою актуальность. Для предотвращения кэширования поместите в <head> страницы такую строку:

<meta name="robots" content="noarchive">

Вопреки распространённому мнению, директива noarchive никак не влияет на ранжирование — эту информацию подтвердил в своем Твиттере ведущий аналитик компании Google, специалист отдела качества поиска по работе с вебмастерами Джон Мюллер (John Mueller).

Unavailable_after

Директива unavailable_after наиболее актуальна для страниц с акционными предложениями. Так как по истечению времени действия акции они теряют свою актуальность, вы можете указать поисковикам дату крайнего срока индексации контента. Дату и время нужно указывать в формате RFC 850.

К примеру, если вам нужно исключить возможность индексации страницы после 25 марта 2019 года, используйте метатег следующего вида:

<meta name="googlebot" content="unavailable_after: 25-Mar-2019 00:00:00 EST">

Отдельно отметим, что для правильного функционирования тега необходимо, чтобы он был прописан до первого обхода роботом. В таком случае запрос на удаление из поисковой выдачи займёт примерно сутки после указанной даты.

Проверка правильности Meta Robots и его содержимого в Netpeak Spider

Перед проверкой атрибутов Meta Robots важно узнать, какие страницы индексируются на сайте, иначе не будет смысла внедрять вышеописанные атрибуты.

Программа доступна для операционных систем Microsoft Windows и Mac OS, поддержка платформы Linux в данный момент не доступна, но находится в разработке. Вы можете пользоваться бесплатной версией в течение 14 дней без каких либо ограничений.

Воспользуйтесь промокодом c6c39672 при оформлении заказа и получите специальную скидку 10% на покупку Netpeak Spider и Netpeak Checker!

С помощью Netpeak Spider вы можете найти запрещённые к индексации страницы. На таких страницах программа делает особый акцент, отмечая ошибками:

  • Заблокировано в Meta Robots. Показывает страницы, запрещённые к индексации с помощью инструкции <meta name="robots" content="noindex"> в блоке <head>.
  • Nofollow в Meta Robots. Показывает страницы, содержащие инструкции <meta name="robots" content="nofollow"> в блоке <head>.

Для проверки сайта откройте программу и перейдите на вкладку «Параметры» на боковой панели. Найдите раздел «Индексация» и проверьте, отмечен ли галочкой пункт «Meta Robots». Если пункт не будет отмечен, программа не проанализирует метатег, и вы в финальном отчёте не увидите данных о нём.

Для сканирования всего сайта введите его начальный URL в адресную строку и нажмите кнопку «Старт». Если вам необходимо просканировать список страниц, зайдите в меню «Список URL» и выберите удобный вам способ добавления URL (ввести вручную, загрузить из файла или Sitemap, вставить из буфера обмена), после чего запустите сканирование.

По завершению сканирования получить информацию о Meta Robots вы можете несколькими путями:

1. В основной таблице на вкладке «Все результаты». В столбце Meta Robots просмотрите директивы, которые содержатся в соответствующем теге каждой из просканированных страниц.

2. На вкладке «Ошибки» боковой панели. Найдите ошибки, связанные с Meta Robots, и кликните по их названию. В таблице отфильтрованных результатов вы увидите полный список страниц, на которых были найдены эти ошибки.

3. На вкладке «Дашборд». Вы можете просмотреть данные в виде диаграмм об индексируемых страницах на сайте, а также узнать причины их неиндексируемости. Кликните на интересующую вас область, чтобы получить список страниц, соответствующих тому или иному значению.

4. На вкладке «Сводка» на боковой панели. Здесь вы можете ознакомиться как закрытыми от индексации страницами, так и посмотреть, какие ещё значения помимо noindex, nofollow заданы в метатеге Robots. Найдите пункт «Meta Robots» со списком всех имеющихся на сайте директив. Кликните на любую из них, чтобы ознакомиться со страницами, на которых они были найдены.

При необходимости вы можете воспользоваться функцией «Экспорт», чтобы выгрузить отфильтрованные результаты в отдельный файл формата .xlsx на свой компьютер. Нажмите на кнопку «Экспорт» в левом верхнем углу над результатами сканирования или выберите в соответствующем меню команду «Результаты в текущей таблице».

Коротко о главном

Meta Robots — удобный инструмент, который позволяет управлять инструкциями по индексации сайта и его отдельных страниц. Однако зачастую его использование ограничивается атрибутами запрета индексации — noindex, nofollow.

На деле же он может использоваться как минимум с 4 директивами, которые полноценно воспринимаются поисковыми роботами Google и помогают решить разного рода SEO-задачи. В их числе — nosnippet, noimageindex, noarchive и unavailable_after.

Проверить директивы метатега Robots всего сайта или списка определённых URL удобнее всего с помощью Netpeak Spider. Программа покажет все возможные ошибки, связанные с метатегами, и предоставит данные об атрибутах в максимально наглядном виде.

Краулер программы выполняет глубокий анализ сайта в автоматическом режиме, получает полную его структуру и находит ошибки технической оптимизации. Умеет находить битые ссылки и редиректы, обнаруживать дублирование страниц, Title, Description, заголовков h2 и т.д — проверяет более 50 ключевых параметров. Настоятельно рекомендую!

Протокол Robots.txt

Протокол Robots.txt

Иногда владельцы веб-сайтов могут захотеть повлиять на то, как поисковые системы в Интернете просматривают и индексируют свои сайты. Может быть много причин, чтобы посоветовать паукам держаться подальше от целых веб-сайтов или определенных элементов. Независимо от причины, стандартный способ сделать это — создать файл robots.txt, который может запретить поисковым системам посещать и индексировать определенные страницы на веб-сайте. Файл robots.txt также можно использовать для полной блокировки «пауков» поисковых систем от входа и сканирования сайта.

Файлы Robots.txt должны быть помещены в каталог HTML корневого сервера.

Создание файла robots.txt

Файл robots.txt может либо полностью заблокировать пауков, либо запретить поисковым системам доступ и перечисление определенных каталогов, файлов или целых веб-страниц. Чтобы создать файл robots.txt, откройте Блокнот Windows или любой другой текстовый редактор, который может сохранять простой текст ASCII. Когда файл будет готов, загрузите его в корневой каталог веб-сайта. Роботы.txt должен содержать следующий код:

User-agent:
Disallow: /

Первая строка «User-agent:» указывает, какие агенты, пауки или браузеры должны читать и подчиняться командам в файле. Звездочка («*») означает «всех пауков». Вторая строка «Disallow:» определяет, какие файлы и каталоги должны быть заблокированы поисковыми системами. Косая черта (например, «Запрещать: /») означает «все».

Чтобы полностью заблокировать доступ всех пауков к веб-сайту, файл robots.txt должен иметь следующий вид:

User-agent: *
Disallow: /

Чтобы исключить определенные файлы и каталоги в этом случае со спортивного веб-сайта, файл должен иметь следующую формулировку:

User-agent: *
Disallow: / hockey
Disallow: / soccer
Disallow: / press
Disallow: / about

В приведенном выше примере файл robots.txt предписывает всем поисковым системам не читать и не индексировать следующие каталоги:

http: www.websitename / hockey /
http: www.websitename / soccer /
http: www.websitename / press /
http: www.websitename / about /

Мета-тег роботов

Альтернативой использованию файла robots.txt для управления поведением пауков на веб-сайте является метатег Robots, который можно использовать для блокировки индексирования и / или сканирования гиперссылок на веб-странице «пауками». В отличие от файла robots.txt, который может обращаться к любой области веб-сайта, отдельный метатег Robots должен быть составлен и вставлен на каждую из страниц веб-сайта, на которых вы хотите ограничить активность посетителей-пауков.

Мета-тег роботов может включать любую комбинацию параметров «noindex», «nofollow» и «noarchive», которые предписывают паукам не добавлять страницу в индекс поисковой системы, не переходить по гиперссылкам на странице и не сохранять соответственно закешированная версия страницы в архиве поисковой системы. Обратите внимание, что из основных поисковых систем только Google уважает команду «noarchive». Ниже приведены примеры метатегов для роботов:



Тег Robots Meat должен быть включен в на каждую веб-страницу , которую вы хотите исключить.Даже если домашняя страница вашего веб-сайта содержит следующий код:

Приведенный выше код указывает паукам не индексировать страницу («noindex») и не переходить по ссылкам на странице на другие страницы веб-сайта («nofollow»). Однако другие сайты могут напрямую ссылаться на внутренние страницы веб-сайта. Это означает, что поисковые роботы могут обходить домашнюю страницу и индексировать внутренние страницы, если на этих страницах нет собственных мета-команд роботов noindex.

Карта сайта и Роботы и NoIndex NoFollow

Поисковые роботы или сканеры используют два файла для более интеллектуального сканирования веб-сайта. Это robots.txt и sitemap.xml. Файл robots.txt сообщает сканерам поисковых систем, какие страницы или файлы сканер может или не может запрашивать с сайта. Это используется в основном для того, чтобы избежать перегрузки вашего сайта запросами; это не механизм, позволяющий скрыть доступ к веб-странице от Google. Чтобы страницы не попадали на страницы Google, мы должны использовать метатеги «noindex», а также исключить страницу из карты сайта.Вот как Google объясняет концепцию файла карты сайта.

В этом посте я расскажу, как я настроил метатеги sitemap.xml , robots.txt и noindex, nofollow на этом веб-сайте, созданном Hugo. Как я упоминал ранее в сообщении rss-feed, Hugo автоматически генерирует файлы RSS-каналов, карты сайта и robots.txt. Тем не менее, мы можем захотеть изменить поведение по умолчанию и перезаписать шаблон Хьюго.

Карта сайта

В моем случае я хотел удалить некоторые отдельные страницы, такие как / серия и / архивы , все тегов страниц и раздел страниц.Я собираюсь включить только сообщения в блогах и несколько отдельных страниц, например, или страницу.

Для этого нам нужно создать собственный шаблон карты сайта /layouts/_default/sitemap.xml . Скопируйте и вставьте шаблон Хьюго по умолчанию. Затем отредактируйте его в соответствии с вашими потребностями.

  1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21 год
22
  
  {{printf "" | safeHTML}}

  {{диапазон .Data.Pages}}
  
     {{.Permalink}}  {{если не .Lastmod.IsZero}}
     {{safeHTML (.Lastmod.Format "2006-01-02T15: 04: 05-07: 00")}}  {{end}} {{с .Sitemap.ChangeFreq}}
     {{. }}  {{end}} {{if ge .Sitemap.Priority 0.0}}
     {{.Sitemap.Priority}}  {{end}} {{if .IsTranslated}} {{диапазон.Переводы}}
     {{end}}
     {{end}}
  
  {{ конец }}

  

Вот как я его редактировал. Вам нужно просто изменить строку {{range .Data.Pages}} , чтобы изменить способ прокрутки страниц.

  1
2
  
  {{$ pages: = where $ .Site.RegularPages ".Params.sitemap_exclude" "! =" True}}
  {{диапазон $ страниц}}
  

Как вы можете видеть выше, я использовал параметр sitemap_exclude для фильтрации страниц. Я добавил этот логический параметр в начало страниц, которые я хочу исключить из карты сайта.

  1
2
3
  
  ---
sitemap_exclude: true
---
  

одно маленькое примечание, вы не можете написать «sitemap: true» или «sitemapExclude: true».Я думаю, что первое — ключевое слово, а второе не работает из-за прописной буквы. Он должен быть в нижнем регистре. Попробуй, по крайней мере, у меня не вышло. Hugo v0.74

еще одно примечание, вы можете установить changefreq и приоритет в начале страницы или установить значение по умолчанию в config.toml .

  1
2
3
4
5
  
  ---
карта сайта:
  changefreq: ежемесячно
  приоритет: 0.9
---
  

Насколько я понимаю, теги файлов Sitemap и noindex дополняют друг друга. Если вы хотите, чтобы сканер не сканировал страницу, вам следует добавить метатеги noindex-nofollow, а также удалить страницу из карты сайта. Мы уже исключили некоторые страницы из карты сайта, теперь нам нужно добавить в раздел этих страниц.

Для этого необходимо добавить механизм управления в головку .html частичный. Я не хотел добавлять дополнительные параметры, такие как nofollow, noindex, noarchive . Итак, я использовал тот же параметр sitemap_exclude , который я уже определил выше.

  1
2
3
  
  {{if or (ne .Kind "page") (and (eq .Kind "page") (eq .Params.sitemap_exclude true))}}
  
{{ конец }}
  

Мой оператор if может показаться сложным, потому что язык шаблонов нелегко читать.Утверждение довольно простое. Позволь мне объяснить.

  1
  
  .Kind! = "Page" || (.Kind == "страница" && .Params.sitemap_exclude)
  
  • , если .Kind не является «страницей»: здесь будут собраны «домашняя страница», «раздел», «таксономия» и «термин».

  • , если .Kind — это «page», а sitemap_exclude — true: это применимо к страницам, которые я установил вручную sitemap_exclude параметр.

В будущем я, возможно, захочу прекратить исключать страницы «разделов», если я добавлю на эти страницы контент. В этом случае я могу выбрать страницы «раздела», просто проверив .Kind variable eq .Kind «section»

Robots.txt

По умолчанию, Hugo создает этот файл для нас, но он позволяет каждой странице быть поползли. Я хочу запретить некоторые. Вот hugo docs. Что касается robots.txt, он не блокирует поисковые роботы, он просто говорит им: «Не сканируйте эти области». Сканеру необязательно его слушать.Посетите robotstxt.org, если вам нужно узнать больше.

Чтобы перезаписать файл robots.txt по умолчанию, нам нужно добавить эту строку в файл config.toml .

Затем мы можем создать наш файл robots.txt в папке / layouts . Чтобы проверить это, перейдите на /robots.txt на вашем сайте. Я ввел несколько страниц и папку tags и включил карту сайта в последнюю строку.

  1
2
3
4
5
6
7
8
  
  Агент пользователя: *

Запретить: / теги /
Disallow: архивы.html
Disallow: series.html
Disallow: 404.html

Карта сайта: {{"sitemap.xml" | absLangURL}}
  

Заключение

Мы добавили пользовательские теги robots.txt, noindex-nofollow и sitemap.xml, чтобы исключить страницы с меньшим содержанием или без содержания. Мы исключили страницы таксономии, страницы терминов, такие как «теги» и «категории». Кроме того, исключена какая-то другая отдельная страница, указав логическое значение в начале страницы.

Для лучшего SEO мы должны исключить страницы с тонким содержанием.

Но стоит ли? Эти парни говорят: «Мы должны улучшить эти страницы, чтобы получать трафик, а не блокировать их». Я бы не стал слушать о SEO. Проведите собственное исследование. Я объяснил, как можно перезаписывать шаблоны Hugo.

Все, что вам нужно знать о мета-теге роботов

Что такое метатег роботов?

Метатег роботов — это тег, который мы назначаем некоторым страницам в разделе HTML. Он используется, чтобы указать сканерам поисковых систем, как они должны вести себя при переходе на веб-страницу. В этом смысле вы можете попросить поисковые системы не переходить по ссылкам, найденным на странице (nofollow), не индексировать (noindex) или не кэшировать (nocache) страницу.

Метатег роботов имеет большое значение для оптимизации использования ссылочного веса, так как вы сможете решить, каким страницам передавать полномочия или нет. . Тщательно выбирайте теги для использования в каждой ситуации, так как это напрямую влияет на оптимизацию ссылочного веса.

Типы мета-роботов:

Вы можете назначить типов мета-роботов веб-странице.Здесь у вас есть список наиболее важных мета-тегов и их значение.

  • index = Этот тег позволяет поисковым системам индексировать страницу. Он предоставляется по умолчанию, поэтому, если вы согласны с тем, что поисковые системы находят и отслеживают ваши страницы, вам не нужно его трогать.
  • noindex = Он запрещает поисковым системам показывать страницу в своих выдачах (страницах результатов поисковых систем).
  • все = Как упоминалось выше, этот тег позволяет поисковым системам индексировать страницу и переходить по ее ссылкам.«Все» равняется «отслеживанию по индексу».
  • noimageindex = Запрещает поисковым системам показывать изображения в результатах поиска. Но если изображение получит какую-либо ссылку, Google продолжит его индексировать, поэтому в этом случае лучше присвоить заголовку HTTP X-Robots-Tag.
  • нет = Его цель — попросить поисковые системы не индексировать и не переходить по какой-либо ссылке на этой странице: noindex и nofollow. Он говорит им не реагировать, когда они видят страницу.
  • follow = Этот тег роботов приглашает Google переходить по ссылкам на странице, независимо от того, являются ли они «индексными» или нет.
  • nofollow = Он просит поисковые системы не переходить по ссылкам со страницы.
  • noarchive = Это предотвращает отображение кеша на странице поисковыми системами (информация не сохраняется в браузере пользователя для будущих посещений).
  • nocache = То же, что и предыдущий, но только для MSN / Live.
  • nosnippet = Это не позволяет фрагментам появляться в результатах поиска, а также предотвращает создание кеша.
  • noodp = Хотя оно больше не существует, оно использовалось для предотвращения использования описания поисковыми системами.
  • noydir = Это мешает Yahoo! от использования описания в своем каталоге, как оно будет отображаться в результатах поиска (оно тоже не используется, но вы можете встретить его).

Как чаще всего используется метатег роботов?

Если на вашей веб-странице нет метатега robots, Google индексирует страницу и отслеживает ее по умолчанию.Это похоже на то, что у вас уже был назначен индекс, подписаться. Ниже приведены несколько примеров наиболее часто используемых комбинаций тегов.

  • «Индексируйте, следуйте» — «индексируйте веб-страницу по поисковой выдаче и переходите по ссылкам»
  • «index, nofollow» — «индексируйте страницу, а не переходите по ссылкам»
  • «noindex, follow — «не индексировать страницу, а переходить по ссылкам»
  • «без индекса, без nollow, без кеширования» — «не индексировать, не следовать и отключать кеширование для страницы.”

При использовании метатега роботов необходимо убедиться, что рекомендации, приведенные на текущей странице, соответствуют метатегу роботов, указанному на связанных страницах. Например, если вы решите добавить «index, follow» к текущей странице, исходящие страницы должны быть индексируемыми и никогда не иметь тега «noindex» в мета-файле robots.

Как проверить, правильно ли реализован мета-тег robots

После того, как вы присвоили своим страницам метатег robots, может быть сложно проверить, правильно ли была выполнена эта задача, особенно на крупных веб-сайтах.Для этой цели рекомендуется использовать веб-сканер, например FandangoSEO. Просканировав свой сайт, вы сможете увидеть свои индексные и безиндексные страницы, а также информацию о том, были ли у вас страницы, заблокированные файлом robots.txt . Просматривая списки URL-адресов с различными тегами, вы можете убедиться, что не скрываете релевантные страницы в поисковых системах.

Использование rel nofollow

Когда вы используете метатег роботов, вы хотите назначить правило, которое лучше всего подходит для большинства ссылок, найденных на странице.Тем не менее, мы часто сталкиваемся с некоторым исключением ссылок, к которым вы не хотите применять общее правило. В этом случае вы можете использовать rel nofollow . Например, если у вас есть метатег робота «index, follow» на странице, но у вас есть определенные ссылки, по которым вы не хотите, чтобы поисковые системы переходили, вставьте для них атрибут rel «nofollow».

Пример:

 
 

текст привязки

Мета-тег роботов для SEO

Примечание: Google недавно отменил Page Rank , поэтому некоторая информация в этом посте может быть устаревшей.Вместо этого мы используем собственную систему оценки — SB Rank , которая основана на индексе DA и PA .

Правильное управление вашим сайтом не менее важно, чем качество и актуальный контент. Сегодня мы рассмотрим один из основных аспектов оптимизации для поисковых систем — настройку метатегов роботов. Среди всех метатегов особое значение имеют роботы, так как они вместе со своими атрибутами могут помочь вам подняться в рейтинге поиска. Да, просто нельзя игнорировать роботов.Суть его в том, чтобы закрыть от индексации всю страницу или любую ее часть. Наше руководство проясняет случаи и условия использования роботов в интересах ваших веб-сайтов.

Meta tag Robots используется для авторизации или запрета индексации сайта поисковыми роботами. Тег дает возможность роботам посещать все страницы сайта. Более того, этот тег полезен для тех, у кого нет доступа к Robots.txt, но хочет включить индексацию файлов и каталогов.

Формат тега Meta Robots

Он размещается в теге html-документа, внутри .Его формат довольно простой (регистр букв не имеет значения) — .

Содержит опции «(нет) индекс» и «(нет) следовать». Ниже приведены значения по умолчанию для индекса Meta robots.

Примеры тегов META роботов

«NOINDEX, NOFOLLOW» Meta nofollow noindex используется для
одновременного запрета индексации и ссылок, следующих за
(если атрибут имеет несколько значений, они отделяются друг от друга запятыми)

Атрибут метатега Значение
«NOINDEX» Мета-роботы noindex запрещает индексирование всего документа
«NOFOLLOW» Робот поисковой системы не будет переходить по ссылкам со страницы (например,грамм. запрет переноса веса ссылок на ссылочную страницу)
«NOINDEX, NOFOLLOW» Meta nofollow noindex используется для
одновременного запрета индексации и перехода по ссылкам (если атрибут имеет несколько значений, они отделяются друг от друга запятые)
NOINDEX, NOFOLLOW », прописанный для бота Google. Noindex метатег nofollow с предписанием GoogleBot запрещает индексацию страниц только роботами Google, позволяя всем остальным сканерам следовать.
«NOIMAGEINDEX» Разрешает индексацию страницы, но запрещает индексацию изображений на ней.

Google архивирует снимок страниц. Кешированная версия позволяет вашим конечным пользователям видеть страницу, в то время как исходный «образец» недоступен (как правило, это вызвано временными проблемами технического характера). Кешированная страница выглядит так, как будто она была просканирована роботом Google в прошлый раз. Уведомление о кешированном происхождении страницы отображается вверху страницы.Пользователи могут получить к нему доступ, нажав соответствующую кнопку, расположенную на странице результатов.

  • Чтобы запретить всем SE отображать ссылку, вставьте «NOARCHIVE» с мета-именем ROBOTS в раздел .
  • Чтобы отключить отображение ссылки «Кэширование» только Google, используйте «GOOGLEBOT» и «NOARCHIVE» (он удаляет только индексирование ссылки, при этом индексирование страницы и ее отображение в поиске остаются).

Как предотвратить сканирование или удаление фрагментов страниц?

Фрагмент — это описательный текст страницы, помещаемый под заголовком страницы и отображаемый в поисковой выдаче.

  • Чтобы Google не отображал фрагменты вашей страницы, используйте «NOSNIPPET» . Примечание. Кэшированные страницы можно удалить вместе с фрагментами.

Что нельзя сказать о подписке и как это можно использовать в своих интересах?

LinksManagement часто сталкивается с ситуацией, когда у новых веб-мастеров, блогеров и владельцев сайтов возникают проблемы с «nofollow». Незнание очевидных вещей может вам дорого обойтись…

Во избежание путаницы, мы должны начать с того, что проинформируем вас о том, что html rel nofollow используется в веб-документах для двух относительно разных целей:

  • Первый случай это когда метатег ROBOTS (не смешивайте его с txt, так как это две совершенно разные проблемы) используется внутри атрибута CONTENT.
  • Второй — когда nofollow используется в теге и ссылается на конкретную ссылку.

Nofollow — это специальный атрибут гиперссылки, который запрещает SE индексировать эту ссылку. С введением rel = ”nofollow” в стандартную форму, например, текст ссылки >, индексирование сайта становится невозможным, и гиперссылка принимает форму < a href = ”адрес сайта rel =” nofollow ”> текст ссылки .

Фактически ссылка rel = ”nofollow” скрывает от сканера только отдельную ссылку. Тем не менее, nofollow также можно использовать в качестве метатега роботов, чтобы запретить индексацию всей страницы.

Немного истории

Раньше nofollow использовался на уровне страницы, чтобы показать SE, что он не должен переходить по ссылкам на этой странице (т. Е. Сканировать соответствующий URL). Прежде чем nofollow стал возможен для отдельных ссылок, требовались специальные меры для предотвращения перехода роботов по ссылкам на странице (например,g., URL таких ссылок заблокирован файлом robots.txt). Но, наконец, «rel» был стандартизирован, и веб-мастера получили некоторое облегчение при управлении процессом сканирования.

Как Google поступает с запрещенными для перехода ссылками?

Обычно переход не выполняется. Google не публикует какой-либо PageRank или текст ссылок, которые могут быть взяты из этих ссылок. Однако соответствующие целевые страницы по-прежнему могут быть включены в индекс Google, если другие сайты ссылаются на них без использования nofollow и если их URL-адреса предоставляются с помощью файла Sitemap.

Распространенные примеры rel nofollow

  • Некачественный контент (например, размещенный в комментариях). Вставьте rel = ”nofollow” в теги таких ссылок, чтобы уменьшить количество спама и исключить непреднамеренную передачу PageRank недобросовестным пользователям. В частности, спамеры могут оставить ваш сайт в покое, если увидят, что вы добавляете «nofollow» ко всем неподтвержденным ссылкам. Наконец, если вам нужно распознавать и поощрять лучших авторов, вы можете удалить «nofollow» из соответствующих ссылок.
  • Платные обратные ссылки . Позиция сайта в поиске Google частично основана на анализе других сайтов, ссылающихся на него. Мы рекомендуем вам использовать nofollow, чтобы исключить ценность ссылок сайта на его позицию в поиске. Правила поисковых систем требуют, чтобы пользователи предоставляли информацию для автоматического чтения платных ссылок, так как потребители должны иметь возможность отличать коммерческие материалы от информационных.
  • Установка приоритетов сканирования . Роботы поисковых систем не могут войти в вашу учетную запись или зарегистрироваться в качестве участников форума, поэтому вы не заинтересованы в том, чтобы поисковые роботы переходили по ссылкам, таким как «Зарегистрироваться» или «Войти.”

В таких случаях nofollow помогает оптимизировать работу сканеров, предоставляя только те страницы, которые вы хотите сканировать. Но все же гораздо важнее правильная организация страницы (интуитивно понятная навигация, удобные URL-адреса и т. Д.).

Nofollow и продвижение сайта

Конечно, ссылки nofollow не могут напрямую влиять на позицию сайта в поисковой выдаче. Поэтому платить за такие ссылки не стоит. Чтобы найти их, проверьте исходный код или используйте специальные плагины SEO, которые можно настроить для выделения ссылок с атрибутом nofollow.

Rel = «canonical» для успешной индексации в Google

Сегодня многие веб-мастера используют системы управления контентом, а также различные методы его распространения. Таким образом, одни и те же материалы могут быть размещены на страницах с разными URL-адресами:

  • Динамический URL-адрес страниц, представляющих одни и те же продукты, может отличаться, если они появляются в поисковой выдаче или пользователь открывает этот раздел несколько раз.
  • Службы блогов автоматически создают несколько URL-адресов на случай, если вы поместите одно и то же сообщение в несколько разделов.
  • Ваш сервер показывает одни и те же материалы в субдомене «www» и в обычных http-адресах.
  • Контент, который требуется для распространения на нескольких сайтах, полностью или частично повторяется в других доменах.

Автоматизированные инструменты значительно упрощают работу с контентом, но вам придется искать нетривиальные решения для пользователей, которые переходят на ваш сайт из результатов поиска.

Ссылка rel canonical явно указывает на дубликаты страницы. Дополнительные свойства адреса и соответствующие сигналы (например, качество массы входящих ссылок) также переносятся с повторяющихся страниц на канонические.Атрибут rel = «canonical» поддерживается всеми ведущими SE.

Однако использование атрибута иногда вызывает определенные трудности, что приводит к ошибкам, которые могут повлиять на отображение страниц в поисковой выдаче. Чтобы избежать распространенных ошибок, специалисты Google рекомендуют придерживаться следующих общих правил при введении атрибута rel = «canonical»:

  • Большинство повторяющихся страниц должны содержать ссылки на канонический адрес.
  • Страница, на которую ссылается rel = «canonical» как каноническая, должна существовать и иметь правильный URL.Проверьте, возвращает ли сервер ошибку 404.
  • Каноническую страницу нельзя закрывать от индексации.
  • Определите, на какой странице вы хотите разместить презентацию, и сделайте ее канонической. Например. если на сайте есть коллекция страниц с одинаковой моделью товаров, с разницей только в цвете, укажите страницу с наиболее популярным цветом как каноническую.
  • Вставьте «канонический» в HTML-код.
  • Не используйте слово «канонический» более одного раза для одной страницы. В противном случае поисковые системы просто игнорируют обозначение атрибута.

5 типичных ошибок при использовании rel = «canonical»

  1. Используется для первой страницы нумерации страниц.
  2. Абсолютные ссылки записываются как относительные. Конечно, «канонический» можно использовать как для абсолютных, так и для относительных ссылок, но Google рекомендует использовать абсолютные ссылки, чтобы минимизировать потенциальные ошибки. Если документ содержит базовую ссылку, то все относительные ссылки будут основаны на ней. Однако в случаях, когда абсолютная ссылка на каноническую страницу записывается как относительная, алгоритмы могут игнорировать канонический характер страницы.
  3. Несколько страниц с одинаковым содержанием помечены как канонические, или атрибут используется по ошибке. Специалисты Google часто наблюдают такую ​​ситуацию: веб-мастер копирует шаблон страницы, забывая изменить значение атрибута. Если вы используете шаблоны, не забудьте проверить, не было ли случайно скопировано «каноническое».
  4. Одна из категорий целевой страницы относится к избранной статье. В этом случае проиндексируется только страница со статьей.
  5. Используется в документе .

Метатег роботов и файл robots.txt

Использование тега роботов может дать вам существенные преимущества. Его можно разместить на каждой странице; у него есть параметры index / noindex и follow / nofollow.

Вот примеры, когда роботы с метатегами действительно крутятся:

  • Неуникальный контент . Не обязательно, это должен быть копипаст или украденный контент, это также могут быть официальные документы, законы. Вы можете отключить индексирование всего количества этих страниц или только в частности (запретить индексирование только контента).
  • Публикация чрезмерное количество ссылок на странице . Если вы хотите поделиться интересными ссылками, но не скомпрометировать себя в глазах поисковых систем путем публикации чрезмерного количества обратных ссылок, то вы можете отключить индексацию страницы, пока она будет доступна вашим посетителям.
  • Архивы, заголовки и метки создают дублированный контент . Но они содержат ссылки на наши собственные страницы, и эти ссылки могут участвовать во внутренних ссылках, передавая вес домашней странице, страницам статей и другим.Таким образом, используя роботов, вы можете указать Google не индексировать контент (поскольку он создает двойники) страниц, а переходить по ссылкам на этих страницах. Таким образом вы сохраните внутренние ссылки и создадите дополнительный инструмент для увеличения статического веса страниц сайта.

Плагины WordPress для мета-роботов

Как мы знаем, нет короткого способа добавить метатег роботов на страницы WP. Конечно, если вы не используете специальные плагины.

  • Плагин Robots Meta от Yoast. Преимущества:
    • Простое добавление (нет) следующих, нет (индекс) опций для открытия / закрытия индексации.
    • Вариант выхода из DMOZ и Yahoo! Описания каталогов от noodp и noydir meta robots.
    • Отключение архивов по дате и по автору.
    • Тег Nofollow и исходящие ссылки.
    • Добавьте метатег Robots для разделения страниц и сообщений.
    • Проверка сайта с помощью Yahoo! Site Explorer и GWT.
    • Простая установка: просто скачайте плагин, скопируйте его в соответствующую директорию вашего сайта, включите в админке и настройте как хотите.
  • Генератор метатегов онлайн-роботов .Простой онлайн-инструмент, с помощью которого вы можете проверить правильность тега, выбрать нужные параметры и скопировать результат в буфер обмена.

Подведение итогов

Для любого SE не имеет значения, каким образом вы указываете команды для индексации — с помощью robots.txt или метатега robots. Главное, не ставить противоречивые противоположные команды. Например. Если вы закроете страницу для индексации в robots.txt и вручную настроите мета-параметр «Следить за тегом роботов», то сканер будет учитывать команду с более высоким приоритетом, которая всегда равна «noindex».Поэтому будьте осторожны при использовании обоих вариантов роботов на сайте. Подробнее о настройке robots.txt читайте в нашей следующей статье.

Website Robots.txt, Noindex, Nofollow и Canonical

A1 Website Scraper имеет дополнительную поддержку для подчинения текстовому файлу роботов, noindex и nofollow в метатегах и nofollow в тегах ссылок.

Сканер веб-сайтов в парсере веб-сайтов A1 имеет множество инструментов и опций, позволяющих сканировать сложные веб-сайты. Некоторые из них включают полная поддержка текстового файла роботов, noindex и nofollow в метатегах и nofollow в тегах ссылок.

Совет: загрузка robots.txt часто заставляет веб-серверы и аналитическое программное обеспечение идентифицировать вас как робота-краулера.

Большинство из этих опций вы можете найти на сайте Scan | Фильтры для веб-мастеров.

В связи с этим вы также можете контролировать их применение:

  • Отключить веб-сайт сканирования | Фильтры для веб-мастеров | После остановки сканирования веб-сайта: удалите URL-адреса с noindex / disallow.

Если вы используете функцию приостановки и возобновления сканирования, вы можете избежать повторного сканирования одних и тех же URL-адресов, сохраняя их все между сканированиями.Вы можете прочитать больше в нашей онлайн-справке по A1 Website Scraper, чтобы узнать о анализ а также выход фильтры. Поведение при сопоставлении в поисковом роботе веб-сайта, используемом A1 Website Scraper, аналогично поведению большинства поисковых систем.

Поддержка подстановочных знаков в файле robots.txt:

  • Стандарт: соответствие от начала до длины фильтра.
    gre будет соответствовать: greyfox, greenfox и green / fox.
  • Подстановочный знак *: соответствует любому символу, пока не станет возможным другое совпадение.
    gr * fox подойдет: greyfox, grayfox, growl-fox и green / fox.
    Совет: фильтры с подстановочными знаками в robots.txt часто неправильно настроены и являются источником проблем при сканировании.

Сканер в нашем инструменте парсера веб-сайтов будет подчиняться следующим идентификаторам пользовательских агентов в файле robots.txt:
  • Точное совпадение с пользовательским агентом, выбранным в: Общие параметры и инструменты | Интернет-сканер | ID пользовательского агента.
  • User-agent: A1 Website Scraper, если название продукта находится в указанной выше строке HTTP-агента пользователя.
  • User-agent: miggibot, если имя поисковой машины находится в указанной выше строке HTTP-агента пользователя.
  • Агент пользователя: *.

Все найденные запрещающие инструкции в robots.txt внутренне конвертируются в оба анализ а также выход фильтры в парсере сайтов A1. Просматривайте все флаги состояния всех URL-адресов, обнаруженных сканером — для этого используются параметры, установленные в фильтрах для веб-мастеров, фильтрах анализа и фильтрах вывода.

В качестве альтернативы воспользуйтесь опцией Сканировать веб-сайт | Опции краулера | Используйте специальные коды ответов чтобы государства были отражены как коды ответов.

Чтобы получить подробную информацию об определенном URL-адресе, выберите его и просмотрите всю информацию в Расширенные данные | Подробности, Расширенные данные | Связано и аналогично:

Как использовать метатег роботов для SEO

Когда дело доходит до поисковой оптимизации, большинство владельцев веб-сайтов обращают внимание только на атрибут rel = nofollow для ссылок.Похоже, они забывают, как использовать метатег роботов для SEO и давать определенные директивы поисковым системам, на которых страницы должны индексироваться, а какие не должны индексироваться.

Если на вашем веб-сайте много страниц, нет необходимости, чтобы каждая страница на веб-сайте индексировалась поисковыми системами. Бывают ситуации, когда вы хотите запретить поисковым системам индексировать страницу (или несколько страниц) на вашем веб-сайте. Бывают ситуации, когда вы не хотите, чтобы поисковые системы сканировали какие-либо ссылки на определенной веб-странице.

Во всех этих ситуациях метатег robots очень удобен, поскольку его можно использовать, чтобы указать поисковым системам не индексировать определенную страницу или не сканировать какие-либо ссылки на данной странице вашего веб-сайта. Думайте о метатеге Robots как об общей директиве, данной всем роботам поисковых систем относительно определенной страницы на веб-сайте, к которой следует относиться особым образом.

Как использовать метатег роботов?

Как и любой тег , он должен быть размещен в разделе HTML-страницы вашего веб-сайта перед разделом .Ниже приведен примерный пример.

Это всего лишь простой пример использования метатега Robots на веб-странице. В зависимости от ваших требований вы можете изменить содержимое этого метатега и достичь желаемых целей. Но прежде чем мы это обсудим, давайте рассмотрим все директивы, которые поддерживаются метадирективой robots.

Директива Что она делает
noindex Не индексировать эту страницу и не показывать ее в результатах поиска по запросам пользователей
nofollow Не переходить по размещенным ссылкам на этой странице (как внутренние, так и внешние ссылки)
noarchive Не показывать ссылку «Сохранено в кеше» в результатах поиска.
nosnippet Не показывать фрагмент текста или предварительный просмотр видео в результатах поиска для этой страницы. Статическая миниатюра (если есть) по-прежнему будет видна.
notranslate Не предлагать перевод этой страницы в результатах поиска.
noimageindex Не индексировать изображения на этой странице.
unavailable_after: [RFC-850 дата / время] Не показывать эту страницу в результатах поиска после указанной даты / времени.Дата / время должны быть указаны в формате RFC 850.

Итак, если вы используете следующий код в разделе заголовка веб-страницы, вы фактически говорите поисковым системам не индексировать содержимое страницы и не показывать страницу в результатах поиска Google

 

  

Точно так же, если вы используете следующий код в разделе заголовка веб-страницы, вы фактически говорите поисковым системам не переходить по какой-либо ссылке (как внутренней, так и внешней) на этой странице и не передавать рейтинг страницы Google по этим ссылкам. .

 

  


Обратите внимание, что вы можете объединить несколько директив в один код и сообщать сразу несколько вещей. Например, следующий код указывает поисковым системам не индексировать содержимое страницы и в то же время не переходить по ссылкам на странице.

 

  

Точно так же следующий код сообщает поисковым системам не индексировать содержимое страницы, а переходить по всем ссылкам на странице.

 

  

Теперь, в зависимости от требований, вы можете использовать эти директивы в метатеге robots вашего сайта.

Часто задаваемые вопросы по метатегу Meta Robots

Вот несколько часто задаваемых вопросов, связанных с метатегом Robots.

Можно ли, если на моем веб-сайте или на определенных страницах моего сайта нет метатега роботов?

Совершенно нормально, если на вашем сайте нет метатега robots.Это совершенно необязательно. Поисковые системы не будут обижены, если не найдут метатег robots на вашем сайте, если у вас их нет, это просто дополнительное требование для тех владельцев веб-сайтов, которые хотят использовать noindex или nofollow для определенных страниц на своем веб-сайте. Если ваш веб-сайт не соответствует этим требованиям, вам не нужно использовать метатег robots.

Добавляет ли метатег Robots какие-либо дополнительные преимущества для SEO?

Нет, совсем нет. Добавление метатега robots не дает вам «преимущества» или дополнительных преимуществ по сравнению с отсутствием метатега robots.Это не влияет на поисковый рейтинг и другие показатели, поэтому нет необходимости зацикливаться на использовании метатега роботов для улучшения поискового рейтинга веб-страницы.

Обязаны ли поисковые системы следовать директиве, указанной в метатеге Robots?

Поисковые системы не обязаны следовать директиве, указанной в метатеге robots, поскольку директива дается вами в качестве руководства, и поисковые системы должны решить или выполнить этот запрос. Тем не менее, в 99% случаев поисковые системы действительно выполняют ваш запрос и выполняют инструкции, содержащиеся в метатеге Robots.

Предотвращает ли добавление метатега роботов на веб-страницу сканирование?

Нет, добавление метатега robots не предотвращает и не запрещает роботам поисковых систем сканировать эту конкретную страницу. Роботам поисковых систем потребуется время от времени повторно сканировать этот URL-адрес, чтобы проверить, не изменился ли метатег.

Стоит ли слишком часто менять метатег Robots в разделе вашего веб-сайта?

Нет, как правило, не рекомендуется часто менять метатег Robots в определенных разделах вашего веб-сайта.У использования метатега robots должна быть четкая цель, и вы не должны постоянно переключаться с одного предпочтения на другое без какой-либо четкой цели.

В заключение, вот короткое видео от бывшего сотрудника Google Мэтта Каттса, в котором он объясняет, когда следует использовать метатег The Robots, чтобы не индексировать определенную страницу, но позволить роботу Googlebot переходить по всем ссылкам на этой странице.


Обязательно прочтите наше руководство по SEO, которое содержит полезную информацию о SEO, и мы подробно обсудили ключевые концепции SEO с примерами

Объяснение синтаксиса мета-тегов HTML для роботов

Объяснение синтаксиса мета-тега HTML для роботов


Используя мета-тег HTML для роботов, вы можете контролировать на уровне страницы, как поисковая система роботы должны индексировать, переходить по ссылкам или кэшировать определенную страницу.

Мета-теги роботов Поведение поисковых роботов
Сообщает паукам поисковых систем не индексировать эту страницу, но паукам разрешено следовать ссылки на этой странице для перехода на другие страницы.
Эквивалент
Поисковым роботам разрешено индексировать эту страницу, но не разрешено переходите по ссылкам на этой странице, чтобы перейти на другие страницы.
Эквивалент
Пауки поисковых систем не должны ни индексировать эту страницу, ни переходить по ссылкам на ней. страницу, чтобы перейти на другие страницы.
Эквивалент
Пауки поисковых систем могут индексировать эту страницу, а также переходить по ссылкам на этой странице для перехода на другие страницы.
Эквивалент
Эквивалент
Эквивалент
Тег Роботы не используется на странице Эквивалент
Google или Yahoo не будут архивировать / кэшировать страницу

Куда поставить метатег роботов
Поместите метатег robots между началом и концом тегов в вашем HTML-файле.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *