Запрет индексации части контента в Google — МИФ

Пост навеян аудитом, который я получил для ознакомления, когда приступил к работе над новым сайтом. Аудит был сделан два года назад одной крупной компанией на рынке SEO. Настолько крупной, что даже присутствует в ТОП-10 по запросу «продвижение сайтов» 🙂 Даю выдержку с одной из страниц:

Все повторяющиеся блоки (то есть неуникальные для каждой странице) необходимо закрыть от индексации в поисковых системах. При этом повысить ценность содержания каждой страницы в глазах поисковой системы.

<!—googleoff: all—>
<!—noindex—>
БЛОК
<!—/noindex—>
<!—googleon: all—>

<!—noindex—><!—/noindex—> используется для Яндексе. Спору нет.

А вот теги <!—googleoff: all—> и <!—googleon: all—> вызывают интерес. Якобы с их помощью можно закрыть часть контента на странице от индексации поисковым роботом Google.

В инете вообще много лишнего шума. В сфере SEO тоже. Много непроверенной информации, каждый пишет свое мнение, куча недоблоггеров с копипастом и рерайтом. Проверяйте информацию, господа, ищите первоисточник и думайте головой. Я встречал немало блогов, где автор на полном серьезе пишет то, во что ВЕРИТ, не предъявляя к своей информации требований достоверности.

Разберемся по порядку — что это за теги googleoff/googleon?

Порывшись в интернете (буржуйском) попадаем на страничку http://www4.uwm.edu/search/info/onofftag.cfm, где русским английским языком написано следующее:

The googleoff/googleon tags disable the indexing of a part of a web page. The result is that those pages do not appear in search results when users search for the tagged word or phrase.

Перевод: теги googleoff/googleon запрещают индексировать часть страницы. Результатом будет то, что данный кусок страницы не будет появляться в результатах поиска, если искать по слову или фразе из этого куска текста. «О, как замечательно!» — подумает вебмастер или сеошник, — «это же практически <noindex> для Google!». Но если пробежаться глазами дальше, то мы увидим, что не все так просто:

You can use googleon/off to tell the Google Search Appliance to ignore portions of a page. Insert <!—googleoff: index—> at the point you want the Google Search Appliance to stop indexing, then insert <!—googleon: index—> where you want it to resume indexing the page.

Перевод: если коротко, в этом абзаце объясняется, что интересные нам теги используются в неком Google Search Appliance. Опа! Что же это за GSA? Обратимся к первоисточнику:

Google Search Appliance – это универсальное бизнес-решение, в котором эффективные технологии Google Поиска дополнены функциями, специально разработанными для нужд современных компаний. Подробнее: http://www.google.com/work/search/products/gsa.html

Т.е. это некое корпоративное решение для бизнесов, которые хотят устроить поиск по своим базами данных (как-то так это я понял). Никакого отношения данные теги к основному поиска Google не имеют!

А вот и он во всей красе. Вот такой вот желтенький, а сколько проблем с информационным шумом))

«А вдруг все-таки что-то тут не так», — подумаете вы. Нужны еще доказательства!

Вот вам с официального форума Google для помощи вебмастерам универсальный ответ. И мой частичный вольный перевод:

1. Google робот попадает всюду. Вот так он работает. Если есть страница, у нее есть адрес, значит Googlebot туда попадет
2. Google проиндексирует все, что он найдет. Если Google нашел страницу, то он ее проиндексирует полностью.
3. Google ранжирует все, что проиндексирует. Если Google включил страничку в индекс, значит, он будет ее ранжировать
4. Как запретить Google индексировать часть страницы? Никак**. Если это часть страницы, то она будет проиндексирована в любом случае. Никаким мета-тегом, html-тегом нельзя заставить робота Google игнорировать часть страницы.

** Опустим здесь возможности javascript, ajax или фреймов.

Если же и ответ на форуме для вас — пустой звук, то посмотрите видео руководителя отдела Google по борьбе с веб-спамом Мэта Каттса (еще лысенького) от 2010 года.

Он так прямо и заявляет, что, мол, идея-то хорошая: исключать часть страницы, чтобы ее не индексировать, но, говорит, такого у нас нет, мы считаем это не важным. Google робот сам поймет, что индексировать, а что нет.

P.S. Проведем маленький эксперимент. Заключим весь этот текст в наши теги, проверим, как будут обстоят дела с индексацией. По логике текст не должен быть проиндексирован.

UPD. Прошло две недели. Проверка эксперимента: ищем в Google по куску из текста в кавычках… и находим.

Раз

Два

Три

Вывод: все вышеописанное правда на октябрь-ноябрь 2014 года.

UPD: и на 2017 год тоже https://goo.gl/NoHZg7

justseoblog.ru

Способы влияния на индексацию страниц в Яндекс и Google

Иногда веб-мастеру необходимо запретить индексацию страницы целиком или ее части. Например, Вы не хотите чтобы на вашем сайте индексировалась реклама, блок ссылок или страницы с результатами поиска. В данной статье я постарался собрать все методы влияющие на индексацию в поисковых системах Яндекс и Google.

Контроль индексации в Яндекс

Файл robots.txt

С помощью данного файла администратор может ограничить доступ роботов поисковых систем как к части сайта так и к отдельным страницам.

Пример 1:

User-agent: * Disallow: /basket.php В этом примере мы запретили, роботам обращение к скрипту корзины Интернет-магазина. * — обозначает что данное правило применимо ко всем роботам.
Яндекс поддерживает диррективу Host в файлах robots.txt, это позволяет указать поисковику главное зеркало сайта, которое и будет отображаться в результатах поиска.

Пример 2:

User-agent: Yandex Disallow: /basket.php Host: www.site.ru

либо

User-agent: Yandex Disallow: /basket.php Host: site.ru

В первом случае мы указали главным домен www.site.ru, во втором site.ru.

Пример 3:

User-Agent: * Disallow: /

В этом примере роботу полностью запрещен обход сайта.

<a rel=»nofollow»>

Используя атрибут rel=»nofollow», мы запрещаем поисковику переход по ссылке и утекание «веса» страницы.
PS: Данный атрибут также поддерживают роботы Google, Bing и Yahoo.

Тег <—noindex—>

Ранее веб-мастерам приходилось использовать невалидный тег <noindex> для запрета индексации части страницы для роботов Яндекса, но по многочисленным просьбам Яндекс сделал валидную версию данного тега — <—noindex—>. Для запрета индексации куска текста или html кода заключите его между открывающим и закрывающим тегами noindex.

Пример:

<--noindex-->Этот текст не индексирует Яндекс!</--noindex-->

Контроль индексации в Google

Google, как и Яндекс поддерживает атрибут rel=»nofollow» у ссылок и файлы robots.txt, за исключением диррективы Host. Указать главное зеркало можно через Инструменты Google для веб-мастеров

Теги googleoff/googleon для контроля индексирования частей страниц

С помощью тегов googleoff/googleon мы можем запретить роботу индексировать часть страницы или блок ссылок. Существует 4 вида тегов. Я рассмотрю их на конкретных примерах, чтобы Вам было ясно о чем идет речь.

Пример 1:

аквариумные <!--googleoff: index-->рыбки<!--googleon: index--> неплохо размножаются

В результате слова «аквариумные» и «нелохо размножаются» проиндексируются, а вот слово «рыбки» нет.

Пример 2:

<!--googleoff: anchor--><a href="razdaem-slonov.html">раздаем слонов</a><!--googleon: anchor-->

В этом примере у нас не проиндексируется текст ссылки, следовательно, при поиске по словосочетанию «раздаем слонов» документ razdaem-slonov.html не появится в результатах поисковой выдачи.

Пример 3:

<!--googleoff: snippet-->Меня не видно!<!--googleon: snippet-->

Текст расположенный между открывающим и закрывающим тегами с атрибутом snippet не будет отображаться в результатах выдачи, но будет проиндексирован.

Пример 4:

<!--googleoff: all-->Меня не видно!<!--googleon: all-->

Последний пример — это комбинация трех предыдущих.

UPD: Как выяснилось теги googleoff/googleon работают только для Google Search Appliance и Google Mini, но не для обычного поиска Google.

Теги <!— google_ad_section_start—>, &lt!— google_ad_section_end—>

Данные теги пригодятся для веб-мастеров размещающих на своих сайтах рекламу Google Adsense. Они сообщат боту Adsense какой контент является более релевантным на странице.

Возможно я что-то пропустил в своем обзоре. Если у Вас есть дополнения или замечания, пишите комментарии и я дополню данную статью.

webdev.ru

вот где @ зарыта… » Архив блога » Запрет индексации HTML кода в Google или аналог noindex

 

Теги googleoff / googleon запрещают индексацию части web-страницы. Результатом этого является то, что выделенный этими тегами фрагмент не попадает в поисковую выдачу. Где и как могут применяться google off / google on? Теги google off / google on — аналог тега noindex системы Яндекс в Google.

Вы можете использовать теги googleoff / googleon для того, чтобы сообщить Гуглу о том, что выделенную часть текста необходимо игнорировать или чтобы избежать индексацию ссылки, ведущей на другую web-страницу. Вставьте <!—googleoff: index—> в то место, с которого Вы хотите остановить индексацию. Затем вставьте <!—googleon: index—> туда, откуда необходимо снова начать индексацию.

Теги googleoff / googleon бывают нескольких видов: index, anchor, snippet, all.Вот как их можно использовать:

<!—googleoff: index—> Закрытый от индексации текст <!—googleon: index—>
Слова, окруженные этими тегами не будут проиндексированы, как встречающиеся на данной странице. Между тем, если закрытые тегом слова встретятся на странице где-то еще, они, конечно будут проиндексированы.

<!—googleoff: anchor—><a href=»/pagelink.html»>Котики</a><!—googleon: anchor—>
Гугл проиндексирует ссылку, но будет игнорировать текст анкора — «Котики». Поэтому страница «/pagelink.html» не будет ассоциирована со словом «Котики».

<!—googleoff: snippet—> Комментарии <!—googleon: snippet—>

Текст, обозначенный этими тегами не будет использован для создания сниппета — краткой текстовой информации о странице, которая выводится в результатах поиска. Таким образом можно убрать нежелательный текст из описания страницы в поисковой выдаче.

<!—googleoff: all—> Неиндексируемый контент <!—googleon: all—>
Включает в себя действия index, anchor, snippet — текст, окруженный этими тегами не будет проиндексирован; страницы, на которые ведут ссылки, заключенные в теги, не будут ассоциированы с анкорами; фрагмент не появится в описании страницы в поисковой выдаче Google.

 

killoff.ru

Таинственные теги googleon и googleoff

Сегодня на форуме наткнулся на вообщем то заурядный вопрос на тему, есть ли в Google аналог Яндекс тега noindex. То есть запрет на индексацию отдельного фрагмента текста на странице. Собственно ответ крутился в голове , что это невозможно, Google не поддерживает в данный момент такую возможность.

phentermine online pharmacy

Но мне привели слудующие возражения цитата:

buy provigil online no prescription

«откройте исходник сайта adobe.com и там найдете очень интересные теги


Теперь берем кусочек текста “You may not have everything you need to view certain sections of Adobe.com.” и задаем этот текст в поиск гугла
в результате мы видим, что в результатах гугла нет индексной страницы”

buy xanax online

И, правда, на Adobe.com были обнаружены такие теги. Как же такое нововведение проскользнуло мимо меня, и я провел небольшой ресечинг на эту тему, с результатами которого я вас и познакомлю.

buy diazepam without prescription

Действительно вышеупомянутая фраза на адобе была окружена тегами googleon и googleoff, но это не теги а комментарии HTML. Помимо этого текст был окружен тегами noscript, а гугль, как известно, понимает скрипт и по этой причине проигнорировал текст, соответственно не вывел главную страницу в индекс.
Но откуда же взялись загадочные googleon и googleoff? Adobe.com далеко не из тех искушенных сеошников которые бы стали придумывать свои теги, а-ля googlepray

buy soma no prescription

Ответ прост. Данные HTML комментарии влияют только на Google Search и возможно на Google Mini. Оба этих решения служат для локального поиска по сайту, адобовцы им то и пользуются, закрывая тегами повторяющиеся тексты на страницах.
На ботов Google.com данные теги не распространяются.
И на последок перечислю все способы, которыми можно ограничить индексацию вашего сайта.

valium online no prescription

Очередной SEOшный миф развенчан

tramadol online pharmacytramadol online pharmacy buy ambien online buy klonopin online without prescription buy valium online no prescription xanax online pharmacy buy ambien no prescription valium online without prescription buy ambien without prescription ambien online pharmacy buy phentermine no prescription -kass

www.kass.ws