Как закрыть сайт от индексации в поисковых системах

Доброго дня, дорогие читатели.

В этой статье мы расскажем о том, как закрыть сайт от индексации с помощью самых разных способов. Индексация – это процесс занесения информации вашего ресурса в базы поисковых систем. При этом поисковые роботы могут заносить абсолютно любую информацию вашего проекта. Даже ту, что не нужно. Подобное особенно часто встречается в случаях, когда сам сайт только создан, и какой-то полезной информации там еще нет.

Естественно, ПС все равно могут начать индексацию, что в дальнейшем может создать некоторые проблемы с SEO-продвижением. Сегодня мы разберем наиболее популярные способы сокрытия проекта от взора поисковых роботов. Давайте начинать!

Индексация – это процесс, который подразумевает считывание всей информации вашего ресурса для дальнейшего занесения ее в базы ПС. Иными словами, это когда поисковики анализируют ваш сайт, чтобы потом выдавать его пользователям в поисковой выдаче. В процессе индексации учитывается абсолютно все: начиная от дизайна и заканчивая количеством текста в статьях.

В процессе индексации сайта ПС могут делать для себя определенные пометки. Например, если вы начнете размещать на своем веб-ресурсе копипаст, то ваш сайт может попасть под фильтр. В таком случае он больше не будет участвовать в поисковом ранжировании на равных условиях с другими проектами. Поисковик будет просто занижать ресурс в позициях либо вовсе уберет его из результатов.

То же касается и каких-то других аспектов SEO-продвижения. Во время индексации поисковые роботы анализируют все показатели, чтобы определить качество сайта и возможность размещения страниц по каким-то определенным запросам. Если на проекте отсутствует информация (статьи и страницы), то разместить его где-то либо не представляется возможным.

Такой веб-ресурс будет доступен только по прямому обращению с использованием специальных регулярных выражений. В общих результатах его не встретить.

Роботы ПС начинают индексацию всех открытых сайтов сразу же после их создания. Вы даже можете не добавлять свой проект в Яндекс.Вебмастер и Google Search Console, но роботы все равно придут на ваш ресурс и начнут аудит всей доступной информации. Если вы только что создали свой проект, естественно, вам подобная индексация не нужна. Например, очень часто при создании проектов люди пользуются шаблонами.

Чтобы лучше настроить внешний вид ресурса, они загружают специальные демо-конфигурации, которые в автоматическом режиме создают тестовые варианты статей. Это, как правило, копипастные материалы, которые нужны только для того, чтобы тема оформления выглядела должным образом. Согласитесь, настраивать шаблон намного проще, если ты сразу видишь, как это все будет выглядеть в конечном итоге. Когда ресурс пустой, настроить шаблон должным образом бывает очень сложно.

Это особенно актуально для проектов на WordPress, потому как тема на заполненном проекте и тема на пустом выглядят совершенно по-разному. Пользователи выгружают демо-контент, чтобы настроить внешний вид, и в случае, если проект не был закрыт от ПС, эти самые страницы с демо-контентом могут попасть в поисковую выдачу.

Естественно, они будут на самых последних страницах, но тем не менее это будет создавать негативный эффект для SEO-продвижения. По сути, это можно рассматривать как попадание мусорных страниц и документов в ПС. Потом вам придется удалять их все, на что может потребоваться определенное время.

Видимого негативного эффекта от этого, конечно, быть не должно. Однако некоторые трудности возникнут. Ваш веб-ресурс не будет классифицироваться как полностью уникальный, и в некоторых случаях поисковые роботы будут занижать позиции уже настоящих статей в выдаче. Даже после удаления всех этих демо-материалов эффект может держаться еще какое-то время.

Именно поэтому при начальной разработке проекта лучше закрыть его от индексации и открывать уже только после того, как он будет полностью готов. Причем это касается не только демо-контента, но и, вообще, любой разработки – дизайна, скорости загрузки и т. д. Если что-то на ресурсе не работает должным образом, лучше это на время скрыть от глаз пользователей и ПС.

Помимо закрытия на этапе разработки, есть и другие причины для того, чтобы исключить свой проект из поисковой выдачи. К примеру, это может понадобиться специализированным ресурсам, материалы которых не должны быть в общем доступе. Обычно это какие-то специальные закрытые проекты, информация на которых предназначена для ограниченного количества людей.

Естественно, если поисковые системы начнут считывать информацию с таких проектов, то ни о какой приватности речь идти не будет. Все данные будут доступны для изучения с помощью различных сервисов. Сами ПС сохраняют слепки сайтов, поэтому, даже если владельцы проекта решат удалить информацию, которая по ошибке попала в поисковик, где-то может остаться сохраненная копия.

Также закрытие проекта от индексации актуально для внутренних ресурсов различных компаний, которые создают такие сайты для своих сотрудников. Это могут быть специальные панели управления, страницы с расписанием и т. д.

В общем, причин для закрытия проекта от поисковых систем очень много. Да и способов реализации этого тоже.

Способов скрыть свой сайт от взгляда поисковиков очень много. Например, в WordPress для этого есть специальная галочка, которая автоматически проставляет специальный тег на всех страницах проекта. Подобный функционал есть и в некоторых других платформах. Достаточно просто перейти в панель управления, найти нужный параметр и активировать его. Также есть и более универсальные способы, которые будут работать на большинстве известных CMS. Даже на самописных или HTML-сайтах подобные способы будут работать. О них мы и расскажем далее.

Для скрытия ресурса от ПС вам достаточно активировать настройку, которая отвечает за видимость для роботов ПС. Перейдите в панель управления, наведите курсор на пункт “Настройки” и выберите там подпункт “Чтение”. Откроется страница, где самой последней опцией будет нужная нам галочка.

Активируйте чекбокс с галочкой, после чего кликните на кнопку “Сохранить изменения”. Отныне ваш ресурс не будет индексироваться поисковыми системами. WordPress проставит на всех страницах ресурса специальные теги, которые сообщают, что данный материал не должен участвовать в поисковом ранжировании.

При этом даже в самих настройках сообщается, что далеко не всегда поисковые системы следуют этому запросу. Яндекс и Google, скорее всего, последуют, а вот менее популярные ПС могут проиндексировать ваш ресурс несмотря на все усилия.

В любой момент вы можете вернуться в настройки и отключить эту галочку. Тогда метатег автоматически уберется со всех страниц, и вы сможете отправить их на переобход с помощью Яндекс.Вебмастера или Google Search Console.

Помимо полного закрытия ресурса, вы можете делать то же самое, но только с нужными статьями или страницами. Для этого вам необходимо будет установить плагин для поисковой оптимизации Yoast SEO или любое аналогичное расширение. В рамках этой статьи мы рассмотрим именно Yoast SEO.

Чтобы закрыть нужную страницу или статью, вы должны открыть редактор в панели управления, после чего прокрутить страницу вниз. Вплоть до сниппета с Yoast SEO, где расположено окно с title, описанием и ключевым словом для вашего материала.

Перейдите во вкладку “Дополнительно” (значок шестеренки), после чего выберите пункт “Нет” в раскрывающемся меню “Разрешить поисковым системам показывать Запись в результатах поиска?”

Здесь же вы можете указать и другие настройки. Например, расширить метатег robots для этой конкретной страницы. Однако новичкам вряд ли потребуются эти функции. Достаточно будет выбрать соответствующий пункт в настройках записи, после чего сохранить изменения с помощью нужной кнопки.

Это можно сделать с любой записью и страницей. Также это можно сделать с метками (тегами) и другими кастомными таксономиями.

Чтобы закрыть полностью все страницы или полностью все записи, вы также можете воспользоваться параметрами плагина Yoast SEO. Просто перейдите в меню “SEO” – “Отображение в поисковой выдаче”. Откроется страница, где в верхнем меню необходимо выбрать пункт “Типы содержимого”. Там будут указаны все таксономии вашего ресурса.

К каждой таксономии будет свой набор настроек, который, как правило, имеет один шаблон. Вам необходимо перейти к нужной таксономии (например, к записям), развернуть содержимое вкладки и выбрать “Нет” в пункте “Показать Записи в результатах поиска?” После этого вам нужно просто сохранить настройки.

На всех записях автоматически проставится метатег robots, который будет сообщать поисковикам, что именно эти документы индексировать не нужно. В то же время другие таксономии и страницы будут доступны для индексации.

То же самое вы можете сделать и со страницами, и с архивами, и с метками. Нужно просто перейти к нужному пункту, изменить эту настройку, после чего сохранить изменения.

Закрыть ресурс от взгляда ПС можно с помощью самого стандартного способа – через robots.txt, который есть практически на каждом проекте. Данный файл имеет очень большое значение для поисковиков, потому что именно в нем описываются все правила для роботов. Если этого файла нет, ПС классифицируют подобное как ошибку.

Для закрытия всего проекта вам необходимо стереть все нынешнее содержимое файла, после чего добавить туда следующие строки.

User-agent: *

Disallow: /

Эти правила будут закрывать ваш сайт от всех ПС. При желании вы можете закрыть ресурс только от одного поисковика. Для этого вместо звездочки необходимо указать название робота.

Например, чтобы скрыть проект конкретно от Google, вам нужно использовать такой код.

User-agent: Googlebot

Disallow: /

Также вместо Googlebot можно прописать “Yandex”, тогда ваш ресурс будет скрыт только от Яндекса.

Чтобы скрыть конкретную папку или страницу, вы должны указать ее в файле, используя директиву “Disallow”.

К примеру, вы хотите закрыть страницу /blog/ от всех ПС. Остальные материалы по вашему замыслу должны индексироваться. Для этого вы должны использовать следующие строчки в robots.txt.

User-agent: *

Disallow: /blog/

Проверить правильность использования robots.txt вы можете в панелях управления для вебмастеров. Подобные инструменты есть и в Яндексе, и в Google.

Кстати говоря, использование правильного файла robots.txt – залог успешного SEO-продвижения. О том, как создать правильный robots.txt для WordPress и Joomla мы рассказывали в отдельном материале. Рекомендуем ознакомиться.

Этот способ очень похож на самый первый, где мы рассказывали, как закрыть ресурс от индексации в WordPress через настройки и плагин. Только в этом случае вам придется добавлять нужный метатег в код самостоятельно без всяких интерфейсов и т. д.

Во все страницы, которые вы хотите закрыть от ПС, нужно добавить следующий тег.

<meta name=”robots” content=”noindex, nofollow”/>

В WordPress это можно сделать при помощи редактора тем, который расположен в меню “Внешний вид”. Просто перейдите в панель управления, найдите там нужный пункт, наведите на него курсор и выберите “Редактор тем”.

Далее, вам нужно будет выбрать файл заголовка (header.php), который используется почти на всех страницах проекта. Туда-то и нужно вставить данный метатег.

Сразу скажу, что ручное размещение тега именно на WordPress неоправданно. Зачем это делать, если есть настройки, которые могут помочь реализовать все в более упрощенном варианте.

Такой способ больше подойдет для самописных сайтов или ресурсов, которые используют какие-то сторонние платформы, где нет возможности так просто активировать данный метатег в настройках.

С помощью этого файла можно закрыть ресурс от индексации. Сделать это можно при помощи таких строчек.bot» search_bot

Нужно добавить их в файл. Эти правила закроют ваш проект от всех известных ПС.

Как видите, способов закрытия проекта от ПС очень много. Мы рассмотрели наиболее популярные и действенные варианты. Надеюсь, что этот материал поможет вам в решении ваших проблем. Все на самом деле очень просто, особенно если вы используете WordPress или аналогичную платформу. Достаточно просто активировать настройку, и проект будет закрыт.

Также можно воспользоваться универсальным способом и закрыть ресурс через robots.txt. Таким вариантом пользуется абсолютное большинство вебмастеров, и никаких нареканий у них не возникает. В любой удобный момент можно просто изменить содержимое файла и отправить сайт на переиндексацию.

Как закрыть сайт от индексации: краткое руководство

Как закрыть сайт от индексации в поиске

Для закрытия от индексации всего ресурса достаточно просто создать в корневой папке файл robots.txt с таким текстом:

Usеr-аgеnt: Yаndех
Dіsаllоw: /

Это позволит закрыть сайт от робота Яндекса. А сделать так, чтобы он не индексировался ни одним поисковиком, можно при помощи такой команды:

Usеr-аgеnt: *
Dіsаllоw: /

Ввод такого текста в «роботс» позволяет скрыть ресурс не только от Яндекса, но и от всех остальных поисковых систем. Можно также использовать файл .htассеss, но при этом устанавливается пароль, что приводит к некоторым сложностям в работе с сайтом.

Как

Можно отключить робота как полностью, так и частично. Чтобы поисковая система не видела определенную папку, указываем в robots.txt ее название. В результате будет установлен запрет на индексирование всех находящихся в ней объектов.

Шаблон:

Usеr-аgеnt: *
Dіsаllоw: /fоldеr/ (название папки)

Есть также возможность открыть отдельный файл. При такой необходимости дополнительно используется команда Allow. Прописываем разрешение на индексацию нужного объекта и запрет на доступ к папке:

Usеr-аgеnt: *
Аllоw: /fоldеr/fіlе.рhр (местонахождение объекта – его название и папка)
Dіsаllоw: /fоldеr/

Как запретить Яндексу доступ к определенному файлу?

Тут нужно действовать по аналогии с предыдущим примером. Команда та же, но указывается адрес местонахождения файла и название поисковика.

Шаблон команд, блокирующих индексацию:

User-agent: Yandex
Disallow: /folder/file.php

Как определить, документ открыт для индексации или нет?

С этой целью можно использовать специализированные сервисы, в том числе бесплатные. Работают они довольно просто, например по такой схеме: вы вводите перечень адресов, которые нужно проверить, и запрашиваете информацию об их возрасте в поисковике. Для документа, который индексируется, будет указана дата его попадания в индекс, а если он недоступен для поисковых роботов, отобразится соответствующая надпись.

Как блокируется индексирование изображений?

Можно запретить поисковикам индексировать картинки таких распространенных форматов как gif, png и jpg. Для этого в robots.txt указывается расширение файлов.

В зависимости от того, какие изображения блокируются, команды имеют такой вид:

User-Agent: *
Disallow: *.gif (*.png или *.jpg)

Алгоритм действий в этом случае такой же, как при запрете индексации основного сайта. У каждого поддомена есть собственный robots.txt, чаще всего расположенный в его корневой папке. Если не удалось его обнаружить, нужно создать такой файл. Содержащиеся в нем данные корректируются с использованием команды Disallow путем упоминания разделов, которые закрываются.

Как запретить индексацию поддомена с CDN?

При использовании этой версии наличие дубля может превратиться в серьезную помеху для SEO-продвижения. Есть два способа этого избежать. Первый – провести предварительную настройку на домене тега <link> атрибута rel=»canonical», а второй – создать собственный robots.txt на поддомене. Лучше остановиться на первом варианте, поскольку так данные о поведенческих факторах удастся сохранить в полном объеме по каждому из адресов.

Как называть роботов разных поисковых систем?

В robots.txt содержатся обращения к индексаторам, и необходимо правильно указать их названия. У каждого поисковика собственный набор роботов.

• У Google главный индексатор – это Googlebot.
• У Яндекса – Yandex.
• У отечественной поисковой системы «Спутник» от компании «Ростелеком» – SputnikBot.
• У поисковика Bing от корпорации «Майкрософт» – робот-индекстор от MSN под названием MSNBot.
• Yahoo! – Slurp.

Как дополнительные команды можно прописать в robots.txt?

Яндексом, кроме рассмотренных выше директив, поддерживаются и такие.

• Sitemap: – показывает путь к карте сайта. Кроме Яндекса, на него реагирует Google и многие другие поисковые системы.
• Clean-param: – демонстрирует параметры GET, не влияющие на то, как на сайте отображается контент, например ref-ссылки или метки UTM.
• Crawl-delay: – устанавливает минимальный временной интервал для поочередного скачивания файлов. Работает в большинстве поисковиков.

Чтобы роботы не индексировали сайт или определенную страницу, можно воспользоваться командой name=»robots» #. Установка запрета на поиск при помощи этого метатега является удачным способом закрытия ресурса, поисковые роботы с большой вероятностью будут выполнять вашу команду. Допускается использование одного из двух равносильных вариантов кода:

1) <meta name=»robots» соntent=»none»/>,

2) <meta name=»robots» content=»nоіndex, nofollow»/>.

Метатег прописывается в зоне <head> </head>. Так блокируется доступ для всех роботов, но при желании можно обратиться к какому-то конкретному, заменив в коде «robots» на его название. Например, для Яндекса команда выглядит так:

<meta name=»yandex» content=»nоіndex, nofollow»/>

Теги

Вам также будет интересно

Запрет индексации сайта поисковыми системами. Самостоятельно проверяем и меняем файл robots.txt. Зачем закрывать сайт от индексации?

Зачем закрывать сайт от индексации? Проверяем и меняем файл robots.txt самостоятельно.

Ответ

Для закрытия всего сайта от индексации во всех поисковых системах необходимо в файле robots.txt прописать следующую директиву:

Disallow: /

Далее, подробнее разберемся в вопросе подробнее и ответим на другие вопросы:

• Процесс индексации что это?
• Зачем закрывать сайт от индексации?
• Инструкции по изменению файла robots.txt
• Проверка корректности закрытия сайта от индексации
• Альтернативные способы закрыть сайт от поисковых систем

Оглавление

Процесс индексации

Индексация сайта – это процесс добавления данных вашего ресурса в индексную базу поисковых систем. Ранее мы подробно разбирали вопрос индексации сайта в Яндекс и Google.

Именно в этой базе и происходит поиск информации в тот момент, когда вы вводите любой запрос в строку поиска:

Если сайта нет в индексной базе поисковой системе = тогда сайте нет и в поисковой выдаче. Его невозможно будет найти по поисковым запросам.

В каких случаях может потребоваться исключать сайт из баз поисковых систем?

Зачем закрывать сайт от индексации

Причин, по которым необходимо скрыть сайт от поисковых систем может быть множество. Мы не можем знать личных мотивов всех вебмастеров. Давайте выделим самые основные объективные причины, когда закрытие сайта от индексации оправданно.

Сайт еще не готов

Ваш сайт пока не готов для просмотра целевой аудиторией. Вы находитесь в стадии разработки (или доработки) ресурса. В таком случае его лучше закрыть от индексации. Тогда сырой и недоработанный ресурс не попадет в индексную базу и не испортит «карму» вашему сайту.  Открывать сайт лучше после его полной готовности и наполненности контентом.

Сайт узкого содержания

Ресурс предназначен для личного пользования или для узкого круга посетителей. Он не должен быть проиндексирован поисковыми системами. Конечно, данные такого ресурса можно скрыть под паролем, но это не всегда необходимо. Часто, достаточно закрыть его от индексации и избавить от переходов из поисковых систем случайных пользователей.

Переезд сайта или аффилированный ресурс

Вы решили изменить главное зеркало сайта. Мы закрываем от индексации старый домен и открываем новый. При этом меняем главное зеркало сайта. Возможно у Вас несколько сайтов по одной теме, а продвигаете вы один, главный ресурс.

Стратегия продвижения

Возможно, Ваша стратегия предусматривает продвижение ряда доменов, например, в разных регионах или поисковых системах. В этом случае, может потребоваться закрытие какого-либо домена в какой-либо поисковой системе.

Другие мотивы

Может быть целый ряд других личных причин закрытия сайта от индексации поисковыми системами. Можете написать в комментариях Вашу причину закрытия сайта от индексации.

Закрываем сайт от индексации в robots.txt

Обращение к Вашему сайту поисковой системой начинается с прочтения содержимого файла robots.txt. Это служебный файл со специальными правилами для поисковых роботов.

Подробнее о директивах robots.txt:

Самый простой и быстрый способ это при первом обращении к вашему ресурсу со стороны поисковых систем (к файлу robots.txt) сообщить поисковой системе о том, что этот сайт закрыт от индексации. В зависимости от задач, сайт можно закрыть в одной или нескольких поисковых системах. Вот так:

Инструкция по изменению файла robots.txt

Мы не ставим целью дать подробную инструкцию по всем способам подключения к хостингу или серверу, укажем самый простой способ на наш взгляд.

Файл robots.txt всегда находится в корне Вашего сайта. Например, robots.txt сайта iqad.ru будет находится по адресу:

https://iqad.ru/robots.txt

Для подключения к сайту, мы должны в административной панели нашего хостинг провайдера получить FTP (специальный протокол передачи файлов по сети) доступ: <ЛОГИН> И <ПАРОЛЬ>.

В описании раздела или в разделе помощь, необходимо найти и сохранить необходимую информацию для подключения по FTP к серверу, на котором размещены файлы Вашего сайта. Данные отражают информацию, которую нужно указать в FTP-клиенте:

• Сервер (Hostname) – IP-адрес сервера, на котором размещен Ваш аккаунт
• Логин (Username) – логин от FTP-аккаунта
• Пароль (Password) – пароль от FTP-аккаунта
• Порт (Port) – числовое значение, обычно 21

Далее, нам потребуется любой FTP-клиент, можно воспользоваться бесплатной программой filezilla (https://filezilla.ru/). Вводим данные в соответствующие поля и нажимаем подключиться.

После подключения прописываем необходимые директивы. См. раздел:
Закрываем сайт от индексации в robots.txt

Проверка корректности закрытия сайта от индексации

После того, как вы внесли все необходимые коррективы в файл robots.txt необходимо убедится в том, что все сделано верно. Для этого открываем файл robots.txt на вашем сайте.

В арсенале команды IQAD есть набор бесплатных инструментов для SEO-оптимизаторов. Вы можете воспользоваться бесплатным сервисом просмотра файла robots.txt:

Проверить индексацию

Открыть самостоятельно, файл находится корне Вашего сайта, по адресу:

www.site.ru/robots.txt

Где www.site.ru – адрес Вашего сайта.

Бесплатный сервис Я.ВЕБМАСТЕР – анализ robots.txt.

Бесплатный сервис ЯНДЕКС.ВЕБМАСТЕР проверит ваш robots.txt, покажет какими секциями Вашего файла пользуется поисковая система Яндекс:

Так же, в сервисе можно проверить запрещена ли та или иная страница вашего сайта к индексации:

Альтернативные способы закрыть сайт от поисковых систем

Помимо классического способа с использованием файла robots.txt можно прибегнуть и к другим, не стандартным, подходам. Однако у них есть ряд недостатков.

1. Вы можете отдавать поисковым роботам отличный от 200 код ответа сервера. Но это не гарантирует 100% исключения сайта из индекса. Какое-то время робот может хранить копию Ваших страниц и отдавать именно их. 
2. С помощью специального meta тега: <meta name=”robots”>

<meta name=”robots” content=”noindex, nofollow”>

Но так как метатег размещается и его действие относиться только к 1 странице, то для полного закрытия сайта от индексации Вам придется разместить такой тег на каждой странице Вашего сайта.

Недостатком этого может быть несовершенство поисковых систем и проблемы с индексацией ресурса. Пока робот не переиндексирует весь сайт, а на это может потребоваться много времени, иногда несколько месяцев, часть страниц будет присутствовать в поиске.

• Использование технологий, усложняющих индексацию Вашего сайта. Вы можете спрятать контент Вашего сайта под AJAX или скриптами. Таким образом поисковая система не сможет увидеть контент сайта. При этом по названию сайта или по открытой части в индексе поисковиков может что-то хранится. Более того, уже завра новое обновление поисковых роботов может научится индексировать такой контент. 
• Скрыть все данные Вашего сайта за регистрационной формой. При этом стартовая страница в любом случае будет доступна поисковым роботам.

Заключение

Самым простым способом закрыть сайт от индексации,  во всех поисковых системах, необходимо в файле robots.txt прописать следующую директиву:

Disallow: /

«robots.txt» это служебный файл со специальными правилами для поисковых роботов.

Файл robots.txt всегда находится в корне Вашего сайта. Для изменения директив файла Вам потребуется любой FTP-клиент.

Помимо классического способа с использованием файла robots.txt можно прибегнуть и к другим, не стандартным, подходам. Однако у них есть ряд недостатков. Для проверки текущих директив Вашего сайта предлагаем воспользоваться бесплатным сервисом просмотра файла robots.txt:

Проверить индексацию

Как быстро закрыть сайт от индексации поисковых систем

Вступление

Есть хорошее правило SEO: закрывайте сайт от индексации поисковых систем, до его полной готовности. Есть другие ситуации, при которых нужно временно или не временно, закрыть сайт или часть сайта от поисковых систем. Для этих и некоторых других задач, создан специальный текстовой файл, под названием robots.txt, с помощью которого можно управлять поведением поисковых роботов, в том числе закрыть сайт от индексации.

Директивы и обращение к ботам

Напомню, в файле robots.txt общение с поисковыми системами происходит при помощи директив Disallow (запрещаю) и Allow (разрешаю). Директивы объединяются в группы, первой строкой группы директив ставят обращение к определенному поисковику или ко всем поисковикам сети. Синтаксис обращения ко всем поисковикам, это же обращение к основному боту Google:

User-agent: * 

Синтаксис обращения к Яндекс:

User-agent: Yandex

Как полностью закрыть сайт от индексации поисковых систем

Чтобы закрыть весь сайт от индексации Яндекс и сканирования всех ботов сети используют следующие строки прописанные в robots.txt:

User-agent: *
Disallow: /

К сожалению, некоторые боты не выполняют общепринятых правил и игнорируют обращение [User-agent: *]. Поэтому, для некоторых  поисковиков нужно прописывать свои обращения и закрывать сайт от них индивидуально. Так, чтобы закрыть сайт от индексации основных ботов Яндекс, используем следующие строки:

User-agent: Yandex
Disallow: /

Чаще, на практике прописав в файле robots.txt две директивы Disallow  для всех поисковиков и для Яндекс индивидуально, считается, что сайт полностью закрыт от индексации.

Важно. После двоеточия в директивы нужно делать пробел, после окончания директивы пробелов быть не должно.

Обратите внимание, что можно обратиться к любому поисковику и зарыть сайт от конкретного поисковика. Так русские сайты можно закрыть от Yahoo. Можно закрыть сайт от спам ботов и т.д.   

Как закрыть отдельный каталог сайта от индексации

Косая черта (слэш) в директиве  Disallow означает, что мы закрываем все файлы и каталоги сайта корневой папки. Если нужно закрыть сайт, лежащий не в корне, а скажем, в папке site, пишем директиву так:

Disallow: /site/

Аналогично можно закрыть любую отдельную папку сайта.

Как закрыть отдельный файл сайта от индексации

Чтобы закрыть отдельный файл (file.php) она же страница, от индексации, в файле robots.txt пишем директиву:

Disallow: /site/file.php

Например, чтобы на Joomla закрыть от индексации страницу регистрации, пишем следующую директиву:

Disallow: /users/registration.html

Или в зависимости от настроек ЧПУ:

Disallow: /users/registration

Как закрыть шаблонный файл от индексации

В завершении покажу, как закрыть от индексации файл, в URL которого входит шаблон, например, index.php.

Disallow: */index.php* 

Этой директивой мы закроем все файлы сайт в URL которых, есть index.php. Для Joomla закроет все не ЧПУ ссылки. Иногда эту директиву прописывают более жестко:

Disallow: ******/index.php****** 

В завершении о директиве Allow

Если вам нужно открыть какой или какие либо файл (файлы) из закрытого каталога, после директивы Disallow: для каталога, пропишите директорию Allow: для файла (файлов).

User-Agent: *
Disallow: /images
Allow: *.jpg
Allow: *.png

Тем самым, я закрываю всё содержимое каталога images сайта, но открываю, только картинки формата jpg и png. Зачем? Для примера.

Инструкции от ботов

©Joomla-abc.ru

Еще статьи админу

Как закрыть сайт от индексации

Закрыть сайт от индексации иногда требуется по различным причинам. Например, он находится на стадии редизайна, или вы тестируете новые варианты страниц, которые, по вашим соображениям, не должны попадать в индекс. Как гарантированно скрыть сайт? Самое очевидное решение может быть не самым лучшим.

Конечно, можно сразу обращаться к файлу robots.txt. Сделал вот такую запись и спишь спокойно:

User-agent: *
Disallow: /

Но реальноcть оказывается обратной: индексация сайта блокируется, но в выдаче Гугла он все равно находится. В чем дело и как с этим бороться?

Происходит так потому, что индексация не равна показам в поиске. Ведь для того, чтобы показоваться или даже высоко ранжироваться, можно обойтись вообще без индексации. На это влияют и другие факторы, например, внешние ссылки. И если на ваш сайт или страницу, скрытую файлом robots.txt ссылаются другие сайты, вы можете все равно оказаться в выдаче.

Или еще пример: сайт старательно скрывается с помощью robots.txt, но на него идут ссылки с других страниц, причем с анкорами, соответствующими запросу. Поисковой системе не остается ничего другого, как выдать ссылку на этот сайт, даже если поисковый робот на нем ни разу не бывал. В этом случае возможен даже вариант показа ссылки без сниппета — то есть никакого текстового описания, взятого с сайта, не будет. А если же сайт присутствует в каком-либо каталоге типа DMOZ, то сниппет может быть и вовсе составлен на основании того, что написано в каталоге. Таким образом, Гугл все равно показывает пользователям то, что они ищут. Может быть, не лучшим образом, но как может. При этом никаких нарушений и противоречий нет — сайт не индексируется.

Как полностью закрыть сайт от индексации

Итак, если robots.txt здесь не всегда помогает, нужно искать другие варианты. На самом деле, чтобы сайт не показывался в выдаче, поисковый робот, как бы странно это ни звучало, должен сайт просканировать. И только после того, как он увидит на нем определенный сигнал, из выдачи вы будете исключены. Речь идет об атрибутe noindex.

Если точнее, он должен располагаться в метатеге robots. Вот так:

<meta name=»robots» content=»noindex, nofollow»>

После того, как поисковик просканировал страницу и увидел noindex, он понимает, что показывать её выдаче не стоит, даже если на неё идет миллион ссылок. Однако здесь есть пару сложностей:

• noindex должен располагаться на каждой странице
• с его помощью можно скрыть только html-страницы

Для того, чтобы скрыть иные документы, не html, а например, xml или pdf, нужно воспользоваться robots.txt, что нас возвращает на исходную позицию. Решение этой проблемы следующее — X-Robots-Tag HTTP header. C его помощью можно запретить и показы сниппета в поисковой выдаче (noindex), и переходы по ссылкам на странице (nofollow).

Прописать эту команду нужно в файле .htaccess в корне сайта. Все просто:

Header ser X-Robots-Tag «noindex, nofollow»

Таким образом

Если вам нужно скрыть сайт от индексирования, то не надо использовать файл robots.txt. Наоборот, им должен быть разрешен допуск поискового робота на сайт, чтобы там он увидел действительно работающую команду. Это может быть либо метатег robots, либо, если страниц на сайте много, а также требуется закрыть все остальные документы, команду X-Robots-Tag HTTP header в файле .htaccess — таким образом сайт гарантировано не будет показываться в выдаче.

Как закрыть сайт от индексации

На стадиях создания или редизайна сайта случаются ситуации, в которых не рекомендуется пускать поисковых роботов на интернет-сайт или же его копию, в этом случае нужно закрывать сайт от индексации поисковых систем.

Чтобы закрыть сайт или его какие-нибудь страницы от индексации, Вам понадобится файл Robots.txt, содержащий инструкции для роботов поисковых систем. Если Вы захотите закрыть весь сайт от индексации всем поисковым системам, то нужно прописать следующее в файле Robots.txt :

User-agent: *
Disallow: /

User-agent- директива, определяющая поискового робота. К нему будут использованы следующие инструкции ниже. В данном примере указано *, это значит, что инструкции будут подходить абсолютно всем поисковым роботам. Если же Вашей задача является закрытие сайта от индексации лишь для Яндекса, то в этом случае прописать надо будет следующий синтаксис:

User-agent: Yandex
Disallow: /

Если же ваша задача — закрытие сайта от индексации поисковой системы Google, тогда синтаксис будет:

User-agent: googlebot
Disallow: /

Если же Вы хотите закрыть сайт от другой поисковой системы, тогда имя робота, которое нужно обозначить в директиве User-agent обязано быть отмечено в справочной информации этой поисковой системы.

Как говорили раньше, закрывать от индексации сайт можно как полностью, так и его отдельные страницы. Для этого нужно в перечне инструкций Disallow указать адреса отдельных страниц. К примеру, если бы Вы хотели закрыть от индексации страницу контактов от всех поисковых систем, файл Robots.txt содержал бы:

User-agent: *
Disallow: /ob-avtore
Disallow: /kontakti

Также можно закрывать от индексации весь раздел сайта, для этого необходимо указывать в disallow  элемент url всех страниц сайта, что Вы желаете запретить к индексации. Например, Вы хотите запретить на своем блоге индексироваться разделу «Поисковые системы». Тогда содержать Robots.txt будет:

User-agent: *
Disallow: /poiskovie-sistemi/

Таким способом, кстати, можно закрыть не только какие-либо определённые разделы сайта, но и определённые группы страниц, которые содержат в своем адресе похожие сочетания символов.

Как закрыть сайт от индексации за 1 минуту: 3 способа

Иногда возникают ситуации, когда необходимо закрыть сайт от индексации.

Ну, например вы решили сменить дизайн блога и не хотите, чтобы в это время на ресурс заходили поисковые боты. Или просто вы только что создали сайт и установили на него движок, соответственно если на ресурсе нет полезной информации, то показывать его поисковым ботам не стоит. В данной статье вы узнаете о том, как закрыть сайт от индексации в Яндексе, Гугле, или сразу во всех поисковых системах. Но перед тем вы также можете прочитать еще одну похожую статью: «Как закрыть ссылку от индексации?» А теперь приступим.

1. Закрываем сайт от индексации с помощью файла robots.txt.
Для начала вам нужно создать файл robots.txt. Для этого создаете на своем компьютере обычный текстовый документ с названием robots и расширением .txt. Вот я только что создал его:

Теперь этот файл нужно загрузить в корневую папку своего блога. Если ресурс сделан на движке вордпрес, то корневая папка находится там, где папки wp-content, wp-includes и т. д.

Итак, мы загрузили пустой файл на хостинг, теперь нужно с помощью этого файла как-то закрыть блог от индексации. Это можно сделать, как я уже написал только для Яндекса, Гугла или сразу всех поисковиков. Давайте обо всем по порядку.

Как закрыть сайт от индексации только для Яндекса?
Пропишите в файле robots.txt вот такую строчку:

User-agent: Yandex
Disallow: /

Для того чтобы убедиться в том, что вы запретили индексировать свой ресурс Яндексу, добавьте сначала сайт в Яндекс Вебмастер, если вы этого еще не сделали, а потом перейдите на эту страницу. Дальше введите несколько страниц своего сайта и нажмите на кнопку «Проверить». Если страницы запрещены к индексации, то вы увидите примерно такую картину:

Как закрыть сайт от индексации только для Google?
Откройте файл robots.txt и пропишите там вот такую строчку:

User-agent: Googlebot
Disallow: /

Для того чтобы проверить, что Гугл не индексирует сайт, создайте аккаунт, добавьте свой ресурс в Google Webmaster и зайдите в него. Здесь также нужно ввести несколько страниц и нажать на кнопку «проверить».

Если страница разрешена к индексированию, то будет писать «Разрешено», в таком случае вы сделали что-то не так. Если документ запрещен к индексации, то будет писать «Заблокировано по строке», и Гугл укажет строку, с помощью которой страница запрещена к индексации. Вы также можете прочитать статью о том, как проверить индексацию сайта.

Я заметил, что поисковая система Google индексирует даже те документы, которые запрещены в файле robots.txt и заносит их в дополнительный индекс, так называемые «сопли». Почему, не знаю, но вы должны понимать, что запретить сайт или отдельную страницу с помощью файла robots.txt на 100 % нельзя. Этот файл, как я понял, только рекомендация для Гугла, а он уже сам решает, что ему индексировать, а что нет.

Как закрыть сайт от индексации для всех поисковых систем?
Чтобы запретить сразу всем поисковикам индексировать ваш ресурс, пропишите в robots.txt вот такую строчку:

User-agent: *
Disallow: /

Теперь вы также можете перейти в Яндекс или Гугл Вебмастер и проверить запрет индексации.

Свой файл robots.txt вы можете увидеть по такому адресу:

Вашдомен.ru/robots.txt

Все что вы прописали в этом файле должно отображаться в браузере. Если при переходе по этому адресу перед вами выскакивает ошибка 404, значит, вы не туда загрузили свой файл.

Кстати, мой robots.txt находиться здесь. Если ваш ресурс сделан на движке wordpress, то можете просто скопировать его. Он правильно настроен для того, чтобы поисковые боты индексировали только нужные документы и что бы на сайте не было дублей.

2. Закрываем сайт от индексации с помощью панели инструментов.
Этот способ подойдет только для тех, чей ресурс сделан на вордпрес. Зайдите в «Панель управление» — «Настройки» — «Чтение». Здесь нужно поставить галочку напротив надписи «Рекомендовать поисковым машинам не индексировать сайт».

Обратите внимание, что ниже находиться очень интересная надпись: «Поисковые машины сами решают, следовать ли Вашей просьбе». Это как раз то, о чем я писал выше. Яндекс скорее всего не будет индексировать страницы, которые запрещены к индексации, а вот с Гуглом могут возникнуть проблемы.

3. Закрываем сайт от индексации вручную.
Когда вы закрываете целый ресурс или страницу от индексации, то в исходном коде автоматически появляется вот такая строчка:

meta name=»robots» content=»noindex,follow»

Она и говорит поисковым ботам, что документ индексировать нельзя. Вы можете просто вручную прописать эту строчку в любом месте своего сайта, главное чтобы она отображалась на всех страницах и тогда ресурс будет закрыт от индексации.

Кстати, если вы создаете ненужный документ на своем сайте, и не хотите чтобы поисковые боты его индексировали, то можете также вставить в исходном коде эту строчку.

После обновления откройте исходный код страницы (CTRL + U) и посмотрите, появилась ли эта строчка там. Если есть, значит все хорошо. На всякий случай можете еще проверить с помощью инструментов для вебмастеров от Яндекса и Гугла.

На этом все на сегодня. Теперь вы знаете, как закрыть сайт от индексации. Надеюсь, эта статья была полезна для вас. Всем пока.

Как работает индексирование веб-сайтов (и как сделать его лучше)

Дэвид Хантер, генеральный директор Epic Web Studios и ASAPmaps в Эри, штат Пенсильвания. Он также стал соучредителем dbaPlatform, местного программного обеспечения для SEO.

getty

Предположим, вы только что составили самый объективно полезный, интересный и блестящий веб-контент из когда-либо существовавших. Теперь предположим, что контент остался незамеченным и неслыханным, ни разу не появившийся в результатах поиска. Хотя это может показаться бессовестным, именно поэтому нельзя игнорировать индексацию веб-сайтов.

Поисковые системы, такие как Google, любят доставлять полезные материалы так же сильно, как вы любите их открывать, но они не могут предоставлять пользователям результаты, которые не были предварительно проиндексированы. Поисковые системы постоянно добавляют к своим колоссальным библиотекам проиндексированных URL-адресов, развертывая скаутов, называемых «пауками» или «поисковыми роботами», для поиска нового контента.

Как веб-сканеры индексируют контент

Даже паукам сложно перемещаться по сети, поэтому они полагаются на ссылки, которые указывают им путь от страницы к странице.В частности, они заметили новые URL, сайты, которые претерпели изменения, и мертвые ссылки. Когда поисковые роботы сталкиваются с новыми или недавно измененными страницами, они отображают их так же, как и веб-браузер, видя то, что вы видите.

Однако, хотя вы можете быстро просмотреть контент в поисках нужной информации, поисковые роботы работают гораздо тщательнее. Они масштабируют страницу вверх и вниз, создавая индексную запись для каждого уникального слова. Таким образом, вполне возможно, что на одну веб-страницу можно ссылаться в сотнях (если не тысячах) записей указателя!

Знакомство со своими гусеницами

В любой момент времени в Интернете могут ползать сотни различных пауков, как хороших, так и плохих (например,g., те, кто хочет очистить каталоги электронной почты или собрать личную информацию для рассылки спама). Но есть некоторые, о которых вам нужно знать.

• Googlebot (Google)

• Bingbot (Bing)

• Slurp (Yahoo)

• Facebot (внешние ссылки Facebook)

• Сканер Alexa (он же ia_archiver, для Amazon Alexa)

Дайте рекомендации для сканеров с помощью Robots.txt и мета-директив

Могут быть ситуации, когда вы не хотите проиндексировать определенных страниц, например:

• Те, которые не могут сделать качественные целевые страницы из поиска (например,g., страница с благодарностью за отправку формы, страница открытия промокода)

• Те, которые предназначены только для внутреннего использования (в целях тестирования или подготовки)

• Те, которые содержат личную или личную информацию

Более того, Googlebot и другие известные пауки имеют бюджеты сканирования, встроенные в их программы — они будут сканировать только определенное количество URL-адресов на вашем сайте, прежде чем двигаться дальше (хотя следует отметить, что бюджеты сканирования составляют огромных по сравнению с тем, что они когда-то были ).

Итак, как администратор сайта, вы хотите не только установить некоторые правила, но и установить некоторые приоритеты (оптимизация бюджета сканирования). Это можно сделать двумя основными способами: файлы robots.txt и метадирективы.

Robots.txt

Файл robots.txt сообщает веб-сканерам, где им следует и следует не перейти на ваш веб-сайт — хотя не все из них будут слушать. Чтобы получить к нему доступ, просто добавьте /robots.txt в конец своего URL-адреса (если ничего не всплывает, значит, у вас его нет).Базовый синтаксис инструкции robots.txt очень прост:

1. User-agent: [вставьте имя user-agent (т.е. искателя / паука / бота, которого вы хотите вызвать здесь — если вы хотите вызвать их всех, оставьте звездочку *)]

2. Запретить: [вставьте строку URL, которую вы не хотите, чтобы сканер посещал — можно использовать отдельную обратную косую черту, чтобы запретить определенным паукам сканировать ваш сайт вообще ]

«Запретить» — самая распространенная инструкция, которую вы даете роботам.txt, но вы также можете предложить «Crawl-Delay» (количество миллисекунд, в течение которого поисковый робот должен ждать перед загрузкой указанного URL), «Разрешить» исключение в запрещенной строке URL (только для Googlebot) или отправить XML «Sitemap », Содержащий наиболее важные URL-адреса вашего веб-сайта — ключ к оптимизации бюджета сканирования.

Мета Директивы

Мета-директивы роботов (также известные как метатеги) сообщают поисковым роботам, что они могут, и не могут делать в отношении индексации — хотя, опять же, злонамеренные боты могут игнорировать.Поскольку он записан в код веб-страницы, это больше требование, чем предложение. Используя различные параметры, администраторы веб-сайтов могут точно настроить, проиндексирована ли страница (или как долго), переходят ли по ней ссылки, может ли поисковая система извлекать фрагменты и многое другое.

Индексируется ли ваш сайт?

Это наиболее частые причины, по которым ваш сайт может не индексироваться:

• Ваш файл robots.txt или метатеги блокируют поисковые роботы.

• Он совершенно новый — например, роботу Googlebot может потребоваться от недель до месяцев, чтобы проиндексировать новый сайт, в зависимости от размера.

• На него нет ссылок из других источников в Интернете.

• Сложно следить за навигацией по сайту.

• Ваш сайт был отмечен за использование тактики черного SEO.

Как сделать ваш сайт более доступным для сканирования

Вот несколько способов улучшить работу индексации вашего сайта.

Будьте организованы.

Поскольку ссылки являются основным способом передвижения поискового робота, убедитесь, что на вашем сайте есть четкие пути для навигации. Если вы хотите, чтобы что-то было проиндексировано, на это обязательно должна быть ссылка откуда-то еще на сайте — минимум , минимум в главном меню навигации, но в идеале — с других релевантных, связанных страниц по всему сайту.

Уменьшите препятствия.

Делайте все возможное, чтобы не скрывать важный контент за логинами, формами и опросами. Сканеры не могут читать текст внутри изображений, видео и GIF-файлов, поэтому обязательно примените замещающий текст к мультимедиа.Меню навигации, написанные не на HTML (например, JavaScript), также не видны паукам.

Отправить карту сайта.

Свяжите свою карту сайта с файлом robots.txt и отправьте через Google Search Console. На панели управления Search Console владельцы сайтов могут точно определить, как робот Googlebot будет сканировать их страницы. В зависимости от размера вашего веб-сайта вы можете настроить CMS для создания карты сайта, сделать это вручную или сделать это автоматически с помощью стороннего программного обеспечения.

Как проверить проиндексированные страницы

Чтобы увидеть страницы, которые Google уже проиндексировал, просто запросите «site: [ваше доменное имя]» — это сгенерирует полный список в результатах поиска. Это хороший способ узнать, не упущено ли что-нибудь важное или что-то ненужное. Проверяйте его время от времени после внесения изменений, чтобы убедиться, что Google видит именно то, что вы хотите.

Как удалить веб-страницу из индекса Google

Поисковой индекс Google — это база данных, состоящая из миллионов веб-страниц, с которых со временем поисковые роботы Google сканировали и собирали информацию.

Когда вы выполняете поиск в Google, поисковая система просматривает свой индекс и возвращает наиболее релевантные результаты на основе алгоритма факторов.

В большинстве случаев владельцы веб-сайтов хотят, чтобы их веб-страницы отображались в результатах поиска Google, чтобы способствовать привлечению трафика на их веб-сайты. Однако бывают случаи, когда вы не хотите, чтобы URL отображался в результатах поиска или хотите удалить уже существующий. Ниже я привел несколько примеров того, почему вы это сделали.

Процесс удаления существующего URL из индекса Google называется деиндексированием. В этой статье я расскажу, как удалить существующий URL-адрес из индекса Google, и как избежать появления URL-адресов в будущем, в чем большинство людей ошибаются.

Недавно я выполнил эту задачу для нашего веб-сайта и был удивлен, насколько сложно было найти правильный процесс. Итак, в старой доброй маркетинговой моде, если вы обнаружите пробел в содержании … восполните его! Я представляю вам руководство по деиндексации URL-адресов из индекса Google и как избежать индексации в будущем URL-адресов, которые вы не хотите отображать в результатах поиска.

Зачем вам нужно деиндексировать URL или домен из Google?

Есть много причин, по которым вы не хотите, чтобы веб-страница отображалась в Google. Здесь только несколько.

Дублированный контент

У вас есть две страницы с очень похожим содержанием. Канонические URL-адреса могут помочь в этих случаях, но если целью страницы является, например, кампания Google Adwords, которая повторно использует существующий контент сайта, вы можете не захотеть отображать эту страницу в обычных результатах поиска. Это может быть (хотя маловероятно) классифицировано как дублирующийся контент.Во многих случаях ваши целевые страницы Google Adwords будут в значительной степени ориентированы на создание конверсий, и это может означать, что стиль отличается от остальной части вашего веб-сайта.

Разработка / тестирование версий ваших URL-адресов или домена

Если рассматриваемый URL-адрес относится к предварительной или разрабатываемой версии вашего веб-сайта, вы не хотите, чтобы разрабатываемые версии появлялись в Google вместе с вашим действующим веб-сайтом.

Частные интернет-страницы

Страницы, которые пользователь должен видеть только после входа в систему, не должны индексироваться Google.

Устаревшее содержание

Может быть, у вас есть контент, который нужно обновить, но у вас нет времени сделать это прямо сейчас. Вы можете удалить страницу со своего веб-сайта или попросить Google временно деиндексировать страницу.

Как удалить URL или домен из индекса Google

Чтобы удалить URL из результатов поиска Google, следуйте пошаговым инструкциям ниже. В результате этого URL-адрес будет временно удален из индекса Google на 6 месяцев. Вы должны выполнить следующий этап — запретить отображение URL-адресов или доменов в индексе Google — чтобы гарантировать, что после отмены временного деиндекса Google не переиндексирует URL.

Шаг 1) Создайте список URL-адресов или доменов, которые вы хотите удалить из индекса Google.

Шаг 2) Перейдите в свою учетную запись Google Search Console и войдите в систему — https://search.google.com/search-console/

Если у вас нет учетной записи Google Search Console, вы можете создать ее, перейдя по ссылке выше. Он попросит вас добавить свойство в консоль поиска. Чтобы получить руководство, узнайте, как добавить свойство Google Search Console.

Шаг 3) Выберите свойство, содержащее URL-адрес, который нужно удалить из индекса Google.У вас может быть несколько свойств. Например, у вас могут быть свойства для каждого поддомена или каждой версии вашего домена — https: // www, http: // www, без http / s или без www. Вам нужно то свойство, которое соответствует URL-адресу, который вы хотите удалить из Google. Щелкните эту ссылку и посмотрите, на какой версии домена находится этот URL.

seo — Как запретить индексирование определенных URL-адресов

Если ваша цель — сделать эти страницы недоступными для публики, лучше всего установить пароль на этом наборе страниц. И / или иметь некоторую конфигурацию, которая разрешает доступ к сайту только определенным адресам из белого списка (это можно сделать на уровне сервера, вероятно, через вашего хоста или администратора сервера).

Если ваша цель состоит в том, чтобы эти страницы существовали, но не индексировались Google или другими поисковыми системами, как уже упоминалось другими, у вас есть несколько вариантов, но я думаю, что важно различать две основные функции поиска Google в этом смысле: Сканирование и индексирование.

Crawling vs.Индексирование

Google сканирует ваш сайт, Google индексирует ваш сайт. Сканеры находят страницы вашего сайта, индексирование организует страницы вашего сайта. Подробнее об этом немного здесь.

Это различение важно при попытке заблокировать или удалить страницы из «Индекса» Google. Многие люди по умолчанию просто блокируют через robots.txt, который является директивой , сообщающей Google, что (а что нет) сканировать. Часто предполагается, что, если Google не просканирует ваш сайт, он вряд ли проиндексирует его.Однако очень часто можно увидеть страницы, заблокированные файлом robots.txt, проиндексированными в Google.

Директивы для Google и поисковых систем

Этот тип «директив» представляет собой просто рекомендации для Google, какую часть вашего сайта сканировать и индексировать. От них не требуется следовать им. Это важно знать. Я видел, как многие разработчики за эти годы думали, что они могут просто заблокировать сайт через robots.txt, и вдруг через несколько недель сайт индексируется в Google.Если кто-то еще ссылается на сайт, или если один из поисковых роботов Google каким-то образом завладевает им, он все равно может быть проиндексирован.

Недавно с обновленной информационной панелью GSC (Google Search Console) появился этот отчет, названный «Отчет об индексном покрытии». Здесь веб-мастерам доступны новые данные, которые ранее не были доступны напрямую, а именно конкретные подробности о том, как Google обрабатывает определенный набор страниц. Я видел и слышал о многих веб-сайтах, получающих «Предупреждения» с пометкой «Индексировано, но заблокированных роботами».txt. «

В последней документации Google упоминается, что если вы хотите, чтобы страницы были исключены из индекса, добавьте к нему теги noindex nofollow.

Инструмент удаления URL-адресов

Просто чтобы развить то, что некоторые другие упоминали об «Инструменте удаления URL» ….

Если страницы уже проиндексированы и их нужно срочно удалить, Google «Инструмент удаления URL-адресов» позволит вам «временно» заблокировать страницы из результатов поиска. Запрос длится 90 дней, но я использовал его, чтобы страницы удалялись из Google быстрее, чем при использовании noindex, nofollow, вроде как дополнительный слой.

Используя «Инструмент удаления URL-адресов», Google по-прежнему будет сканировать страницу и, возможно, кэшировать ее, но пока вы используете эту функцию, вы можете добавить теги noindex nofollow, чтобы он их увидел, и к тому времени, когда 90 дней , мы надеемся, что он больше не будет индексировать вашу страницу.

ВАЖНО. Использование тегов nofollow в robots.txt и noindex является несколько противоречивым сигналом для Google.

Причина в том, что если вы скажете Google не сканировать страницу, а затем у вас есть noindex nofollow на этой странице, он может не просканировать, чтобы увидеть тег noindex nofollow.Затем его можно проиндексировать с помощью другого метода (будь то ссылка или еще что-то). Детали того, почему это происходит, довольно расплывчаты, но я видел, как это происходило.

Короче говоря, , на мой взгляд, лучший способ предотвратить индексирование определенных URL — это добавить на эти страницы тег noindex nofollow. При этом убедитесь, что вы не блокируете эти URL-адреса также с помощью robots.txt, так как может помешать Google правильно увидеть эти теги. Вы можете использовать инструмент Удалить URL-адреса из Google, чтобы временно скрыть их из результатов поиска, пока Google обрабатывает ваш noindex nofollow.

iis — Как удалить / деиндексировать страницу из Google?

Во-первых, зарегистрируйте учетную запись Google Webmaster Tools. Это позволит вам просматривать статистику Google о том, как они сканируют ваш сайт, и позволяет запрашивать удаление страниц из индекса (подробнее об этом позже).

Затем настройте файл robots.txt для своего сайта. Вам не нужно блокировать весь свой сайт от Google, чтобы использовать robots.txt . Все поисковые системы следуют за robots.txt , поэтому это также предотвратит индексацию этих страниц такими сайтами, как Bing или Yahoo.

Чтобы настроить это, создайте robots.txt в виде простого текстового файла в корневом каталоге вашего сайта (например, http://www.example.com/robots.txt ). Синтаксис очень прост: вы указываете пользовательский агент, к которому это должно применяться, используя * в качестве подстановочного знака для всех роботов, и вы указываете, куда роботы не должны сканировать. Обратите внимание, что вы не должны включать какие-либо страницы, которые вы хотите быть полностью «секретными», так как это общедоступный файл. Синтаксис robots.txt выглядит следующим образом:

  User-agent: имя пользовательского агента
Disallow: имя каталога
Запретить: другой каталог
Запретить: (и т. Д.)
  

Если вы хотите запретить любым поисковым системам индексировать данные в подкаталоге вашего каталога изображений, вы можете сделать что-то вроде этого:

  Агент пользователя: *
Запретить: / images / foo / bar /
Запретить: / images / foo / baz /
  

Вы даже можете запретить только определенный файл:

  Агент пользователя: *
Запретить: / images / foo / bar / qux.jpg
  

Настройка robots.txt предотвратит индексацию указанных каталогов и файлов в будущем. Со временем эти страницы будут удалены из поискового индекса, но не сразу. Чтобы ускорить этот процесс, используйте свою учетную запись инструментов для веб-мастеров, чтобы отправить запрос на удаление URL-адреса из индекса. Щелкните учетную запись веб-сайта, URL-адрес которой вы хотите удалить, затем откройте «Конфигурация сайта» слева. Нажмите «Доступ для сканера», затем откройте вкладку «Удалить URL».Нажмите «Новый запрос на удаление» и введите URL-адрес, который нужно удалить. Затем нажмите Enter. Страница должна попросить вас подтвердить, что вы уже заблокировали URL через robots.txt (что вы только что сделали). Нажмите ОК, и он должен отправить запрос. Обычно на обработку запроса у них уходит 1-3 дня. Вы можете проверить статус запроса, войдя в свою учетную запись инструментов для веб-мастеров в любое время.

Mobile-Only Indexing уже здесь. Ваш сайт готов?

размещено на 22.03.2021

В этом месяце Google, наконец, переходит на индексирование только для мобильных устройств после переноса перехода с сентября 2020 года на март 2021 года.

Google уже много лет использует мобильную индексацию, что означает, что он в первую очередь рассматривает мобильную версию веб-сайта для индексации и ранжирования. С этого момента Google будет рассматривать только только мобильных сайтов — настольные версии будут полностью исключены из индекса.

Что это значит для вас? Если у вашей компании есть отдельные мобильные и настольные веб-сайты, с точки зрения Google существует только ваш мобильный сайт. Google игнорирует любые важные изображения, контент или информацию, которые появляются только в версии для ПК.

Вот что вам нужно сделать, чтобы Google мог видеть все содержание вашего мобильного сайта:

1. Проверьте метатеги robots: Убедитесь, что вы используете те же метатеги robots в мобильной версии своего веб-сайта, что и в настольной версии. Использование тегов noindex или nofollow на мобильном сайте может помешать Google индексировать или переходить по ссылкам на вашем сайте.
2. Будьте осторожны с отложенной загрузкой: Избегайте использования отложенной загрузки (которая загружает изображения только после того, как пользователь выполнил действие, такое как пролистывание, щелчок или ввод текста) для ключевого контента на вашем мобильном сайте, поскольку Google не будет запускать эти действия пользователя и не будет видеть контент, для загрузки которого требуется триггерное действие.
3. Не запрещать сканирование: Чтобы Google мог сканировать все URL-адреса вашего мобильного сайта, убедитесь, что вы не препятствуете их сканированию с помощью файла robots.txt.
4. Сопоставьте содержание для настольных компьютеров и мобильных устройств: Если на вашем мобильном сайте меньше контента (как содержимого страницы, так и чистых заголовков), чем на обычном сайте, либо добавьте это недостающее содержание на мобильный сайт, либо помните, что ваш сайт может потерять часть трафика. и рейтинг поиска, поскольку Google приспосабливается к меньшему количеству информации.
5. Проверьте качество изображения: Убедитесь, что вы не используете на своем мобильном сайте изображения меньшего размера с низким разрешением, поскольку изображения низкого качества могут не включаться в Картинки Google или не получать благоприятную позицию в результатах поиска. Убедитесь, что все изображения имеют качественный замещающий текст, и разместите изображения и видео в удобных для поиска местах на своем мобильном сайте.
6. Сопоставьте URL-адреса изображений: Если изображения на вашем мобильном сайте имеют другие URL-адреса, чем на вашем мобильном сайте, вы можете столкнуться с временной потерей трафика, поскольку Google индексирует мобильные версии.Чтобы избежать этого, убедитесь, что URL-адреса для изображений на вашем мобильном сайте такие же, как и на вашем настольном сайте, который, вероятно, уже распознается Google.
7. Используйте разметку схемы для видео: Если ваш сайт использует структурированные данные VideoObject для описания видео, которые размещаются на сайте, убедитесь, что мобильная версия также включает схему VideoObject вместе с необходимой дополнительной информацией, чтобы Google понимал, что видеоролики о них и уметь правильно отображать их при поиске.

В дополнение к этим соображениям, относящимся к Google, вам также следует убедиться, что вы обеспечиваете удобство для своих мобильных пользователей с помощью адаптивного макета, отличной скорости веб-сайта, навигации, оптимизированной для мобильных устройств, а также легко нажимаемых кнопок и выносков.

За помощью в таких услугах, как Веб-дизайн, Веб-разработка и SEO, свяжитесь с Web Solutions сегодня.

Начало работы

Продолжайте читать:

Следует ли индексировать страницы результатов внутреннего поиска?

Нет, страницы результатов поиска вашего веб-сайта в большинстве случаев не должны индексироваться Google и другими поисковыми системами.

Давний опыт поисковой оптимизации гласит, что страницы результатов вашего поиска по сайту должны блокировать ботов поисковых систем и не должны включаться в индекс страниц поисковой системы.

Цель состоит в том, чтобы не разочаровывать пользователей Google и иным образом не дать сканерам поисковых систем тратить свое время на загрузку и анализ страниц, которые предположительно не помогут посетителям или вашему бизнесу.

Пользовательский опыт

Поисковые системы хотят предоставить своим пользователям хороший опыт поиска.Вот почему Google, Bing и DuckDuckGo, например, тратят так много времени, пытаясь получить правильные результаты поиска.

К сожалению, страница результатов поиска с вашего сайта может не дать хорошего релевантного результата.

Вот пример. Представьте, что человек заходит в Google и набирает «какие кроссовки лучше всего подходят для тяжелых бегунов».

Среди отображаемых результатов есть один из результатов внутреннего поиска вашего сайта. Но проиндексированная и связанная страница представляет собой список товаров по запросу «мужские кроссовки».”

На этой странице результатов внутреннего поиска также есть раздел, рекламирующий одну из публикаций в блоге вашей компании. Это тот пост в блоге, в котором упоминаются тяжелые бегуны и который каким-то образом индексируется.

Эта страница результатов внутреннего поиска не является хорошей целевой страницей, и, вероятно, ее не следует включать в индекс.

Этот результат бесполезен. Человек, использующий поисковую систему, должен дважды щелкнуть — один раз в результатах поиска Google, а второй — во внутренних результатах вашего сайта, чтобы получить нужную информацию.Более того, посетитель может неверно истолковать результат и предположить, что ваш сайт показывает ему список мягких кроссовок, и разочароваться после размещения заказа.

Худший пример — из статьи Мэтта Тутта, британского технического эксперта по поисковой оптимизации, в 2018 году.

В статье Тутт отметил, что интернет-магазин Wayfair разрешал индексировать некоторые из своих динамически генерируемых страниц результатов поиска.

Если вы искали в Google во время публикации Тутта статьи «Wayfair.com »с определенной фразой, связанной с полом, вы увидите результат.

Wayfair динамически добавляла ключевые слова в описания своих страниц поиска, поэтому копия, которую вы увидите в поисковой выдаче Google, гласила: «Купите Wayfair в поисках лучшего [слово, связанное с сексом]. Бесплатная доставка большинства товаров, даже больших ».

«Если бы вы были достаточно смелы, чтобы щелкнуть указанную выше поисковую выдачу, вас бы поприветствовала» следующая копия, по словам Тутта.

«[Слово, связанное с сексом]. В Wayfair мы хотим быть уверены, что вы найдете лучшие товары для дома при совершении покупок в Интернете.Вы выполнили поиск [слово, связанное с полом], и на этой странице отображаются наиболее подходящие продукты… »

Как отмечает Татт, эта страница и ее копия «не являются тем контентом, который вы бы хотели, чтобы пользователи или поисковые системы обнаружили в качестве поставщика домашней мебели».

Другими словами, многие страницы результатов внутреннего поиска создаются автоматически и могут не подходить для пользователей, выполняющих поиск в Google или другой поисковой системе.

Wayfair с тех пор изменил свои результаты поиска, так что поиск по этому ключевому слову теперь возвращает «ручки» на сайте Wayfair, а не исходный термин пола.

Разрешение индексирования динамических страниц означает незнание того, какие результаты ваша компания показывает потенциальным клиентам.

Это ненамного лучше. Google, вероятно, не хочет ранжировать внутренние страницы результатов поиска вашей компании, и вы, если хотите, тратите много энергии робота Googlebot на страницы, которые могут не принести вашей компании много пользы.

Затерянный в траве

«Для страниц внутреннего поиска важны два аспекта», — сказал Джон Мюллер из Google во время видеовстречи в Центре веб-мастеров в апреле 2018 года.

«Во-первых, нам очень легко заблудиться в сорняках, пытаясь просканировать все ваши внутренние поисковые страницы. Если любое слово на вашем сайте может привести к странице внутреннего поиска, и у нас есть все эти потенциальные страницы внутреннего поиска, и все они обслуживают контент, то наши системы могут сработать и сказать: «О, мы постараемся сканировать все страниц вашего внутреннего поиска, потому что, возможно, там есть что-то действительно полезное. »Так что с точки зрения сканирования это, вероятно, не так уж оптимально.”

Робот Googlebot выделяет время — «краулинговый бюджет» — для каждого сайта. Предположительно, на вашем веб-сайте есть страницы, которые лучше сканировать, чем результаты внутреннего поиска.

Одно исключение

Тутт, Мюллер и другие упоминают, что, вероятно, есть одно исключение из правила: если вы используете результаты внутреннего поиска своего сайта для страниц категорий.

Расширенные поисковые платформы, например Twiggle, Algolia, могут создавать страницы категорий продуктов или брендов.Продавец может настроить платформу с синонимами и антонимами для доставки или исключения категории.

Блокировка поисковых систем

Существует как минимум два способа запретить Google и другим поисковым системам индексировать внутренние страницы результатов поиска вашего сайта: директива noindex в заголовке каждой страницы и правило disallow в файле robots.txt. (Я затронул эту тему в теме «SEO: скажите Google, какие страницы не сканировать».)

Обсудив, почему продавцы должны блокировать индексацию страниц результатов внутреннего поиска, я затем рассмотрел, как это делают 10 ведущих сайтов электронной коммерции.9 марта 2020 года я проверил файл robots.txt каждого сайта на предмет правила disallow , а также проверил результаты поиска по сайту для директивы noindex .

Я выбрал Amazon, Walmart и Target из-за их известности.Остальные семь я выбрал более или менее наугад из списка сайтов электронной коммерции, за которыми следил. Обратите внимание, что Amazon и Best Buy не запрещали внешним поисковым системам индексировать внутренние страницы результатов поиска. Остальные восемь блокировались либо через Robots.txt disallow , либо через директиву noindex .

 yoursite.com/robots.txt. 

 User-agent: Googlebot
Disallow: 

 User-agent: Googlebot
Disallow: /