Создать robots.txt онлайн

Чтобы активировать

Есть ли какие-то отличия Robots.txt для Яндекса в сравнении с файлами для других роботов?

Есть ли возможность проверить существующий файл Robots.txt?

Как писать robots.txt

Что писать в файле?

Блоки агентов

Robots.txt содержит инструкции, которые должны быть написаны по определенным правилам. Большинство инструкций находится в блоке агента. Агент (поисковый робот) описывается так:

Для конкретного робота: User-agent: название бота

Для группы роботов (например для всех роботов яндекса): User-agent: название группы ботов

Для всех роботов: User-agent: *

Все, что находится между двумя записями user-agent (или от последнего user-agent до конца файла), относится к этому боту или этой группе ботов.

Например:

User-agent: yandex Disallow: / User-agent: googlebot Allow: /

Означает, что всем ботам Яндекса (User-agent для группы ботов Yandex) запрещено проходить по ссылкам на любые страницы сайта (инструкция Disallow: /), а ботам Гугла, наоборот, разрешено переходить по любым ссылкам (инструкция Allow: /).

Приоритеты блоков агентов

Любой робот сначала ищет блок со своим именем (инструкции именно для этого робота), если он находит такой блок — он использует инструкции из этого блока, остальные игнорирует; если не находит — ищет блок для своей группы и использует только его инструкции; если не находит — использует блок для всех роботов; если и этого блока нет, робот считает, что разрешен проход по всем ссылкам на сайте.

Например:

User-agent: * Disallow: /

User-agent: googlebot-mobile Disallow: /not-for-google Disallow: /not-mobile

Мобильный робот Гугл (googlebot-mobile) будет использовать строки: Disallow: /not-for-google Disallow: /not-mobile

Бот гугл картинок (googlebot-image) использует: Disallow: /not-for-google

Бот яндекса использует: Disallow: /

Инструкции, запрещающие переходы на страницы

Чтобы запретить проходить страницы на сайте, используется инструкция Disallow: что именно запретить.

Например, чтобы запретить все страницы в папке https://example.com/category/, мы пишем Disallow: /category/,

т.е. мы пишем адрес страницы, которую надо закрыть от переходов робота. При этом закроются все страницы, адрес которых начинается с /category/.

Специальные символы * и $

Любые символы *

Символ * означает “любой набор символов” Например Disallow: *.html Запретит переходить на все ссылки сайта, в которых встречается .htm: https://example.com/smth.htm https://example.com/index.html

Обратите внимание, что любой адрес в Disallow… начинается либо с / либо с *.

Символ конца строки $

Символ $ означает конец адреса например, если нам надо, чтобы https://example.com/category/ не должно проходиться роботом, а все что в него вложено,

Например https://example.com/category/123 должно,

Тогда пишем Disallow: /category/$

Инструкции, разрешающие переходы по ссылкам

Есть инструкция Allow, которая работает также, как и Disallow, только имеет обратный эффект — страницы, соответствующие адресу в Allow будут разрешены к переходам по ссылкам.

Например

User-agent: Somebot

Disallow: / Allow: /cat/ Disallow: /cat/123

Страница https://example.com/123 будет запрещена (подходит только правило Disallow: /) Страница https://example.com/cat/ будет разрешена (подходят Disallow: / и Allow: /cat/, но /cat/ длиннее чем /) Страница https://example.com/cat/12345 будет запрещена, т.к. Подходят все три правила, но /cat/123 длиннее всех остальных

Инструкции карт сайта

Чтобы указать путь к карте сайта в стандарте sitemap.xml, используется инструкция Sitemap: адрес карты сайта

Если карт сайта несколько, при этом есть файл списка sitemap — указывается только его адрес. Если карт сайта несколько, но индексного файла нет — пишется отдельная инструкция для каждой карты сайта,

например: Sitemap: https://example.com/sitemap1.xml Sitemap: https://example.com/sitemap2.xml Sitemap: https://example.com/sitemap3.xml

Обратите внимание, путь к файлу указывается вместе с протоколом (http:// или https://) и адресом сайта.

Инструкция Sitemap не относится к спискам агентов и будет использована всеми роботами независимо от того, где она написана.

Инструкция задержки обхода

Сейчас такая инструкция почти нигде не используется, но все-таки мы её опишем. Иногда, если хостинг сайта очень слабый, и обход роботом может затормозит работу сайта, используется инструкция Crawl-delay: время в секундах между запросами робота

Например: Crawl-delay: 0.5

Сделает так, что робот будет запрашивать страницы сайта не чаще, чем раз в полсекунды.

Инструкция Crawl-delay относится к секциям агентов т.е. можно задать разный Crawl-delay для разных роботов.

Инструкция указания основного зеркала (только Яндекс)

Эта инструкция не входит в стандарт robots.txt и придумана Яндексом. Она служит для определения основного зеркала с www или без www. Для остальных поисковиков она будет отображаться как ошибка.

Записывается она так: Host: адрес основного зеркала

Например:

Host: example.com или Host: www.example.com или Host: https://example.com

Обратите внимание, что для сайтов, использующих https:// надо обязательно указывать протокол.

Инструкция склейки параметров (только Яндекс)

Эта инструкция также придумана Яндексом. Она используется, когда у страницы есть множество копий, отличающихся одним или несколькими GET параметрами.

Clean-param: название параметра ПРОБЕЛ для каких страниц применяется

Лучший пример — всегда некорректный, поэтому как вариант: если пользователь залогинен, мы храним его сессию в параметре GET session_ID. Например для залогиненного пользователя главной страницей будет https://example.com/?session=1231224. Но она ничем значимым от страницы https://example.com не отличается. Чтобы эти страницы воспринимались, как одна, пишем

Clean-param: session * session — название нашего параметра

* — любая страница.

Если параметры надо склеивать только в папке /cat/, Тогда Clean-param: session /cat/

Если нам нужно склеивать, допустим параметр session и параметр sort, тогда мы можем или написать 2 инструкции Clean-param, или записать параметры через амперсанд: Clean-param: session&sort /cat/

Как использовать готовый файл?

Чтобы поисковый робот нашел этот файл, он должен находиться в корне сайта: если ваш сайт

Вот, собственно, и все, что хотелось рассказать про синтаксис robots.txt. Возможно, вам также будет полезно почитать примеры использования файлов роботс. Если вы не уверены, что все поняли правильно, или не знаете как правильно записать какую-то инструкцию, вы всегда можете проверить свой файл роботс в валидаторе Яндекса — https://webmaster.yandex.ru/tools/robotstxt/

#HowTo #robotstxt #SEO

Правильный robots.txt для Яндекса

Опубликовано: 01.05.2012г.

В предыдущей публикации был рассмотрен синтаксис и общие правила настройки robots.txt, однако, как показывает практика, далеко не все владельцы сайта знают, как создать «правильный» robots.txt на свой сайт для Яндекса. Ведь именно Яндекс является поисковой системой №1 в России уже более 10 лет. Его доля в последние годы не менее 60% от общего доли поискового трафика создаваемого русскоязычными пользователями России и стран ближнего зарубежья.

Для корректного создания robots.txt необходимо знать не только всю структуру собственного сайта, но и особенности CMS, на которой работает сайт.

Есть несколько общих правил. В поисковом индексе НЕ должно быть таких страниц, как:

Случайно генерируемые CMS страницы сайта без контента или с дублями, как полными, так и частичными

Классическим примером таких страниц, являются версии страниц сайта для печати, pdf версии, страницы пагинации (разбивки контента на отдельные страницы), аннотации.

В случае нахождения таких страниц в индексе, необходимо их запретить в robots.txt.

Пример: Сайт, созданный на Joomla с помощью сторонних компонентов (дополнительных расширений для увеличения функциональности), очень часто генерирует полные копии страниц при прямых запросах к компоненту в разделе сайта /component/ и версии страниц для печати с добавлением параметра ?tmpl=component&print=1 к оригинальному адресу страницы сайта.

В таком случае, правильный robots.txt для Joomla будет выглядеть так:

User-Agent: *
Disallow: /component/
Disallow: *?tmpl=component&print=1

User-Agent: Yandex
Disallow: /component/
Disallow: *?tmpl=component&print=1

Host: site.ru

Примечание: настоятельно не рекомендуется оставлять оригинальные robots.txt от CMS, поскольку по типовому содержанию файлов robots.txt осуществляется поиск сайтов на конкретных CMS с известными уязвимостями вирусами и хакерами для взлома.

Страницы, содержащие конфиденциальную информацию

К таким страницам относятся все страницы (файлы), которые содержат личную информацию о пользователях, данные о товарах и ценах не для общего пользования. Особенно такая проблема может быть актуальной, если сайт используется для автоматической генерации pdf счетов на оплату, систем оплаты, извещений или обмена сообщениями между пользователями.

Пример: Многие интернет-магазины имеют функцию генерации pdf счета для клиента при заказе с последующей отправкой этого счета по email. В случае отсутствия запрета на индексацию pdf файлов в разделе /files/ на сайте велика вероятность попадания данных счетов в публичный доступ.

Если в конкретном случае известна директория (раздел) сайта, где хранятся pdf файлы, то можно запретить весь раздел:

User-Agent: *
Disallow: /files/

User-Agent: Yandex
Disallow: /files/

Host: site.ru

или запретить индексацию pdf файлов из данного раздела:

User-Agent: *
Disallow: /files/*.pdf$

User-Agent: Yandex
Disallow: /files/*.pdf$

Host: site.ru

Страницы, ошибочно генерируемые CMS

Данная проблема особенно актуальна при использовании бесплатных CMS и дополнительных SEF компонентов для создания ЧПУ урлов (человекопонятным адресом страниц). В этом случае, как правило при обходе поисковым роботом сайта данная страница генерируется под стандартным (не ЧПУ) адресом и ЧПУ урлом, созданным компонентом.

Пример: Для запрета индексации страниц под оригинальными не ЧПУ урлами на сайте, созданном на CMS Joomla, robots.txt будет таким:

User-Agent: *
Disallow: /index.php

User-Agent: Yandex
Disallow: /index.php

Host: site.ru

Страницы с не релевантным тематике сайта контентом

К таким страницам могут относится:

• страницы с дополнительной информацией, не касающейся собственно товаров и услуг компании;
• страницы с информацией справочного вида, как FAQ, типовые договора, лицензии, фотогалереи;
• страницы с рекламой и ссылками на другие, в т.ч. партнерские сайты;
• страницы форума, если таковой на сайте есть.

Запрет страниц с не тематическим контентом — это сложная работа, требующего глубокого анализа статистических данных из счетчика Яндекс Метрика и статистики поисковых запросов Яндекс Вордстат.

Решение о запрете таких страниц должно приниматься исключительно только профессиональным специалистом на основе вырабатаной стратегии продвижения сайта по семантическому ядру ключевых слов и словосочетаний.

Пример: на сайте есть раздел FAQ, в котором пользователи имеют возможность задавать вопросы, касаемо приобретения товаров, их цены и наличия. В силу того, что этот раздел постоянно обновляется и растет в объеме, он становится более релевантен с точки зрения поисковой системы ключевым словам и запросам, чем раздел с каталогом продукции, но в силу того, что информация, которую пользователь читает, уже может быть неактуальна, необходимо, чтобы в поисковой выдаче присутствовали только страницы с товарами и услугами, т.е. необходимо справочный раздел  /faq/ закрыть от индексации:

User-Agent: *
Disallow: /faq/

User-Agent: Yandex
Disallow: /faq/

Host: site.ru

Примечание: Несмотря на то, что поисковые системы используют схожие алгоритмы для ранжирования сайтов, рекомендуется для основных поисковых систем в Рунете Яндекса и Google использовать отдельные директивы с учетом особенности работы каждой поисковой системы при закрытии от индексации страниц с не релевантным тематике сайта контентом.

Создать и настроить robots.txt в битриксе

Первое, переходим на страницу Рабочий стол -> Маркетинг -> Поисковая оптимизация -> Настройка robots.txt

Второе, указываем основные правила.

На первой строчке видим User-agent: * , это означает, что директивы указаны для всех роботов всех поисковых систем.

Закрываем от индексации страницу авторизации, личного кабинета и другие директории и страницы, которые не должны попасть в результаты поиска.

Для того, чтобы закрыть директорию пишем правило:

Disallow: /auth/

Третье, указываем главное зеркало сайта с помощью директивы Host. Учтите www, если главным выбран домен с www.

Четвертое, в директиве Sitemap прописываем ссылку к файлк sitemap.xml.

В целом, это все что требуется, для того, чтобы передать файл в вебмастера Яндекса и Google.

В интерфейсе cms битрикс, есть возможность работать с каждым роботом(у поисковиков есть несколько ботов(роботов), которые занимаются отдельными действиями).
Вот роботы Яндекса:

• YandexBot — основной индексирующий
• YandexDirect — скачивает информацию о контенте сайтов-партнеров Рекламной сети, чтобы уточнить их тематику для подбора релевантной рекламы
• YandexMedia — робот, индексирующий мультимедийные данные
• YandexImages — индексатор Яндекс.Картинок
• YandexBlogs поиска по блогам — робот, индексирующий посты и комментарии
• YandexNews — робот Яндекс.Новостей
• YandexMetrika — робот Яндекс.Метрики
• YandexMarket — робот Яндекс.Маркета

Например, вам не нужно индексировать картинки, находящиеся в папке /include/, но вы хотите, чтобы статьи из этого раздела индексировались. Для этого, следует закрыть директивой Disallow папку /include/ для робота YandexImages.

User-agent: YandexImages
Disallow: /include/


что это, как настроить и ускорить индексирование в поисковых системах

Как только вы создадите сайт для своего бизнеса, однозначно столкнетесь с понятием «индексация в поисковых системах». В статье постараемся как можно проще рассказать, что это такое, зачем нужно и как сделать, чтобы индексация проходила быстро и успешно.

Что такое индексация в поисковых системах

Под индексацией понимают добавление информации о сайте или странице в базу данных поисковой системы. Фактически поисковую базу можно сравнить с библиотечным каталогом, куда внесены данные о книгах. Только вместо книг здесь веб-страницы.

Если совсем просто, индексация — процесс сбора данных о сайте. Пока информация о новой странице не окажется в базе, ее не будут показывать по запросам пользователей. Это означает, что ваш сайт никто не увидит.

Индексация сайта — базовая часть работы по продвижению ресурса. Только потом уже добавляются все остальные элементы по оптимизации сайта. Если у веб-страницы будут проблемы с индексированием, ваш бизнес не получит клиентов с сайта и понесет убытки.

Как проходит процесс индексации

Давайте посмотрим, как происходит индексирование страниц сайта.

1. Поисковый робот (краулер) обходит ресурсы и находит новую страницу.
2. Данные анализируются: происходит очистка контента от ненужной информации, заодно формируется список лексем. Лексема — совокупность всех значений и грамматических форм слова в русском языке.
3. Вся собранная информация упорядочивается, лексемы расставляются по алфавиту. Заодно происходит обработка данных, поисковая машина относит информацию к определенным тематикам.
4. Формируется индексная запись.

Это стандартный процесс индексации документов для поисковых систем. При этом у «Яндекса» и Google существуют небольшие отличия в технических моментах, про это мы расскажем дальше.

Читайте также:

Отличия SEO под Яндекс и Google

Технологии и алгоритмы индексации

Сразу стоит оговориться, что точные алгоритмы индексирования — закрытая коммерческая информация. Поисковые системы тщательно охраняют эти данные. Поэтому в этом разделе расскажем про алгоритмы только в общих чертах

Вначале нужно отметить: «Яндекс» при индексации ориентируется в основном на файл robots.txt, а Google на файл sitemap.xml.

Google

Основным отличием является использование технологии Mobile-first. Она подразумевает первоочередное сканирование и индексацию мобильной версии сайта. В индексе сохраняется именно мобильная версия. Получается, что если ваша страница при показе на мобильных устройствах будет содержать недостаточно нужной информации или в целом проигрывать основной версии сайта по качеству. Так, что она может даже не попасть в индекс.

Также Google подтверждает наличие «краулингового бюджета» — регулярности и объема посещения сайта роботом. Чем больше краулинговый бюджет, тем быстрее новые страницы будут попадать в индекс. К сожалению, точных данных о способах расчета этого показателя представители компании не раскрывают. По наблюдениям специалистов, тут оказывают сильное влияние возраст сайта и частота обновлений.

«Яндекс»

В «Яндексе» основной версией считается десктопная версия сайта, поэтому в первую очередь сканируется именно она. Официально краулингового бюджета здесь нет, поэтому индексирование происходит вне зависимости от траста и других показателей вашего ресурса. Еще может влиять количество выложенных в сеть на данный момент страниц. Речь про страницы, которые конкуренты и другие пользователи выкладывают одновременно с вами.

Приоритет при индексации имеют сайты с большой посещаемостью. Чем выше посещаемость, тем быстрее новая страница окажется в поисковой выдаче.

Также Яндекс не индексирует документы с весом более 10 Мб. Учитывайте это при создании страниц сайта. Советуем также почитать кейс: Продвижение сайта REG.RU за процент от продаж.

Заказать продвижение сейчас

Как настроить индексацию сайта

В целом сайт должен индексироваться самостоятельно, даже если вы не будете ничего предпринимать для этого. Но если вы разберетесь с настройкой, то получите быструю и надежную индексацию и в случае возникновения проблем с сайтом будете понимать, в чем причина.

Первое, что стоит сделать, — создать файл robots.txt. У большей части систем управления сайтом (CMS) есть автоматизированные решения для его генерации. Но нужно как минимум понимать, какие директивы используются в этом файле. На скриншоте показан стандартный документ для сайта на WordPress:

Типовой файл robots.txt сайта на WordPress

Обратите внимание, что здесь нет директивы host: она не используется «Яндексом» с 2018 года, а Google никогда ее и не замечал. Но при этом до сих пор встречаются рекомендации по использованию этой директивы, и многие по инерции вставляют ее в файл.

В таблице ниже указаны основные параметры, используемые в robots.txt:

Рассмотрим более подробно код на следующем скриншоте. User-agent показывает, что директивы предназначены для «Яндекса». А директива Disallow показывает, какие страницы не должны попасть в индекс. Это технические документы, в частности админ-панель сайта и плагины.

Фрагмент кода robots.txt

Более подробно о том, каким должен быть robots.txt для сайта, можно прочитать в справке сервиса «Яндекс.Вебмастер».

Далее делаем файл sitemap.xml: фактически это карта сайта, созданная в формате xml. Сделано это для упрощения считывания данных поисковыми роботами. В файл вносятся все страницы, которые должны быть проиндексированы.

Для правильной индексации файл не должен превышать 50 Мб или 50000 записей. Если нужно проиндексировать больше адресов, делают несколько файлов, которые в свою очередь перечисляются в файле с индексом sitemap.

На практике сайты, работающие с бизнесом, редко имеют потребность в подобном решении — просто имейте в виду такую особенность.

На скриншоте показан фрагмент кода sitemap.xml, сгенерированный одним из плагинов WordPress:

Так выглядит файл sitemap.xml «изнутри»

Остается разобраться, как создать файл sitemap.xml. Решение зависит от CMS вашего сайта. Если он сделан не на популярном «движке», придется делать все руками. Можно воспользоваться онлайн-генератором: например, mySitemapgenerator. Вводим адрес сайта и через короткое время получаем готовый файл.

Для сайтов на CMS WordPress сделать такую карту сайта еще проще. У вас все равно уже установлен один из плагинов для SEO-оптимизации ресурса. Заходим в настройки плагина и включаем генерацию sitemap.xml. На скриншоте показан пример включения карты сайта через плагин AIOSEO:

Плагин для настройки sitemap.xml в WP

Чтобы сайт максимально быстро индексировался, следует обеспечить перелинковку. Тогда поисковый робот без проблем будет переходить по страницам и своевременно найдет новый документ.

Далее необходимо выполнить настройку индексирования в «Яндекс.Вебмастер» и Google Search Console.

Читайте также:

Подробный гайд по оптимизации сайта на WordPress

Как ускорить индексацию сайта

В начале статьи мы рассказывали, как настроить индексирование. Теперь поговорим о том, как ускорить это процесс. В целом современные поисковые роботы довольно быстро собирают информацию о ресурсе: по моим наблюдениям, новые страницы появляются в индексе уже через 20–40 минут. Но так бывает не всегда, потому что может произойти сбой или еще какая-то нештатная ситуация, и страница будет индексироваться очень долго.

Появление адреса в списке проиндексированных страниц «Яндекс.Вебмастера» не совпадает с моментом индексации. На практике URL оказывается в индексе намного раньше, а в кабинете только при очередном апдейте.

При этом есть ситуации, когда индексирование нужно ускорить:

• Сайт выходит из-под фильтров.
• Молодой ресурс обладает небольшим краулинговым бюджетом.

В обоих случаях рекомендуется подтолкнуть поисковых роботов. Отметим, что для «Яндекса» и Google подход будет разным.

Начнем с отечественной поисковой системы. Заходим в «Яндекс.Вебмастер» и в меню слева, во вкладке «Индексирование», находим ссылку «Переобход страниц». Переходим по ней:

Яндекс.Вебмастер — подраздел «Переобход страниц» в меню «Индексирование»

На следующей вкладке вводим URL новой страницы, после чего жмем кнопку «Отправить». Отследить статус заявки можно в расположенном ниже списке:

Процесс отправки страниц сайта на переобход

Так можно поступать не только с новыми страницами, но и в случае изменения уже имеющихся на сайте. Только помните, что количество отправок в сутки ограничено, причем все зависит от возраста и траста сайта.

В самом «Вебмастере» предлагается для ускорения индексирования подключать переобход по счетчику «Яндекс.Метрики». Это не самое лучшее решение. Дело в том, что поисковый робот может ходить по всем страницам — даже тем, которые не нужно индексировать, причем в приоритете будут наиболее посещаемые документы. Может получиться ситуация, когда старые страницы робот обошел, а новые не заметил. Или вообще в поиск попадут технические страницы: например, страница авторизации или корзина интернет-магазина.

У Google ускорение индексации состоит из двух этапов. Сначала идем в Search Console, где на главной странице вверху находится поле «Проверка всех URL». В него вставляем адрес страницы, которую нужно проиндексировать. Далее нажимаем на клавиатуре «Enter».

Поле для ввода URL страницы, которую мы хотим добавить для индексирования

Ждем около минуты. Сервис нам будет показывать вот такое окно:

Всплывающее окно в Search Console о получении данных из индекса

Следующая страница выглядит вот так:

Как видите написано, что URL отсутствует в индексе, поэтому нажимаем на кнопку «Запросить индексирование»

Некоторое время поисковая машина будет проверять, есть ли возможность проиндексировать адрес:

Техническое окно с сообщением о проверке

Если все прошло успешно, Google сообщает, что страница отправлена на индексирование. Остается только дождаться результатов.

Сообщение об отправке запроса. Обратите внимание, что не стоит повторно отправлять на индексацию один и тот же URL

При отправке на индексирование страниц сайта, следует помнить, что Google до сих пор очень ценит ссылки. Поэтому, существует альтернативный способ ускорения индексации — Twitter.

Сразу после публикации страницы идем в Twitter и делаем твит с нужным адресом. Буквально через полчаса URL будет уже в индексе Google.

Лучше всего использовать эти обе способа совместно. Так будет надежнее.

Читайте также:

Внешняя оптимизация сайта: как продвигать сайт с помощью сторонних ресурсов

Как запретить индексацию страниц

В некоторых случаях может потребоваться не проиндексировать, а наоборот запретить индексацию. К примеру, вы только создаете страницу и на ней нет нужной информации, или вообще сайт в разработке и все страницы — тестовые и недоработанные.

Существует несколько способов, чтобы «спрятать» страницу от поисковых роботов. Рассмотрим наиболее удобные варианты.

Способ первый

Если вам нужно скрыть всего один документ, можно добавить в код страницы метатег Noindex. Эта команда дает поисковому роботу команду не индексировать документ. Размещают его между тегами <head>. Вот код, который нужно разместить:

<meta name=»robots» content=»noindex» />

Большая часть CMS позволяют использовать этот метод в один клик, предлагая готовые решения. У WordPress, например, для этого имеется отдельная строчка в настройках редактора, а в «1С-Битрикс» путем настроек раздела и конкретной страницы.

Способ второй

Заключается в редактировании файла robots.txt. Разберем несколько примеров закрытия страниц от индексирования.

Начнем с полного закрытия сайта от индексирования. На скриншоте код, который выполняет эту задачу: звездочка говорит, что правило работает для всех поисковых роботов. Косая черта (слеш) показывает, что директива Disallow относится ко всему сайту.

Полное закрытие сайта от индексирования

Если нам нужно закрыть ресурс от индексирования в конкретной поисковой системе, указываем название ее краулера. На скриншоте показано закрытие от робота «Яндекса».

Закрываем сайт от индексации «Яндексом»

Когда нужно избежать индексирования конкретной страницы, после слеша указываем параметры пути к документу. Пример показан на скриншоте:

Закрытие одной страницы в Robots.txt

Для Google все перечисленные способы работают аналогично. С разницей лишь в том, что если страницу или целый сайт нужно скрыть конкретно от этой поисковой системы, в User-agent указывают атрибут Googlebot.

Закрытие страниц от индексации используется довольно часто. В процессе развития своего веб-ресурса вам часто придется делать новые страницы, или переделывать имеющиеся. Чтобы избежать попадания в поисковую выдачу не готовых к показу страниц, имеет смысл закрывать их от индексации.

Присоединяйтесь к нашему Telegram-каналу!

• Теперь Вы можете читать последние новости из мира интернет-маркетинга в мессенджере Telegram на своём мобильном телефоне.
• Для этого вам необходимо подписаться на наш канал.

Распространенные ошибки индексации

Чаще всего проблемы возникают из-за случайного закрытия сайта от индексирования. У меня был случай, когда клиент при самостоятельном обновлении плагинов как-то внес изменения в файл robots.txt, и сайт исчез из поисковой выдачи. Поэтому при всех действиях, которые связаны с этим файлом, обязательно проверяйте, нет ли изменений в директивах.

Для проверки можно использовать инструмент Яндекс.Вебмастер «Анализ robots.txt».

Анализатор robots.txt — бесплатный и полезный инструмент проверки файла на корректность записанных директив

В некоторых случаях могут индексироваться технические страницы. К примеру, на WordPress при размещении изображений в виде медиафайла поисковый робот может индексировать каждую картинку в качестве отдельной страницы. В таком случае делаем редирект с этой страницы на тот документ, где изображение будет выводиться.

Читайте также:

Как сделать редирект — подробное руководство по настройке и использованию

Иногда встречаются проблемы с индексированием из-за неполадок на сервере или хостинге, но это уже нужно решать с администратором сервера, что выходит за рамки этой статьи.

Медленное индексирование может быть следствием наложения фильтров со стороны поисковых систем. Посмотрите, нет ли предупреждений в сервисах для вебмастеров: если они есть, устраните проблемы.

Как проверить индексацию сайта

Проверить индексацию сайта можно несколькими способами. Самым простой — в поисковой строке браузера набрать адрес сайта с оператором «site» или «url». Выглядит это вот так: «site: kokoc.com». На скриншоте показан запрос с проиндексированной страницей.

Проверка индексирования в поисковой системе

Если страница еще не вошла в индекс, вы увидите вот такую картину. Проверка в Google производится аналогично.

Страница не проиндексирована

Также можно посмотреть статус документа в «Яндекс.Вебмастер». Для этого находим в меню «Индексирование» и переходим на «Страницы в поиске».

Меню «Яндекс.Вебмастер»

Внизу страницы будут три вкладки. Нас интересуют «Все страницы», там можно увидеть статус документа, последнее посещение и заголовок.

Проиндексированные страницы

Обязательно посмотрите вкладку «Исключенные страницы». Тут вы увидите, какие документы оказались вне поискового индекса. Также указана причина исключения.

Исключенные страницы

При любых сложностях с индексированием в первую очередь следует смотреть конфигурационные файлы robots.txt и sitemap.xml. Если там все в порядке, проверяем, нет ли фильтров, и в последнюю очередь обращаемся к администратору хостинга.

Выводы

Индексация страниц сайта сейчас происходит в самые короткие сроки. При правильной настройке документы могут попадать в индекс поиска уже через полчаса после размещения.

Настройка сводится к созданию правильных конфигурационных файлов и созданию удобных условий для поискового робота для перехода по страницам сайта. Вот какие шаги нужно сделать для правильной индексации:

1. Создаем и настраиваем файл robots.txt.
2. Генерируем файл sitemap.xml.
3. Регистрируем сайт в сервисах Google Search Console и «Яндекс.Вебмастер».
4. Каждый раз после размещения статьи или новой страницы отправляем URL на проверку.
5. Используем дополнительные инструменты: размещение ссылок в Twitter и на других трастовых ресурсах.

После этого вероятность возникновения каких-либо проблем с индексированием будет стремиться к нулю. Теперь нужно наращивать позиции в топе — но это уже совсем другая история…

Продвижение сайта в ТОП-10

• Оплата по дням нахождения в ТОП
• Подбираем запросы, которые приводят реальных покупателей!

Как создать файл robots.txt в 2021: пошаговая инструкция

Файл robots.txt — это текстовый файл, в котором содержаться инструкции для поисковых роботов, в частности каким роботам и какие страницы допускается сканировать, а какие нет.

Где можно найти файл robots.txt и как его создать или редактировать

Чтобы проверить файл robots.txt сайта, следует добавить к домену «/robots.txt», примеры:

https://seopulses.ru/robots.txt

https://serpstat.com/robots.txt

https://netpeak.net/robots.txt

Как создать и редактировать robots.txt

Вручную

Данный файл всегда можно найти, подключившись к FTP сайта или в файлом редакторе хостинг-провайдера в корневой папке сайта (как правило, public_html):

Далее открываем сам файл и можно его редактировать.

Если его нет, то достаточно создать новый файл.

После вводим название документа и сохраняем.

Через модули/дополнения/плагины

Чтобы управлять данный файлом прямо в административной панели сайта следует установить дополнительный модуль:

• Для 1С-Битрикс;

https://dev.1c-bitrix.ru/learning/course/?COURSE_ID=139&LESSON_ID=5814

Virtual Robots.txt

https://opencartforum.com/files/file/5141-edit-robotstxt/

https://support.webasyst.ru/shop-script/149/shop-script-robots-txt/

Как проверить работу файла robots.txt

В Яндекс.Вебмастер

В Яндекс.Вебмастер в разделе «Инструменты→ Анализ robots.txt» можно увидеть используемый поисковиком свод правил и наличие ошибок в нем.

Также можно скачать другие версии файла или просто ознакомиться с ними.

Чуть ниже имеется инструмент, который дает возможно проверить сразу до 100 URL на возможность сканирования.

В нашем случае мы проверяем эти правила.

Как видим из примера все работает нормально.

Также если воспользоваться сервисом «Проверка ответа сервера» от Яндекса также будет указано, запрещен ли для сканирования документ при попытке обратиться к нему.

В Google Search Console

В случае с Google можно воспользоваться инструментом проверки Robots.txt, где потребуется в первую очередь выбрать нужный сайт.

Важно! Ресурсы-домены в этом случае выбирать нельзя.

Теперь мы видим:

• Сам файл;
• Кнопку, открывающую его;
• Симулятор для проверки сканирования.

Если в симуляторе ввести заблокированный URL, то можно увидеть правило, запрещающее сделать это и уведомление «Недоступен».

Однако, если ввести заблокированный URL в страницу поиска в новой Google Search Console (или запросить ее индексирование), то можно увидеть, что страница заблокирована в файле robots.txt.

Robots.txt. Создать правильный robots.txt – для продвижения сайтов. Анализатор robots.txt, основные директивы.

В ходе работ по продвижению сайта появляется необходимость закрытие от поисковых систем ряда страниц, которые не несут полезной информации для пользователей, мешают корректной индексации и ранжированию сайта или могут содержать данные, попадание которых в открытый доступ необходимо избежать. Появляется необходимость самостоятельно показать поисковым системам, какие части сайта не следует индексировать и размещать поиске. Подобные инструкции прописываются в специальном файле на сайте – robots.txt.

Как создать robots.txt?

Пример размещения готового сайта robots.txt:

Основные директивы robots.txt

Если написанные директивы предназначаются определенным поисковым роботам, то в User-agent пишут их названия:

Информацию по поисковым роботам Google можно получить тут, по поисковым роботам Яндекса тут.

Disallow – директива, позволяющая запретить доступ роботов поисковых систем к конкретным страницам и разделам сайта. Директиву Disallow используют для того, чтобы скрыть страницы или разделы, которые не имеют информационной значимости для пользователей (технический разделы сайта, дублирующийся контент и т.п.). Также данная директива позволяет закрыть информацию, которая не должна попасть в общий доступ (личные данный пользователей и т.д.):

При помощи директивы Disallow можно запретить доступ поисковых роботов ко всему сайту целиком:

При запрете индексации всего сайта – она полностью пропадает из поиска.

Allow – директива, которая позволяет разрешить доступ поискового робота к странице или разделам сайта. Часто данная директива используется, когда надо открыть для роботов небольшое количество страниц раздела, который планируется закрыть при помощи директивы Disallow:

Спецсимвол «*» – обозначает любую последовательность символов. Применяется, если необходимо закрыть (открыть) большое количество страниц с общим набором некоторых символов:

По умолчанию любое правило в robots.txt заканчивается «*».

Спецсимвол «$» – используется для того, чтобы отменить использование спецсимвола «*» в конце правила:

Sitemap – директива необходимая, если для улучшения индексации сайта используется файл sitemap.xml. При помощи директивы Sitemap можно указать путь к месту расположения одной или нескольких xml-карт сайта:

В дальнейшем, данные из sitemap.xml будут использоваться для индексации сайта.

Host – директива, используемая для указания главного зеркала сайта. Если у сайта есть несколько зеркал, то они будут объединены в специальную группу. В таком случае в поиске будет выдаваться только адрес главного зеркала. Для того чтобы у робота-зеркальщика Яндекса не было проблем с определением главного сайта, необходимо указать его в директиве Host файла robots.txt каждого сайта-зеркала:

Директива Host в файле robots.txt указывается после директив Allow и Disallow

Crawl-delay – директива, которая позволяет указать поисковым роботам минимальное время (в секундах) между скачиванием страниц. Данную директиву следует использовать в случае сильной нагрузки на сервер:

Директива Crawl-delay в файле robots.txt пишется после директив Allow и Disallow.

Clean-param – директива позволяющая избежать многократной закачки дублирующихся страниц, возникших из-за не изменяющих содержание динамических параметров. Использование директивы Clean-param снижает нагрузку на сервер, а также позволяет избавиться от одной из основных технических проблем, мешающих успешному продвижению сайтов в Яндексе – внутренних дублей страниц:

Наиболее частое применение данная директива получила при наличии на сайте идентификаторов сессий.

Анализатор файла robots.txt

Воспользоваться анализатором robots.txt можно здесь.

Для того чтобы проанализировать правильность составление файла robots.txt, необходимо в поле «Имя хоста» написать домен сайта, а в поле «Robots.txt» перенести данные из созданного файла. Если файл robots.txt уже загружен на хостинг, то достаточно нажать кнопку «Загрузить robots.txt с сайта» и данные появятся автоматически:

Файл robots.txt можно загружать на сайт (или обновлять информацию в существующем)  только после того, как анализатор подтвердил правильность его составления: что должно быть закрыто – запрещено, что должно быть открыто – разрешено.

Что такое файл Robots.txt в домене?

Одна из самых больших ошибок новых владельцев веб-сайтов — не заглядывать в их файл robots.txt. Так что же это вообще такое и почему так важно? У нас есть ваши ответы.

Если вы являетесь владельцем веб-сайта и заботитесь о его SEO-состоянии, вам следует хорошо ознакомиться с файлом robots.txt в своем домене. Хотите верьте, хотите нет, но существует тревожно большое количество людей, которые быстро запускают домен, быстро устанавливают веб-сайт WordPress и никогда не заботятся о том, чтобы что-либо делать со своими роботами.txt файл.

Это опасно. Плохо настроенный файл robots.txt может фактически подорвать SEO вашего сайта и повредить любые ваши шансы на увеличение трафика.

Что такое файл Robots.txt?

Файл Robots.txt назван удачно, потому что это, по сути, файл, в котором перечислены директивы для веб-роботов (например, роботов поисковых систем) о том, как и что они могут сканировать на вашем веб-сайте. Это веб-стандарт, которому следуют веб-сайты с 1994 года, и все основные поисковые роботы придерживаются этого стандарта.

Файл хранится в текстовом формате (с расширением .txt) в корневой папке вашего веб-сайта. Фактически, вы можете просмотреть файл robot.txt любого веб-сайта, просто введя домен, а затем /robots.txt. Если вы попробуете это с помощью groovyPost, вы увидите пример хорошо структурированного файла robot.txt.

Файл простой, но эффективный. В этом примере файла не делается различий между robots. Команды выдаются всем роботам с помощью директивы User-agent: * .Это означает, что все команды, следующие за ним, применяются ко всем роботам, которые посещают сайт для его сканирования.

Указание веб-сканеров

Вы также можете указать определенные правила для определенных веб-сканеров. Например, вы можете разрешить роботу Googlebot (поисковому роботу Google) сканировать все статьи на вашем сайте, но вы можете запретить русскому поисковому роботу Yandex Bot сканировать статьи на вашем сайте, содержащие пренебрежительную информацию о России.

Существуют сотни поисковых роботов, которые ищут в Интернете информацию о веб-сайтах, но 10 наиболее распространенных, о которых следует беспокоиться, перечислены здесь.

• Googlebot : поисковая система Google
• Bingbot : поисковая система Microsoft Bing
• Slurp : поисковая система Yahoo
• DuckDuckBot : поисковая система DuckDuckGo
• Baiduspider : китайская поисковая система
Baidu YandexBot : российская поисковая система Яндекс
• Exabot : французская поисковая система Exalead
• Facebot : сканирующий бот Facebook
• ia_archiver : поисковый робот Alexa
• MJ12bot : большая база данных индексации ссылок

В приведенном выше примере сценария, если вы хотите разрешить роботу Googlebot индексировать все, что есть на вашем сайте, но хотите запретить Яндекс индексировать содержание вашей статьи на русском языке, вы должны добавить следующие строки в файл robots.txt файл.


User-agent: googlebot
Disallow: Disallow: / wp-admin /
Disallow: /wp-login.php

User-agent: yandexbot
Disallow: Disallow: / wp-admin /
Disallow: /wp-login.php
Disallow: / russia /

Как видите, первый раздел блокирует только сканирование вашей страницы входа в WordPress и административных страниц в Google. Второй раздел блокирует доступ Яндекса к той же, но и ко всей области вашего сайта, где вы публиковали статьи с антироссийским содержанием.

Это простой пример того, как вы можете использовать команду Disallow для управления определенными поисковыми роботами, которые посещают ваш веб-сайт.

Другие команды Robots.txt

Disallow — не единственная команда, к которой у вас есть доступ в файле robots.txt. Вы также можете использовать любые другие команды, которые будут указывать, как робот может сканировать ваш сайт.

• Disallow : Указывает агенту пользователя избегать сканирования определенных URL-адресов или целых разделов вашего сайта.
• Разрешить : позволяет настраивать определенные страницы или подпапки на вашем сайте, даже если вы запретили родительскую папку. Например, вы можете запретить: / about /, но затем разрешить: / about / ryan /.
• Crawl-delay : указывает сканеру подождать xx секунд перед тем, как начать сканирование содержания сайта.
• Карта сайта: Предоставьте поисковым системам (Google, Ask, Bing и Yahoo) расположение ваших XML-карт сайта.

Имейте в виду, что боты будут только слушать команды, которые вы указали при указании имени бота.

Распространенная ошибка, которую делают люди, — запрещает использование таких областей, как / wp-admin / для всех ботов, но затем указывает раздел googlebot и запрещает только другие области (например, / about /).

Поскольку боты следуют только командам, указанным вами в их разделе, вам необходимо повторно ввести все те другие команды, которые вы указали для всех ботов (с помощью * user-agent).

• Disallow : Команда, используемая для указания пользовательскому агенту не сканировать определенный URL. Для каждого URL разрешена только одна строка «Disallow:».
• Разрешить (применимо только для робота Googlebot) : команда, сообщающая роботу Googlebot, что он может получить доступ к странице или подпапке, даже если его родительская страница или подпапка могут быть запрещены.
• Crawl-delay : Сколько секунд сканер должен ждать перед загрузкой и сканированием содержимого страницы. Обратите внимание, что робот Googlebot не подтверждает эту команду, но скорость сканирования можно установить в консоли поиска Google.
• Карта сайта : Используется для вызова местоположения XML-карты (-ов) сайта, связанной с этим URL-адресом.Обратите внимание, что эта команда поддерживается только Google, Ask, Bing и Yahoo.

Имейте в виду, что robots.txt предназначен для более эффективного сканирования вашего сайта законными ботами (например, ботами поисковых систем).

Есть много гнусных поисковых роботов, которые сканируют ваш сайт, чтобы делать такие вещи, как очистка адресов электронной почты или кража вашего контента. Если вы хотите попробовать использовать файл robots.txt, чтобы заблокировать этим сканерам сканирование чего-либо на вашем сайте, не беспокойтесь. Создатели этих поисковых роботов обычно игнорируют все, что вы вложили в своих роботов.txt файл.

Почему что-то запрещать?

Заставить поисковую систему Google сканировать как можно больше качественного содержания на вашем веб-сайте — это первоочередная задача для большинства владельцев веб-сайтов.

Однако Google расходует только ограниченный бюджет сканирования и скорость сканирования на отдельных сайтах. Скорость сканирования — это количество запросов в секунду, которые робот Googlebot отправит вашему сайту во время сканирования.

Более важным является бюджет сканирования, который представляет собой общее количество запросов, которые робот Googlebot сделает для сканирования вашего сайта за один сеанс.Google «тратит» свой краулинговый бюджет, сосредотачиваясь на тех областях вашего сайта, которые очень популярны или изменились в последнее время.

Вы не закрываете глаза на эту информацию. Если вы посетите Инструменты Google для веб-мастеров, вы увидите, как поисковый робот обрабатывает ваш сайт.

Как видите, поисковый робот поддерживает постоянную активность на вашем сайте каждый день. Он сканирует не все сайты, а только те, которые считает наиболее важными.

Зачем оставлять Googlebot решать, что важно на вашем сайте, если вы можете использовать своих роботов.txt, чтобы указать, какие страницы наиболее важны? Благодаря этому робот Googlebot не будет тратить время на малоценные страницы вашего сайта.

Оптимизация бюджета сканирования

Инструменты Google для веб-мастеров также позволяют проверить, правильно ли Googlebot читает ваш файл robots.txt и нет ли ошибок.

Это поможет вам убедиться, что вы правильно структурировали файл robots.txt.

Какие страницы следует запретить роботу Googlebot? Для SEO вашего сайта полезно запретить следующие категории страниц.

• Дубликаты страниц (например, страницы для печати)
• Страницы с благодарностями после заказов на основе форм
• Формы заказов или информационных запросов
• Страницы для контактов
• Страницы входа в систему
• Страницы «продаж» для лид-магнита

Дон ‘ t Игнорируйте свой файл robots.txt

Самая большая ошибка, которую совершают новые владельцы веб-сайтов, — это никогда не смотреть на свой файл robots.txt. Худшая ситуация может заключаться в том, что файл robots.txt фактически блокирует сканирование вашего сайта или его частей.

Обязательно просмотрите файл robots.txt и убедитесь, что он оптимизирован. Таким образом, Google и другие важные поисковые системы «видят» все невероятные вещи, которые вы предлагаете миру на своем веб-сайте.

Что такое файл robots.txt и как его создать?

Файл robots.txt — это инструмент, который вы можете использовать для управления тем, как поисковые системы видят ваш сайт. По сути, он сообщает поисковым системам, как себя вести при сканировании вашего контента. И они могут быть чрезвычайно ценными для SEO и общего управления сайтом.

В этой статье я расскажу о следующих вещах:

• Что такое файл robots.txt?
• Нужен ли мне файл robots.txt?
• Как создать файл robots.txt
• Некоторые примеры того, что включать в файл robots.txt
• Использование robots.txt не является гарантией
• robots.txt и WordPress
• Генераторы файлов robots.txt

Краткая история веб-краулеров и винограда

У людей короткая избирательная память.Например, мы воспринимаем Google как должное. Многие часто считают, что интеллектуальный каталог (почти) всего в Интернете всегда был доступен.

Но первые дни Интернета были темными и запутанными временами, братья и сестры. Не было разумного способа что-либо найти.

О, у нас были поисковые машины. WebCrawler был первым, о котором слышало большинство людей, и к нему быстро присоединился Lycos. Они проиндексировали все, что могли найти в сети, и работали. На самом деле они работали слишком хорошо.

Когда вы ищете что-то конкретное, но вам нужно искать во всем мире , результаты поиска могут быть… менее чем полезными. Если вы когда-либо использовали WebCrawler, Lycos или любую другую поисковую систему до Google (привет, AltaVista!), Вы помните страницы и страницы результатов, которые не имели ничего общего с тем, что вы искали.

Индексирование Все было проблематично

Проблема с индексированием всего, что могло — и часто случалось — приводить к бесполезным результатам поиска.Поиск «Гроздья гнева», вероятно, вернет десятки страниц результатов, связанных с виноградом (фруктом) и фильмом «Звездный путь гнева Хана» , но ничего о Джоне Стейнбеке.

Что еще хуже, спамеры очень рано определили отсутствие изощренности поисковых систем и воспользовались этим. Это часто приводило к загрузке страниц, полных слов и фраз, которые не имели ничего общего с некачественными продуктами или схемами Понци, которые они пытались навязать ничего не подозревающим пользователям сети .

Технические препятствия, связанные с повышением «интеллектуальности» результатов поиска, были еще не решены. Так что вместо этого у нас были такие вещи, как Yahoo !, которая была вовсе не поисковой системой, а скорее тщательно отобранным списком веб-сайтов. Yahoo! не находили веб-сайты, сообщили Yahoo! владельцы веб-сайтов. где их найти.

Если это звучит ужасно ненаучно и не очень инклюзивно, это потому, что это было так. Но это был лучший ответ на хаос и беспорядок результатов поисковых систем, который мог придумать кто угодно.Yahoo! де-факто стала отправной точкой для большинства людей, использующих Интернет только потому, что не было ничего лучше.

Восстание машин

«Роботы», о которых мы говорим, на самом деле являются компьютерными программами, а не пугающими людей-машинами. Программы, которые индексируют Интернет, известны также под многими другими именами, включая пауки, боты и краулеры. Все названия относятся к одной и той же технологии.

Пара докторов наук из Стэнфорда. студенты по имени Ларри и Сергей со временем придумают, как сделать результаты поиска более релевантными.Тем не менее, в это время в сети прочесывали десятки других поисковых систем. Роботы непрерывно рыскали по сети, индексируя то, что находили. Но роботы — это не разумные формы жизни, это машины, поэтому они создали некоторые проблемы.

В первую очередь они проиндексировали множество вещей, которые владельцы сайтов не хотели индексировать. Это включает личную, конфиденциальную или служебную информацию, административные страницы и другие вещи, которые не обязательно принадлежат общедоступному каталогу.

Кроме того, по мере увеличения количества роботов возрастало их иногда негативное влияние на ресурсы веб-сервера.В те дни серверы не были такими надежными и мощными, как сейчас. Шквал пауков и ботов, яростно загружающих страницы сайта, может замедлить время отклика сайта.

Людям Интернета нужен был способ управлять роботами, и они нашли свое оружие в скромном, но мощном файле robots.txt .

Что такое файл robots.txt?

Файл robots.txt представляет собой текстовый формат, содержащий инструкции, которым должны следовать веб-сканеры и роботы .

Я говорю «должен», потому что нет ничего, требующего от сканера или бота выполнения инструкций в файле robots.txt. Основные игроки соблюдают большинство (но не все) правил, но некоторые боты полностью игнорируют директивы в вашем файле robots.txt.

Файл robots.txt находится в корневом каталоге вашего веб-сайта (например, http://ggexample.com/robots.txt).

Если вы используете подкаталоги, например blog.ggexample.com или forum.ggexample.com, каждый подкаталог также должен содержать файл robots.txt файл.

Сканеры выполняют простое текстовое сопоставление с тем, что у вас есть в файле robots.txt и с URL-адресами на вашем сайте. Если директива в вашем файле robots.txt совпадает с URL на вашем сайте, поисковый робот будет подчиняться установленному вами правилу.

Нужен ли мне файл robots.txt?

Когда файл robots.txt отсутствует, сканеры поисковых систем предполагают, что они могут сканировать и индексировать любую страницу, которую они находят на вашем сайте. Если вы этого хотите, вам не нужно создавать файл robots.txt файл.

Но если есть страницы или каталоги, которые вы не хотите индексировать, вам нужно создать файл robots.txt. К таким страницам относится то, о чем мы говорили ранее. Это частные, конфиденциальные, служебные и административные страницы. Однако он также может включать в себя такие вещи, как страницы с благодарностями или страницы, содержащие дублированный контент.

Например, версии для печати или страницы A / B-тестирования.

Как создать файл robots.txt

A robots.txt создается так же, как и любой текстовый файл. Откройте ваш любимый текстовый редактор и сохраните документ как robots.txt. Затем вы можете загрузить файл в корневой каталог вашего сайта с помощью FTP или файлового менеджера cPanel.

На заметку:

• Имя файла должно быть robots.txt — все в нижнем регистре. Если какая-либо часть имени написана с заглавной буквы, сканеры не прочитают ее.
• Записи в вашем файле robots.text также чувствительны к регистру. Например, / Directory / не то же самое, что / directory /.
• Используйте текстовый редактор для создания или редактирования файла. Текстовые процессоры могут добавлять символы или форматирование, препятствующие чтению файла поисковыми роботами.
• В зависимости от того, как был создан ваш сайт, файл robots.txt может уже находиться в корневом каталоге. Проверьте перед созданием и загрузкой нового файла robots.txt, чтобы случайно не перезаписать существующие директивы.

Некоторые примеры того, что включать

Файл robots.txt содержит ряд переменных и подстановочных знаков, поэтому существует множество возможных комбинаций.Мы рассмотрим некоторые общие и полезные записи и покажем вам, как их добавлять.

Прежде чем мы это сделаем, давайте начнем с обзора доступных директив: User-agent, Disallow, Allow, Crawl-delay и Sitemap. Большинство ваших записей robots.txt будут использовать «User-agent» и «Disallow».

User-agent

Функция User-agent нацелена на конкретный поисковый робот, которому мы хотим дать инструкции. Обычно это Googlebot, Bingbot, Slurp (Yahoo), DuckDuckBot, Baiduspider (китайская поисковая система) и YandexBot (российская поисковая система).Вы можете включить длинный список пользовательских агентов.

Disallow

Использование Disallow, вероятно, является одним из наиболее распространенных атрибутов. Это основная команда, которую мы будем использовать, чтобы запретить пользовательскому агенту сканировать URL.

Разрешить

Разрешить — еще один распространенный элемент файла robots.txt. И он используется только роботом Googlebot. Он сообщает роботу Googlebot, что доступ к страницам или подпапкам разрешен, даже если родительская страница или подпапка запрещены.

Задержка сканирования

Функция задержки сканирования определяет, сколько секунд сканер должен ждать между страницами.Многие сканеры игнорируют эту директиву, в первую очередь робот Googlebot, но скорость сканирования для робота Googlebot можно установить в консоли поиска Google.

Карта сайта

Возможно, одним из наиболее важных аспектов файла robots.txt является «Карта сайта». Он используется для указания местоположения XML-карты сайта для вашего сайта, что значительно улучшает индексирование контента в поисковых системах.

Если вы хотите, чтобы вас нашли на таких сайтах, как Google, Bing или Yahoo, практически необходимо иметь карту сайта.

Итак, робот.txt начинается с:

 User-agent: * 

Звездочка (*) — это подстановочный знак, означающий «все». Все, что будет дальше, будет применяться ко всем сканерам.

 Пользовательский агент: *
Disallow: / private / 

Теперь мы добавили «Disallow» для каталога / private /. Таким образом, robots.txt сообщает каждому сканеру, чтобы он не сканировал / private / в домене.

Если бы мы хотели запретить только определенному сканеру, мы бы использовали имя краулера в строке User-agent:

 User-agent: Bingbot
Disallow: / private / 

Это указывает Bing не сканировать ничего в каталоге / private /.

Косая черта в строке Disallow сообщит Bing (или любому пользовательскому агенту, который вы указали), что ему не разрешено сканировать что-либо в домене:

 User-agent: Bingbot
Disallow: / 

Вы также можете запретить поисковым роботам сканировать определенный файл.

 Пользовательский агент: *
Disallow: /private.html 

Другой подстановочный знак — $, обозначающий конец URL-адреса. Таким образом, в следующем примере любой URL-адрес, заканчивающийся на .pdf, будет заблокирован.

 Пользовательский агент: *
Disallow: /*.pdf$ 

Это помешает всем сканерам сканировать все PDF-файлы.Например, https://ggexample.com/whitepapers/july.pdf

Несколько директив в файле robots.txt

До сих пор мы создавали простые двухстрочные файлы robots.txt, но у вас может быть столько записей в файле, как хотите.

Например, если мы хотим разрешить Google сканировать все, но не разрешать Bing, Baidu или Яндекс, мы должны использовать:

 User-agent: Googlebot
Запретить:

Пользовательский агент: Bingbot
Запретить: /

Пользовательский агент: Baiduspider
Запретить: /

Пользователь-агент: ЯндексБот
Disallow: / 

Обратите внимание, что мы использовали новую строку User-agent для каждой директивы.В строке User-agent может быть указан только один искатель.

Но — один пользовательский агент может иметь несколько директив Disallow:

 Пользовательский агент: Baiduspider
Запретить: / самолеты /
Запретить: / поезда /
Disallow: / cars / 

Каждый URL-адрес Disallow должен находиться в отдельной строке.

Вы можете проверить свой файл robots.txt в Инструментах Google для веб-мастеров.

Использование robots.txt не является гарантией

Добавление директивы Disallow в robots.txt не гарантирует, что файл или URL не будут проиндексированы поисковой системой.Хотя «хорошие» сканеры поисковых систем будут уважать ваши настройки robots.txt, некоторые — нет.

Тот факт, что они не сканируют что-либо в вашем домене, не означает, что он не будет проиндексирован.

Это потому, что поисковые роботы переходят по ссылкам. Поэтому, если вы запретите /whitepapers/july.pdf, сканеры не будут сканировать его. Но если кто-то еще сделает ссылку на /whitepapers/july.pdf со своего веб-сайта, сканеры смогут найти файл и проиндексировать его.

robots.txt и WordPress

WordPress создает «виртуальных» роботов.txt по умолчанию. Это простая директива, которая блокирует попытки сканеров сканировать вашу панель администратора.

 Пользовательский агент: *
Запретить: / wp-admin /
Разрешить: /wp-admin/admin-ajax.php 

Файл /wp-admin/admin-ajax.php разрешен, потому что некоторые темы WordPress используют AJAX для добавления содержимого на страницы или сообщения.

Если вы хотите настроить файл robots.txt WordPress, создайте файл robots.txt, как описано выше, и загрузите его в корень своего веб-сайта.

Обратите внимание, что загруженный вами файл robots.txt остановит создание виртуального файла robots.txt WordPress по умолчанию. На сайте может быть только один файл robots.txt. Поэтому, если вам нужна директива AJAX Allow для вашей темы, вы должны добавить строки выше в файл robots.txt.

Некоторые плагины WordPress для SEO создают за вас файл robots.txt.

Генераторы файлов robots.txt

Я собираюсь перечислить здесь некоторые генераторы файлов robots.txt, но на самом деле большинство из них просто запрещает. Теперь, когда вы знаете, как это сделать самостоятельно, их полезность сомнительна.Но если вы копаетесь, играя с генераторами кода — а кто нет? — Ну вот.

SmallSEOTools
KeySearch
Visio Spark (У этого также есть валидатор внизу страницы.)

Robots.txt полезен

Хотя не все сканеры поисковых систем уважают файл robots.txt, он по-прежнему невероятно полезен для SEO и поддержка сайта. С помощью этого простого файла можно многое сделать, от игнорирования определенных каталогов и страниц до настроек кеша браузера.

Полное руководство по SEO (включая примеры)

  Sitemap: [URL-адрес файла Sitemap]

User-agent: [идентификатор бота]
[директива 1]
[директива 2]
[директива ...]

User-agent: [другой идентификатор бота]
[директива 1]
[директива 2]
[директива...]  

  Агент пользователя: *
Запретить: /

Пользовательский агент: DuckDuckBot
Разрешить: /  

  Пользовательский агент: GoogleBot
Запрещение: / wiki  

  Агент пользователя: *
Запретить: / blog
Разрешить: / blog / allowable-post  

  Карта сайта: https://www.website.com/sitemap.xml

Пользовательский агент: *
Запретить: / wiki /
Разрешить: / wike / article-title /  

  Карта сайта: http: // website.ru / post-sitemap.xml
Карта сайта: http://website.com/page-sitemap.xml

Пользовательский агент: *
Запретить: / wiki /
Разрешить: / wike / article-title /  

  # Не разрешать доступ к каталогу / wp-admin / для всех роботов.
Пользовательский агент: *
Запретить: / wp-admin /  

  User-agent: * # Применимо ко всем роботам
Disallow: / wp-admin / # Не разрешать доступ к каталогу / wp-admin /. 

  Пользовательский агент: BingBot
Разрешить: / виджеты /
Задержка сканирования: 5  

  Агент пользователя: * Disallow: / folder / Disallow: / another-folder /  

  Агент пользователя: *
Запретить: / папка /
Запретить: / другая-папка /  

  Агент пользователя: *
Disallow: / about /
Разрешить: / about / company /  

  Агент пользователя: *
Disallow: / продукты / часы?
Disallow: / товары / сумки?
Disallow: / товары / обувь?  

  Агент пользователя: *
Disallow: / products / *?  

  Агент пользователя: *
Запретить: / *.док $  

  Агент пользователя: *
Disallow:  

  Агент пользователя: *
Disallow: /  

  Агент пользователя: *
Запретить: /directory/this-is-a-file.pdf  

  Агент пользователя: *
Запретить: /*.doc$
Запретить: /*.pdf$
Disallow: /*.jpg$  

  Пользовательский агент: Googlebot
Запретить: / admin /
Disallow: / private /  

  Пользовательский агент: Googlebot
Disallow: / *?  

  Агент пользователя: *
Запретить: / категория /
Разрешить: / категория / виджет /  

  Пользовательский агент: *
Разрешить: / wp-content / uploads /
Запретить: / wp-content / plugins /
Запретить: / wp-admin /
Запретить: /readme.html
Запретить: / ссылаться /
Запретить: / tag /
Запретить: / author /
Запрещение: / 404-ошибка /
 
Карта сайта: http://www.example.com/post-sitemap.xml
Карта сайта: http://www.example.com/page-sitemap.xml  

  Агент пользователя: *
Запретить: / wp-admin /
Disallow: / wp-includes /  

  Агент пользователя: *
Разрешать: /
Disallow: / cgi-bin
Запретить: / wp-admin
Disallow: / wp-includes
Запретить: / wp-content / plugins
Запретить: / wp-content / themes  

  Пользовательский агент:
Разрешать:
Запретить:
Карта сайта:
  

  Пользовательский агент: Googlebot
Пользовательский агент: Bingbot
Пользовательский агент: msnbot
User-agent: Яндекс
Пользовательский агент: Slurp
  

  Пользовательский агент: Googlebot
Запретить: / files /
Разрешить: / файлы / альбом.php
  

  Агент пользователя: *
Disallow: /*.pdf$  

  Агент пользователя: *
Disallow: / *?
  

  Агент пользователя: *
Disallow: / 2015 /
  

  Агент пользователя: *
Disallow: / 2015 /
Разрешить: / 2015 / important-file.php
  

  Агент пользователя: *
Запретить: /
  

  Агент пользователя: baiduspider
Запретить: /
  

 https://example.com/robots.txt 

 / home / userna5 / public_html / robots.txt 

 Googlebot

Yahoo!

Slurp bingbot 

 AhrefsBot

Байдуспайдер

Ezooms

MJ12bot

ЯндексБот 

  Агент пользователя:   * 
  Задержка сканирования:   30  

  Агент пользователя:   * 
  Запрещено:  

  Агент пользователя:   * 
  Запрещено:  / 

  Пользовательский агент:   Baiduspider 
  Запрещено:  / 

  Агент пользователя:   * 
  Disallow:   / cgi-bin / 
  Запрещено:   / частный / 
  Disallow:   / tmp /  

  Агент пользователя:   * 
  Disallow:   /contactus.htm 
  Disallow:   /index.htm 
  Запрещено:   /store.htm  

  Агент пользователя:   * 
  Запрещено:   / частный / 
  User-agent:   Googlebot 
  Запрещено: