ROBOTS.TXT. Правильный роботс | Блог Хостинг Украина

Основной синтаксис

User-Agent: робот для которого будут применяться следующие правила (например, «Googlebot»)

Disallow: страницы, к которым вы хотите закрыть доступ (можно указать большой список таких директив с каждой новой строки)

Каждая группа User-Agent / Disallow должны быть разделены пустой строкой. Но, не пустые строки не должны существовать в рамках группы (между User-Agent и последней директивой Disallow).

Символ хэш (#) может быть использован для комментариев в файле robots.txt: для текущей строки всё что после # будет игнорироваться. Данные комментарий может быть использован как для всей строки, так в конце строки после директив.

Каталоги и имена файлов чувствительны к регистру: «catalog», «Catalog» и «CATALOG» – это всё разные директории для поисковых систем.

Host: применяется для указание Яндексу основного зеркала сайта. Поэтому, если вы хотите склеить 2 сайта и делаете постраничный 301 редирект, то для файла robots.txt (на дублирующем сайте) НЕ надо делать редирект, чтобы Яндекс мог видеть данную директиву именно на сайте, который необходимо склеить.

Crawl-delay: можно ограничить скорость обхода вашего сайта, так как если у вашего сайта очень большая посещаемость, то, нагрузка на сервер от различных поисковых роботов может приводить к дополнительным проблемам.

Регулярные выражения: для более гибкой настройки своих директив вы можете использовать 2 символа

* (звездочка) – означает любую последовательность символов

$ (знак доллара) – означает конец строки

Основные примеры использования robots.txt

Запрет на индексацию всего сайта

User-agent: *

Disallow: /

Эту инструкцию важно использовать, когда вы разрабатываете новый сайт и выкладываете доступ к нему, например, через поддомен.

Очень часто разработчики забывают таким образом закрыть от индексации сайт и получаем сразу полную копию сайта в индексе поисковых систем. Если это всё-таки произошло, то надо сделать постраничный 301 редирект на ваш основной домен.

А такая конструкция ПОЗВОЛЯЕТ индексировать весь сайт:

User-agent: *

Disallow:

Запрет на индексацию определенной папки

User-agent: Googlebot

Disallow: /no-index/

Запрет на посещение страницы для определенного робота

User-agent: Googlebot

Disallow: /no-index/this-page.html

Запрет на индексацию файлов определенного типа

User-agent: *

Disallow: /*.pdf$

Разрешить определенному поисковому роботу посещать определенную страницу

User-agent: *

Disallow: /no-bots/block-all-bots-except-rogerbot-page.html

User-agent: Yandex

Allow: /no-bots/block-all-bots-except-Yandex-page.html

Ссылка на Sitemap

User-agent: *

Disallow:

Sitemap: http://www.example.com/none-standard-location/sitemap.xml

Нюансы с использованием данной директивы: если у вас на сайте постоянно добавляется уникальный контент, то

• лучше НЕ добавлять в robots.txt ссылку на вашу карту сайта,

• саму карту сайта сделать с НЕСТАНДАРТНЫМ названием sitemap.xml (например, my-new-sitemap.xml и после этого добавить эту ссылку через «вебмастерсы» поисковых систем),

так как, очень много недобросовестных вебмастеров парсят с чужих сайтов контент и используют для своих проектов.

Шаблон для WordPress 

Allow: /wp-content/themes/*.js 

Allow: /wp-content/themes/*.css 

Allow: /wp-includes/js/*.css Allow: /wp-includes/js/*.js 

Allow: /wp-content/plugins/*.js 

Allow: /wp-content/plugins/*.css 

Шаблон для Joomla 

Allow: /templates/*.css 

Allow: /templates/*.js 

Allow: /templates/*.png 

Allow: /templates/*.gif 

Allow: /templates/*.ttf 

Allow: /templates/*.svg 

Allow: /templates/*.woff 

Allow: /components/*.css 

Allow: /components/*.js 

Allow: /media/*.js Allow: /media/*.css 

Allow: /plugins/*.css Allow: /plugins/*.js 

Шаблон для Bitrix 

Allow: /bitrix/templates/*.js 

Allow: /bitrix/templates/*.png 

Allow: /bitrix/templates/*.jpg 

Allow: /bitrix/templates/*.gif 

Allow: /bitrix/cache/css/*.css 

Allow: /bitrix/cache/js/s1/*.js 

Allow: /upload/iblock/*.jpg 

Allow: /upload/iblock/*.png 

Allow: /upload/iblock/*.gif 

Шаблон для DLE 

Allow: /engine/classes/*.css 

Allow: /engine/classes/*.js 

Allow: /templates/ 

Разобравшись с простым синтаксисом команд для робота, также важно учесть и такие значения мета-тега robots 

Данному мета-тегу можно присвоить четыре варианта значений. 

Атрибут content может содержать следующие значения:

index, noindex, follow, nofollow

Если значений несколько, они разделяются запятыми.

В настоящее время лишь следующие значения важны:

Директива INDEX говорит роботу, что данную страницу можно индексировать.

Директива FOLLOW сообщает роботу, что ему разрешается пройтись по ссылкам, присутствующим на данной странице. Некоторые авторы утверждают, что при отсутствии данных значений, поисковые сервера по умолчанию действуют так, как если бы им даны были директивы INDEX и FOLLOW. 

Итак, глобальные директивы выглядят так:

Индексировать всё = INDEX, FOLLOW

Не индексировать ничего = NOINDEX,NOFLLOW

Примеры мета-тега robots:

Заказывайте хостинг и выбирайте домен в компании «Хостинг Украина». 

У нас качественный и надежный сервис, удобное система управления через админ-панель, интеллектуальные системы защиты и техническая поддержка, которая поможет решить все возникающие вопросы в любое время суток.

Наши цены: SSD хостинг от 1$, VPS на SSD от 12$, Cloud (облачный) хостинг от 3$, облачный VPS от 6$.

Присоединяйтесь к «Хостинг Украина» и мы позаботимся о технической стороне вашего бизнеса.

Директивы Disallow и Allow — Вебмастер. Справка

1. Disallow
2. Allow
3. Совместное использование директив
4. Директивы Allow и Disallow без параметров
5. Использование спецсимволов * и $
6. Примеры интерпретации директив

• страницы с конфиденциальными данными;

• страницы с результатами поиска по сайту;

• статистика посещаемости сайта;

• дубликаты страниц;

• разнообразные логи;

• сервисные страницы баз данных.

User-agent: Yandex
Disallow: / # запрещает обход всего сайта

User-agent: Yandex
Disallow: /catalogue # запрещает обход страниц, адрес которых начинается с /catalogue

User-agent: Yandex
Disallow: /page? # запрещает обход страниц, URL которых содержит параметры

Директива разрешает индексирование разделов или отдельных страниц сайта.

Примеры:

User-agent: Yandex
Allow: /cgi-bin
Disallow: /
# запрещает скачивать все, кроме страниц 
# начинающихся с '/cgi-bin'

User-agent: Yandex
Allow: /file.xml
# разрешает скачивание файла file.xml

Примечание. Недопустимо наличие пустых переводов строки между директивами

Директивы Allow и Disallow из соответствующего User-agent блока сортируются по длине префикса URL (от меньшего к большему) и применяются последовательно. Если для данной страницы сайта подходит несколько директив, то робот выбирает последнюю в порядке появления в сортированном списке. Таким образом, порядок следования директив в файле robots.txt не влияет на использование их роботом.

Примечание. При конфликте между двумя директивами с префиксами одинаковой длины приоритет отдается директиве Allow.

# Исходный robots.txt:
User-agent: Yandex
Allow: /
Allow: /catalog/auto
Disallow: /catalog

# Сортированный robots.txt:
User-agent: Yandex
Allow: /
Disallow: /catalog
Allow: /catalog/auto
# запрещает скачивать страницы, начинающиеся с '/catalog',
# но разрешает скачивать страницы, начинающиеся с '/catalog/auto'.

Общий пример:

User-agent: Yandex
Allow: /archive
Disallow: /
# разрешает все, что содержит '/archive', остальное запрещено

User-agent: Yandex
Allow: /obsolete/private/*.html$ # разрешает html файлы
                                 # по пути '/obsolete/private/...'
Disallow: /*.php$  # запрещает все '*.php' на данном сайте
Disallow: /*/private/ # запрещает все подпути содержащие
                      # '/private/', но Allow выше отменяет
                      # часть запрета
Disallow: /*/old/*.zip$ # запрещает все '*.zip' файлы, содержащие 
                        # в пути '/old/'

User-agent: Yandex
Disallow: /add.php?*user= 
# запрещает все скрипты 'add.php?' с параметром 'user' 

Если директивы не содержат параметры, робот учитывает данные следующим образом:

User-agent: Yandex
Disallow: # то же, что и Allow: /

User-agent: Yandex
Allow: # не учитывается роботом

При указании путей директив Allow и Disallow можно использовать спецсимволы * и $, чтобы задавать определенные регулярные выражения.

Спецсимвол * означает любую (в том числе пустую) последовательность символов. Примеры:

User-agent: Yandex
Disallow: /cgi-bin/*.aspx # запрещает '/cgi-bin/example.aspx'
                          # и '/cgi-bin/private/test.aspx'
Disallow: /*private # запрещает не только '/private',
                    # но и '/cgi-bin/private'

По умолчанию к концу каждого правила, описанного в файле robots.txt, приписывается спецсимвол *. Пример:

User-agent: Yandex
Disallow: /cgi-bin* # блокирует доступ к страницам 
                    # начинающимся с '/cgi-bin'
Disallow: /cgi-bin # то же самое

Чтобы отменить * на конце правила, можно использовать спецсимвол $, например:

User-agent: Yandex
Disallow: /example$ # запрещает '/example', 
                    # но не запрещает '/example.html'

User-agent: Yandex
Disallow: /example # запрещает и '/example', 
                   # и '/example.html'

Спецсимвол $ не запрещает указанный * на конце, то есть:

User-agent: Yandex
Disallow: /example$  # запрещает только '/example'
Disallow: /example*$ # так же, как 'Disallow: /example' 
                     # запрещает и /example.html и /example

User-agent: Yandex 
Allow: /
Disallow: /
# все разрешается

User-agent: Yandex 
Allow: /$
Disallow: /
# запрещено все, кроме главной страницы

User-agent: Yandex
Disallow: /private*html
# запрещается и '/private*html', 
# и '/private/test.html', и '/private/html/test.aspx' и т. п.

User-agent: Yandex
Disallow: /private$
# запрещается только '/private'

User-agent: *
Disallow: /
User-agent: Yandex
Allow: /
# так как робот Яндекса 
# выделяет записи по наличию в строке 'User-agent:', 
# результат — все разрешается

Google убирает из браузера Chrome строку ‘user-agent’ / Блог компании Дата-центр «Миран» / Хабр

User-Agent: Mozilla/5.0 (Linux; Android 9; Pixel 2 XL Build/PPP3.180510.008) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Mobile Safari/537.36

Это делается для защиты приватности, поскольку злоумышленники сейчас активно используют user-agent для фингерпринтинга и профилирования пользователей. Вообще ненормальна ситуация, когда user-agent транслируется всем подряд в автоматическом режиме.

Строка User-Agent впервые появилась в Mosaic, популярном браузере начала 90-х. Тогда браузер отправлял просто строку с названием и версией браузера. Строка выглядела примерно так:

Mosaic/0.9

Поскольку Mosaic и Netscape поддерживали разный набор функций, веб-сайты должны были использовать строку user-agent, чтобы определить тип браузера и избежать использования неподдерживаемых функций (например, фреймы поддерживались только Netscape, но не Mosaic).

В течение многих лет определение версии браузера продолжало играть значительную роль в веб-разработке. Это вызвало неприятные побочные эффекты, когда мелким разработчикам браузеров приходилось имитировать популярные user-agent’ы для корректного отображения веб-сайта, поскольку некоторые компании поддерживали только основные типы user-agent.

С ростом популярности JavaScript большинство разработчиков начали использовать библиотеки вроде Modernizer, которые определяют конкретный список функций HTML, CSS и JavaScript, которые поддерживает конкретный браузер, обеспечивая гораздо более точные результаты, чем user-agent.

В результате основными пользователями user-agent остались представители рекламной индустрии, где компании используют характеристики браузера и операционной системы для фингерпринтинга пользователей, а большинство людей не знает, как противостоять этому, а многие даже не осознают угрозы, которую представляет собой тотальная слежка и пожизненное профилирование каждого человека.

По иронии, Google считается одним из главных нарушителей приватности. Именно эта компания собирает самые подробные профили пользователей, собирая данные из электронной почты, GPS-трекеров, операционной системы Android и десятков своих веб-сервисов.

Более того, именно Google в последнее время чаще всех злоупотребляла user-agent, блокируя доступ к своим сервисам пользователей с альтернативными браузерами. Чтобы открыть эти сервисы, альтернативным браузерам приходилось подделывать строку user-agent и выдавать себя за Chrome. Например, см. список поддельных user-agent для браузера Microsoft Edge, который тоже вынужден выдавать себя за Chrome на десятках сайтов.

Gmail, Google Maps и другие сервисы работают медленнее во всех браузерах, кроме Chrome.

Но бывает, что интересы отдельных разработчиков идут вразрез с интересами работодателя. Возможно, здесь как раз такой случай. Мы и раньше видели, как разработчики Chrome выражали протест некорректными действиями компании, когда она выкатывала сервисы «только для Chrome». Они выражали недовольство в твиттере и во внутренней корпоративной рассылке. Это действительно грамотные специалисты, у которых неадекватные решения руководства Google не могли вызвать ничего, кроме недоумения и фейспалма. Похоже, сейчас пришло время для конкретных действий.

Команда разработчиков браузера Chrome начала поэтапный отказ от user-agent, начиная с версии Chrome 81. Отказ от user-agent значительно затруднит Google некорректные практики по продвижению своего браузера.

Полностью удалить user-agent пока проблематично, поскольку многие сайты ещё полагаются на эту строку, но Chrome больше не будет обновлять версию браузера и укажет одинаковую версию ОС в user-agent для всех устройств.

В частности, со всех мобильных устройств Chrome будет отправлять такую строку:

Mozilla/5.0 (Linux; Android 9; Unspecified Device) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/71.1.2222.33 Mobile Safari/537.36

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.1.2222.33 Safari/537.36

Подробнее о предлагаемой альтернативе Client Hints можно почитать в официальном репозитории Github. Это предложение пока не оформлено в виде стандарта, поэтому точная реализация может измениться к моменту выпуска официальных рекомендаций. Разработчикам рекомендуется следить за изменениями в репозитории, а также за примечаниями, которые публикуются с новыми версиями Chrome.

Главное отличие Client Hints от user-agent в том, что сайты больше не будут пассивно получать информацию о браузере пользователя. Они будут вынуждены активно запрашивать её, а браузер может отказать в таком запросе, примерно так же, как сейчас некоторые браузеры блокируют сторонние куки.

Создайте файл Robots.txt | Центр поиска Google | Разработчики Google

Начало работы

Файл robots.txt находится в корне вашего сайта. Итак, для сайта www.example.com , файл robots.txt находится по адресу www.example.com/robots.txt . robots.txt — это простой текстовый файл, следующий за Стандарт исключения роботов.Файл robots.txt состоит из одного или нескольких правил. Каждое правило блокирует (или разрешает) доступ для данного поискового робота на указанный путь к файлу на этом веб-сайте.

Вот простой файл robots.txt с двумя правилами, описанными ниже:

# Группа 1
Пользовательский агент: Googlebot
Запретить: / nogooglebot /

# Группа 2
Пользовательский агент: *
Позволять: /

Карта сайта: http://www.example.com/sitemap.xml 

Пояснение:

1. Пользовательскому агенту с именем «Googlebot» не разрешено сканировать http: // example.com / nogooglebot / или любые подкаталоги.
2. Всем остальным пользовательским агентам разрешено сканировать весь сайт. Это могло быть пропущено и результат будет таким же; по умолчанию пользовательские агенты могут сканировать весь сайт.
3. Файл карты сайта находится по адресу http://www.example.com/sitemap.xml .

Дополнительные примеры см. В разделе синтаксиса.

Основные принципы robots.txt

Вот несколько основных рекомендаций для файлов robots.txt. Мы рекомендуем вам прочитать полный синтаксис файлов robots.txt, потому что Синтаксис robots.txt имеет некоторые тонкие особенности, которые вам следует понять.

Формат и расположение

Вы можете использовать практически любой текстовый редактор для создания файла robots.txt. Текстовый редактор должен уметь для создания стандартных текстовых файлов UTF-8. Не используйте текстовый процессор; текстовые процессоры часто экономят файлы в проприетарном формате и могут добавлять неожиданные символы, такие как фигурные кавычки, которые может вызвать проблемы для сканеров.

Правила формата и расположения:

• Файл должен называться robots.txt.
• На вашем сайте может быть только один файл robots.txt.
• Файл robots.txt должен находиться в корне хоста веб-сайта, чтобы который применяется. Например, для управления сканированием всех URL-адресов ниже http: // www.example.com/ , файл robots.txt должен находиться по адресу http://www.example.com/robots.txt . Это не может быть помещено в подкаталог (например, http://example.com/pages/robots.txt ). Если ты не знаете, как получить доступ к корню вашего веб-сайта, или вам нужны разрешения для этого, свяжитесь с вашим провайдер хостинг-услуг. Если вы не можете получить доступ к корню вашего сайта, используйте альтернативную блокировку метод, такой как метатеги.
• Роботы.txt может применяться к субдоменам (например, http: // website .example.com / robots.txt ) или на нестандартных порты (например, http://example.com: 8181 /robots.txt ).

Синтаксис

• Файл robots.txt должен быть текстовым файлом в кодировке UTF-8 (включая ASCII). Использование другого персонажа наборы невозможно.
• Файл robots.txt состоит из одной или нескольких групп .
• Каждая группа состоит из нескольких правил или директив (инструкции), по одной директиве на строку.
• Группа предоставляет следующую информацию:
  • Кому относится группа (пользовательский агент )
  • К каким каталогам или файлам может обращаться агент
  • К каким каталогам или файлам агент не может получить доступ
• Группы обрабатываются сверху вниз, и пользовательский агент может соответствовать только одному набору правил, который это первое, наиболее конкретное правило, которое соответствует данному пользовательскому агенту.
• Предположение по умолчанию состоит в том, что пользовательский агент может сканировать любую страницу или каталог. не заблокирован правилом Disallow: .
• Правила чувствительны к регистру . Например, Disallow: /file.asp применяется к http://www.example.com/file.asp , но не http://www.example.com/FILE.asp .
• Комментарии — это любое содержимое после отметки # .

В файлах robots.txt используются следующие директивы:

• Пользовательский агент: [ Обязательно, по одному или нескольким на группу ] директива определяет имя автоматического клиента, известного как сканер поисковой системы, который правило применяется к. Это первая строка для любой группы правил. Имена пользовательских агентов Google: перечисленные в Список пользовательских агентов Google. Использование звездочки ( * ), как в примере ниже, будет соответствовать всем поисковым роботам. , за исключением различных поисковых роботов AdsBot , которые должны иметь явное имя. Примеры:

  # Пример 1. Заблокировать только Googlebot
  Пользовательский агент: Googlebot
  Запретить: /
  
  # Пример 2. Блокировка роботов Googlebot и Adsbot
  Пользовательский агент: Googlebot
  Пользовательский агент: AdsBot-Google
  Запретить: /
  
  # Пример 3. Блокировка всех сканеров, кроме AdsBot
  Пользовательский агент: *
  Disallow: / 

• Disallow: [ Как минимум один или несколько Disallow или Разрешить записей в правиле ] Каталог или страница относительно корневого домена, что вы не хотите, чтобы пользовательский агент сканировал.Если правило относится к странице, это должен быть полное имя страницы, как показано в браузере; если он относится к каталогу, он должен заканчиваться Марка /.
• Разрешить: [ Как минимум один или несколько Запретить или Разрешить записей в правиле ] Каталог или страница относительно корневого домена, которые могут сканироваться только что упомянутым пользовательским агентом. Это используется для отмены Disallow Директива , разрешающая сканирование подкаталога или страницы в запрещенном каталог.Для одной страницы полное имя страницы, отображаемое в браузере, должно быть указано. В случае каталога правило должно заканчиваться отметкой /.
• Карта сайта: [ Необязательно, ноль или более на файл ] расположение карты сайта для этого веб-сайта. URL-адрес карты сайта должен быть полным URL-адресом; Google не предполагает и не проверяет альтернативы http / https / www.non-www. Файлы Sitemap — хороший способ указать, какой контент Google должен сканировать , а не какой контент может или не может сканировать .Узнайте больше о файлах Sitemap. Пример:

  Карта сайта: https://example.com/sitemap.xml
  Карта сайта: http://www.example.com/sitemap.xml 

Все директивы, кроме карты сайта , поддерживают подстановочный знак * для пути префикс, суффикс или целая строка.

Строки, не соответствующие ни одной из этих директив, игнорируются.

Другой пример файла

Файл robots.txt состоит из одной или нескольких групп, каждая из которых начинается с User-agent строка, указывающая цель групп.Вот файл с двумя группы; встроенные комментарии объясняют каждую группу:

# Заблокировать googlebot из example.com/directory1 / ... и example.com/directory2 / ...
# но разрешить доступ к directory2 / subdirectory1 / ...
# Все остальные каталоги на сайте разрешены по умолчанию.
Пользовательский агент: googlebot
Запретить: / directory1 /
Запретить: / каталог2 /
Разрешить: / каталог2 / подкаталог1 /

# Блокировать весь сайт от другого сканера.
Пользовательский агент: anothercrawler
Disallow: / 

Полный синтаксис robots.txt

Вы можете найти полные robots.txt здесь. Пожалуйста, прочтите полную документацию, так как в синтаксисе robots.txt есть несколько сложных частей, которые важно узнать.

Полезные правила robots.txt

Вот несколько общих полезных правил robots.txt:

Пользовательский агент: *
Disallow: / 

Пользовательский агент: *
Запретить: / календарь /
Disallow: / junk / 

User-agent: Googlebot-news
Позволять: /

Пользовательский агент: *
Disallow: / 

Пользовательский агент: Ненужный бот
Запретить: /

Пользовательский агент: *
Разрешить: / 

Пользовательский агент: *
Запретить: / частный_файл.HTML 

Пользовательский агент: Googlebot-Image
Запретить: /images/dogs.jpg 

Пользовательский агент: Googlebot-Image
Disallow: / 

Пользовательский агент: Googlebot
Disallow: /*.gif$ 

Пользовательский агент: *
Запретить: /

Пользовательский агент: Mediapartners-Google
Разрешить: / 

Пользовательский агент: Googlebot
Запретить: /*.xls$
 

Роботы.txt Технические характеристики | Центр поиска | Разработчики Google

Аннотация

В этом документе подробно описано, как Google обрабатывает файл robots.txt, который позволяет вы можете контролировать, как сканеры веб-сайтов Google сканируют и индексируют общедоступные веб-сайты.

Что изменилось

1 июля 2019 года Google объявил, что Протокол robots.txt работая над становится стандартом Интернета. Эти изменения отражены в этом документе.

Список изменений

Вот что изменилось:

• В этом документе удален раздел «Язык требований», так как язык Конкретный Интернет-проект.
• Robots.txt теперь принимает все На основе URI протоколы.
• Google выполняет как минимум пять переадресаций. Поскольку еще не было загружено правил, перенаправления выполняются как минимум для пяти переходов, а если нет, то robots.txt найден, гугл лечит это как 404 для robots.txt. Обработка логических перенаправлений для файла robots.txt на основе содержимого HTML, которое возвращает 2xx (кадры, JavaScript или мета-тип обновления перенаправления) не рекомендуется, и содержимое первой страницы используется для поиска применимых правила.
• Для 5xx, если robots.txt недоступен более 30 дней, последняя кэшированная копия используется файл robots.txt или, если он недоступен, Google предполагает, что сканирование отсутствует. ограничения.
• Google рассматривает неудачные запросы или неполные данные как ошибку сервера.
• «Записи» теперь называются «линиями» или «правилами», соответственно.
• Google не поддерживает обработку элементов с помощью простых ошибки или опечатки (например, «useragent» вместо «user-agent»).
• Google в настоящее время применяет ограничение на размер в 500 кибибайт (KiB) и игнорирует содержимое после этого ограничения.
• Обновлен формальный синтаксис, чтобы он стал действительным. Расширенная форма Бэкуса-Наура (ABNF) в соответствии с RFC5234 и покрыть для символов UTF-8 в файле robots.txt.
• Обновлено определение «группы», чтобы сделать его короче и точнее. Добавил пример для пустой группы.
• Удалены ссылки на устаревшую схему сканирования Ajax.

Основные определения

Применяемость

Руководства, изложенные в этом документе, соблюдаются всеми автоматизированными сканеры в Google. Когда агент обращается к URL-адресам от имени пользователя (например, для перевода, каналов с ручной подпиской, вредоносных программ анализ), эти рекомендации применять не нужно.

Местоположение файла и срок действия

Файл robots.txt должен находиться в каталоге верхнего уровня хоста, доступны через соответствующий протокол и номер порта. Общепринятые протоколы для Все robots.txt основаны на URI, и в частности для поиска Google (например, сканирование веб-сайтов) это «http» и https. По HTTP и HTTPS файл robots.txt извлекается с помощью HTTP безусловного GET. запрос.

Только для Google: Google также принимает роботов и следит за ними.txt файлы для FTP-сайтов. Доступ к файлам robots.txt на основе FTP осуществляется через Протокол FTP с использованием анонимного входа в систему.

Директивы, перечисленные в файле robots.txt, применяются только к хост, протокол и номер порта, на котором размещен файл.

Примеры действительных URL-адресов robots.txt

Обработка кодов результатов HTTP

Обычно существует три разных результата, когда файлы robots.txt извлечены:

• full allow: все содержимое можно сканировать.
• full disallow: сканирование контента невозможно.
• условное разрешение: директивы в robots.txt определяют возможность сканировать определенный контент.

Формат файла

Ожидаемый формат файла — простой текст, закодированный в UTF-8. Файл состоит из строк, разделенных CR, CR / LF или LF.

Учитываются только действительные строки; все остальное содержимое игнорируется. Например, если полученный документ представляет собой HTML-страницу, только допустимый текст линии учитываются, остальные отбрасываются без предупреждение или ошибка.

Если используется кодировка символов, в результате которой используются символы которые не являются подмножеством UTF-8, это может привести к тому, что содержимое файл анализируется неправильно.

необязательный Unicode Спецификация (байт знак заказа) в начале файла robots.txt игнорируется.

Каждая допустимая строка состоит из поля, двоеточия и значения. Пространства необязательно (но рекомендуется для улучшения читаемости). Комментарии могут быть включается в любое место в файле с помощью символа «#»; все содержимое после начала комментария до конца строки рассматривается как комментарий и игнорируется.Общий формат <поле>: <значение> <# необязательный-комментарий> . Пробел в начале и в конце строки игнорируется.

В элементе регистр не учитывается. <Значение> элемент может быть чувствительным к регистру, в зависимости от элемент.

Обработка элементов с простыми ошибками или опечатками (например, useragent вместо user-agent) не поддерживается.

Для каждого поискового робота может быть установлен максимальный размер файла.Контент после максимальный размер файла игнорируется. В настоящее время Google устанавливает размер лимит в 500 кибибайт (KiB). Чтобы уменьшить размер файла robots.txt, объедините директивы, которые приведут к слишком большой файл robots.txt. Например, поместите исключенный материал в отдельный каталог.

Формальный синтаксис / определение

Вот описание расширенной формы Бэкуса-Наура (ABNF), как описано в RFC 5234

robotstxt = * (группа / пустая строка)
group = startgroupline; Начнем с пользовательского агента
        * (начальная линия / пустая строка); ... и, возможно, больше пользовательских агентов
        * (правило / пустая строка); соблюдаются правила, относящиеся к UA


startgroupline = * WS "агент пользователя" * WS ":" * токен продукта WS EOL

rule = * WS ("разрешить" / "запретить") * WS ":" * WS (шаблон-путь / шаблон-пустой) EOL

; разработчики парсеров: добавьте необходимые вам дополнительные строки (например, карты сайта) и
; будьте снисходительны при чтении несоответствующих строк. Примените закон Постела.

product-token = идентификатор / "*"
путь-шаблон = "/" * (UTF8-char-noctl); действительный шаблон пути URI; см. 3.2.2
пустой шаблон = * WS

идентификатор = 1 * (% x2d /% x41-5a /% x5f /% x61-7a)
комментарий = "#" * (UTF8-char-noctl / WS / "#")
emptyline = EOL
EOL = * WS [комментарий] NL; конец строки может иметь необязательный завершающий комментарий
NL =% x0D /% x0A /% x0D.0A
WS =% x20 /% x09

; UTF8, полученный из RFC3629, но исключая управляющие символы
UTF8-char-noctl = UTF8-1-noctl / UTF8-2 / UTF8-3 / UTF8-4
UTF8-1-noctl =% x21 /% x22 /% x24-7F; без контроля, пробел, '#'
UTF8-2 =% xC2-DF UTF8-хвост
UTF8-3 =% xE0% xA0-BF UTF8-tail /% xE1-EC 2 (UTF8-tail) /
                  % xED% x80-9F UTF8-хвост /% xEE-EF 2 (UTF8-хвост)
UTF8-4 =% xF0% x90-BF 2 (UTF8-хвост) /% xF1-F3 3 (UTF8-хвост) /
                  % xF4% x80-8F 2 (UTF8-хвост)
UTF8-tail =% x80-BF
 

Группировка строк и правила

Одна или несколько строк user-agent , за которыми следуют одно или несколько правил.Группа закрывается user-agent строка или конец файла. Последняя группа может не иметь правил, что означает, что она неявно разрешает все.

Примеры групп:

пользовательский агент: a
запретить: / c

пользовательский агент: b
запретить: / d

пользовательский агент: e
пользовательский агент: f
запретить: / г

пользовательский агент: h
 

Определены четыре отдельные группы:

• Одна группа для «а»
• Одна группа для «б»
• Одна группа для «e» и «f»
• Одна группа для «h»

За исключением последней группы (группа «h»), каждая группа имеет свою собственную строку «член группы».Последний группа (группа «h») пуста. Обратите внимание на необязательное использование пробелов и пустых строк для улучшения читаемость.

Порядок приоритета для пользовательских агентов

Для конкретного поискового робота действительна только одна группа. Сканер должен определить правильную группу строк, найдя группу с наиболее подходящим пользовательским агентом. Все остальные поисковый робот игнорирует группы. Пользовательский агент чувствителен к регистру. Весь несоответствующий текст игнорируются (например, googlebot / 1.2 и googlebot * эквивалентно googlebot ). Порядок групп в файле robots.txt не имеет значения.

Если для определенного пользовательского агента объявлено несколько групп, все правила из групп применимые к конкретному пользовательскому агенту, объединяются в одну группу.

Примеры

Пример 1

Предполагается, что следующий файл robots.txt:

      пользовательский агент: googlebot-news
      (группа 1)

      пользовательский агент: *
      (группа 2)

      пользовательский агент: googlebot
      (группа 3)
     

Вот как поисковые роботы выбирают соответствующую группу:

Пример 2

Предполагая, что следующие robots.txt файл:

      пользовательский агент: googlebot-news
      запретить: / рыба

      пользовательский агент: *
      запретить: / морковь

      пользовательский агент: googlebot-news
      запретить: / креветка
     

Вот как сканеры объединяют группы, относящиеся к определенному пользовательскому агенту:

      пользовательский агент: googlebot-news
      запретить: / рыба
      запретить: / креветка

      пользовательский агент: *
      запретить: / морковь
     

См. Также поисковые роботы Google и строки пользовательского агента.

Правила для участников группы

Только стандартные правила для членов группы охватываются эта секция. Эти правила также называются «директивами» для краулеры. Эти директивы указаны в форме директивы : [путь] , где [путь] не является обязательным. По умолчанию ограничений нет для сканирования для определенных поисковых роботов. Директивы без [путь] игнорируются.

Значение [путь] , если указано, следует рассматривать относительно корня веб-сайт, для которого используется файл robots.txt был получен (используя тот же протокол, номер порта, имя хоста и домена). Значение пути должно начинаться с «/» для обозначения корня. Путь чувствителен к регистру. Более информацию можно найти в разделе «Соответствие URL по пути значения »ниже.

запретить

Директива disallow указывает пути, которые не должны быть доступ к ним назначенные сканеры. Если путь не указан, директива игнорируется.

использование:

запретить: [путь]
 

позволяют

Директива allow указывает пути, к которым может получить доступ назначенные сканеры.Если путь не указан, директива игнорируется.

использование:

разрешить: [путь]
 

Соответствие URL на основе значений пути

Значение пути используется в качестве основы для определения того, является ли правило применяется к определенному URL-адресу на сайте. За исключением подстановочных знаков, путь используется для соответствия началу URL-адреса (и любым действительным URL-адресам, начать с того же пути). Не 7-битные символы ASCII в пути могут быть включены как символы UTF-8 или как закодированные в кодировке UTF-8 с процентным экранированием символов на RFC 3986.

Google, Bing и другие основные поисковые системы поддерживают ограниченную форму «подстановочных знаков» для значения пути. Это:

• * обозначает 0 или более экземпляров любого допустимого символа.
• $ обозначает конец URL-адреса.

Поддерживаемые Google линии, не входящие в группу

Google, Bing и другие основные поисковые системы поддерживают карту сайта , поскольку определяется картами сайта.орг.

использование:

карта сайта: [absoluteURL] 

Строка [absoluteURL] указывает на расположение карты сайта или индекса карты сайта. файл. Это должен быть полный URL-адрес, включая протокол и хост, и не обязательно быть URL-кодированными. URL-адрес не обязательно должен находиться на том же хосте, что и файл robots.txt. Несколько карта сайта Может существовать записей. Как линии, не входящие в группу, это не привязан к каким-либо конкретным пользовательским агентам и может отслеживаться всеми поисковыми роботами, если это не запрещено.

Пример

пользовательский агент: otherbot
запретить: / капуста

карта сайта: https://example.com/sitemap.xml
карта сайта: https://cdn.example.org/other-sitemap.xml
карта сайта: https://ja.example.org/ テ ス ト - サ イ ト マ ッ プ .xml 

Порядок старшинства строк членов группы

На уровне членов группы, в частности для , разрешить и запретить директив, наиболее конкретное правило, основанное на длина записи [путь] превосходит менее конкретное (более короткое) правило.В случае противоречивых правил, в том числе с подстановочными знаками, используется наименее ограничивающее правило.

Роботы-испытатели.txt разметка

Google предлагает два варианта тестирования разметки robots.txt:

1. robots.txt Тестер в Search Console.
2. Google с открытым исходным кодом Библиотека robots.txt, которая также используется в поиске Google.

Файл Robots.txt [Примеры 2021] — Moz

Что такое файл robots.txt?

Robots.txt — это текстовый файл, который веб-мастера создают, чтобы проинструктировать веб-роботов (обычно роботов поисковых систем), как сканировать страницы на своем веб-сайте.Файл robots.txt является частью протокола исключения роботов (REP), группы веб-стандартов, которые регулируют, как роботы сканируют Интернет, получают доступ и индексируют контент, а также предоставляют этот контент пользователям. REP также включает в себя такие директивы, как мета-роботы, а также инструкции для страницы, подкаталога или сайта о том, как поисковые системы должны обрабатывать ссылки (например, «следовать» или «nofollow»).

На практике файлы robots.txt показывают, могут ли определенные пользовательские агенты (программное обеспечение для веб-сканирования) сканировать части веб-сайта.Эти инструкции сканирования определяются как «запрещающие» или «разрешающие» поведение определенных (или всех) пользовательских агентов.

 User-agent: [user-agent name] Disallow: [URL-строка не должна сканироваться] 

Вместе эти две строки считаются полным файлом robots.txt, хотя один файл robots может содержат несколько строк пользовательских агентов и директив (например, запрещает, разрешает, задерживает сканирование и т. д.).

В файле robots.txt каждый набор директив пользовательского агента отображается как дискретный набор , разделенных разрывом строки:

В файле robots.txt с несколькими директивами пользовательского агента, каждое запрещающее или разрешающее правило , только применяется к агенту (агентам), указанным в этом конкретном наборе, разделенном разрывом строки. Если файл содержит правило, которое применяется более чем к одному пользовательскому агенту, поисковый робот только обратит внимание (и будет следовать директивам в) наиболее конкретной группе инструкций .

Вот пример:

Msnbot, discobot и Slurp вызываются специально, поэтому эти пользовательские агенты будут только обращать внимание на директивы в своих разделах роботов.txt файл. Все остальные пользовательские агенты будут следовать директивам в группе user-agent: *.

Пример robots.txt:

Вот несколько примеров использования robots.txt для сайта www.example.com:

 User-agent: * Disallow: / 

Использование этого синтаксиса в файле robots.txt укажет всем поисковым роботам не сканировать никакие страницы www.example.com, включая домашнюю страницу.

 User-agent: * Disallow: 

Использование этого синтаксиса в файле robots.txt указывает поисковым роботам сканировать все страницы на www.example.com, включая домашнюю страницу.

 User-agent: Googlebot Disallow: / example-subfolder / 

Этот синтаксис предписывает только поисковому роботу Google (имя агента пользователя Googlebot) не сканировать страницы, которые содержат строку URL-адреса www.example.com/example-subfolder/.

 User-agent: Bingbot Disallow: /example-subfolder/blocked-page.html 

Этот синтаксис сообщает только сканеру Bing (имя пользовательского агента Bing) избегать сканирование конкретной страницы по адресу www.example.com/example-subfolder/blocked-page.html.

Как работает robots.txt?

У поисковых систем есть две основные задачи:

1. Сканирование Интернета для обнаружения контента;
2. Индексирование этого контента, чтобы его могли обслуживать искатели, ищущие информацию.

Чтобы сканировать сайты, поисковые системы переходят по ссылкам с одного сайта на другой — в конечном итоге просматривая многие миллиарды ссылок и веб-сайтов. Такое ползание иногда называют «пауками».

После перехода на веб-сайт, но перед его сканированием поисковый робот будет искать файл robots.txt. Если он найдет его, сканер сначала прочитает этот файл, прежде чем продолжить просмотр страницы. Поскольку файл robots.txt содержит информацию о , как должна сканировать поисковая система, найденная там информация будет указывать дальнейшие действия сканера на этом конкретном сайте.Если файл robots.txt не содержит , а не директив, запрещающих действия агента пользователя (или если на сайте нет файла robots.txt), он продолжит сканирование другой информации на сайте.

Другой быстрый файл robots.txt, который необходимо знать:

(более подробно обсуждается ниже)

• Чтобы его можно было найти, файл robots.txt должен быть помещен в каталог верхнего уровня веб-сайта.

• Robots.txt чувствителен к регистру: файл должен иметь имя «robots.txt »(не Robots.txt, robots.TXT и т. д.).

• Некоторые пользовательские агенты (роботы) могут игнорировать ваш файл robots.txt. Это особенно характерно для более гнусных поисковых роботов, таких как вредоносные роботы или парсеры адресов электронной почты.

• Файл /robots.txt является общедоступным: просто добавьте /robots.txt в конец любого корневого домена, чтобы увидеть директивы этого веб-сайта (если на этом сайте есть файл robots.txt!). Это означает, что любой может видеть, какие страницы вы хотите или не хотите сканировать, поэтому не используйте их для сокрытия личной информации пользователя.

• Каждый субдомен в корневом домене использует отдельные файлы robots.txt. Это означает, что и blog.example.com, и example.com должны иметь свои собственные файлы robots.txt (по адресу blog.example.com/robots.txt и example.com/robots.txt).

• Обычно рекомендуется указывать расположение любых карт сайта, связанных с этим доменом, в нижней части файла robots.txt. Вот пример:

Технический синтаксис robots.txt

Robots.txt можно рассматривать как «язык» файлов robots.txt. Есть пять общих терминов, которые вы, вероятно, встретите в файле robots. К ним относятся:

• User-agent: Конкретный поисковый робот, которому вы даете инструкции для сканирования (обычно это поисковая система). Список большинства пользовательских агентов можно найти здесь.

• Disallow: Команда, используемая для указания агенту пользователя не сканировать определенный URL. Для каждого URL разрешена только одна строка «Disallow:».

• Разрешить (применимо только для робота Googlebot): команда, сообщающая роботу Googlebot, что он может получить доступ к странице или подпапке, даже если его родительская страница или подпапка могут быть запрещены.

• Crawl-delay: Сколько секунд сканер должен ждать перед загрузкой и сканированием содержимого страницы. Обратите внимание, что робот Googlebot не подтверждает эту команду, но скорость сканирования можно установить в консоли поиска Google.

• Карта сайта: Используется для вызова местоположения любых XML-файлов Sitemap, связанных с этим URL.Обратите внимание, что эта команда поддерживается только Google, Ask, Bing и Yahoo.

Сопоставление с шаблоном

Когда дело доходит до фактических URL-адресов, которые нужно заблокировать или разрешить, файлы robots.txt могут стать довольно сложными, поскольку они позволяют использовать сопоставление с образцом для охвата диапазона возможных вариантов URL. И Google, и Bing соблюдают два регулярных выражения, которые можно использовать для идентификации страниц или подпапок, которые SEO хочет исключить. Эти два символа — звездочка (*) и знак доллара ($).

• * — это подстановочный знак, который представляет любую последовательность символов.
• $ соответствует концу URL-адреса

. Google предлагает здесь большой список возможных синтаксисов и примеров сопоставления с образцом.

Где находится файл robots.txt на сайте?

Когда бы они ни заходили на сайт, поисковые системы и другие роботы, сканирующие Интернет (например, сканер Facebook Facebot), знают, что нужно искать файл robots.txt. Но они будут искать этот файл в только в одном конкретном месте : в главном каталоге (обычно это корневой домен или домашняя страница). Если пользовательский агент посещает www.example.com/robots.txt и не находит там файла роботов, он будет считать, что на сайте его нет, и продолжит сканирование всего на странице (и, возможно, даже на всем сайте. ).Даже если бы страница robots.txt действительно существовала , скажем, по адресу example.com/index/robots.txt или www.example.com/homepage/robots.txt, она не была бы обнаружена пользовательскими агентами и, следовательно, сайт обрабатываться так, как если бы в нем вообще не было файла robots.

Чтобы гарантировать, что ваш файл robots.txt найден, всегда включает его в свой основной каталог или корневой домен.

Зачем нужен robots.txt?

Файлы Robots.txt управляют доступом поискового робота к определенным областям вашего сайта.Хотя это может быть очень опасным, если вы случайно запретите роботу Google сканировать весь ваш сайт (!!), в некоторых ситуациях файл robots.txt может оказаться очень полезным.

Некоторые распространенные варианты использования включают:

• Предотвращение появления дублированного контента в результатах поиска (обратите внимание, что мета-роботы часто являются лучшим выбором для этого)
• Сохранение конфиденциальности целых разделов веб-сайта (например, промежуточного сайта вашей группы инженеров)
• Предотвращение показа страниц результатов внутреннего поиска в общедоступной поисковой выдаче
• Указание местоположения карты (карт) сайта
• Предотвращение индексации определенных файлов на вашем веб-сайте поисковыми системами (изображений, PDF-файлов и т. Д.))
• Указание задержки сканирования для предотвращения перегрузки серверов, когда сканеры загружают сразу несколько частей контента

Если на вашем сайте нет областей, к которым вы хотите контролировать доступ агента пользователя, вы не можете вообще нужен файл robots.txt.

Проверка наличия файла robots.txt

Не уверены, есть ли у вас файл robots.txt? Просто введите свой корневой домен, а затем добавьте /robots.txt в конец URL-адреса. Например, файл роботов Moz находится по адресу moz.ru / robots.txt.

Если страница .txt не отображается, значит, у вас нет (активной) страницы robots.txt.

Как создать файл robots.txt

Если вы обнаружили, что у вас нет файла robots.txt или вы хотите изменить свой, создание его — простой процесс. В этой статье от Google рассматривается процесс создания файла robots.txt, и этот инструмент позволяет вам проверить, правильно ли настроен ваш файл.

Хотите попрактиковаться в создании файлов роботов? В этом сообщении блога рассматриваются некоторые интерактивные примеры.

Лучшие методы SEO

• Убедитесь, что вы не блокируете какой-либо контент или разделы своего веб-сайта, которые нужно просканировать.

• Ссылки на страницах, заблокированных файлом robots.txt, переходить не будут. Это означает 1.) Если на них также не ссылаются другие страницы, доступные для поисковых систем (т. Е. Страницы, не заблокированные через robots.txt, мета-роботы или иным образом), связанные ресурсы не будут сканироваться и не могут быть проиндексированы. 2.) Никакой ссылочный капитал не может быть передан с заблокированной страницы на место назначения ссылки.Если у вас есть страницы, на которые вы хотите передать средства, используйте другой механизм блокировки, отличный от robots.txt.

• Не используйте robots.txt для предотвращения появления конфиденциальных данных (например, личной информации пользователя) в результатах поисковой выдачи. Поскольку другие страницы могут напрямую ссылаться на страницу, содержащую личную информацию (таким образом, в обход директив robots.txt в вашем корневом домене или домашней странице), она все равно может быть проиндексирована. Если вы хотите заблокировать свою страницу из результатов поиска, используйте другой метод, например защиту паролем или метадирективу noindex.

• Некоторые поисковые системы имеют несколько пользовательских агентов. Например, Google использует Googlebot для обычного поиска и Googlebot-Image для поиска изображений. Большинство пользовательских агентов из одной и той же поисковой системы следуют одним и тем же правилам, поэтому нет необходимости указывать директивы для каждого из нескольких сканеров поисковой системы, но возможность делать это позволяет вам точно настроить способ сканирования содержания вашего сайта.

• Поисковая машина кэширует содержимое robots.txt, но обычно обновляет кэшированное содержимое не реже одного раза в день.Если вы изменили файл и хотите обновить его быстрее, чем это происходит, вы можете отправить свой URL-адрес robots.txt в Google.

Robots.txt vs meta robots vs x-robots

Так много роботов! В чем разница между этими тремя типами инструкций для роботов? Во-первых, robots.txt — это фактический текстовый файл, тогда как meta и x-robots — это метадирективы. Помимо того, чем они являются на самом деле, все три выполняют разные функции. Файл robots.txt определяет поведение сканирования сайта или всего каталога, тогда как мета и x-роботы могут определять поведение индексации на уровне отдельной страницы (или элемента страницы).

Продолжайте учиться

Используйте свои навыки

Moz Pro может определить, блокирует ли ваш файл robots.txt доступ к вашему веб-сайту. Попробуйте >>

Создайте лучший с помощью этого руководства на 2021 год

Robots.txt вкратце

Файл robots.txt содержит директивы для поисковых систем. Вы можете использовать его, чтобы запретить поисковым системам сканировать определенные части вашего веб-сайта и давать поисковым системам полезные советы о том, как они могут лучше всего сканировать ваш веб-сайт.Файл robots.txt играет большую роль в SEO.

При внедрении robots.txt помните о следующих передовых методах:

• Будьте осторожны при внесении изменений в свой robots.txt: этот файл может сделать большие части вашего веб-сайта недоступными для поисковых систем.
• Файл robots.txt должен находиться в корне вашего веб-сайта (например, http://www.example.com/robots.txt ).
• Файл robots.txt действителен только для всего домена, в котором он находится, включая протокол ( http или https ).
• Разные поисковые системы по-разному интерпретируют директивы. По умолчанию всегда побеждает первая соответствующая директива. Но с Google и Bing побеждает специфика.
• По возможности избегайте использования директивы задержки сканирования для поисковых систем.

Что такое файл robots.txt?

Файл robots.txt сообщает поисковым системам, каковы правила взаимодействия с вашим сайтом. Большая часть SEO — это отправка правильных сигналов поисковым системам и роботам.txt — это один из способов сообщить поисковым системам о ваших предпочтениях сканирования.

В 2019 году мы наблюдали некоторые изменения, связанные со стандартом robots.txt: Google предложила расширение для протокола исключения роботов и открыла исходный код своего парсера robots.txt.

TL; DR

• Интерпретатор Google robots.txt довольно гибкий и на удивление снисходительный.
• В случае возникновения путаницы в директивах Google перестраховывается и предполагает, что разделы должны быть ограничены, а не неограничены.

  Агент пользователя: *
Disallow: / wp-admin /  

  Агент пользователя: *
Запретить: / wp-admin /  

  Агент пользователя: *
Разрешить: /media/terms-and-conditions.pdf
Disallow: / media /  

  Агент пользователя: *
Разрешить: / каталог
Disallow: * .html  

  Агент пользователя: * Disallow: / directory-1 / Disallow: / directory-2 / Disallow: / directory-3/ 

  Агент пользователя: *
Запретить: *?  

  Агент пользователя: *
Disallow: * .php $  

  Агент пользователя: *
Запретить: / wp-admin /
Карта сайта: https://www.example.com/sitemap1.xml
Карта сайта: https://www.example.com/sitemap2.xml  

  Агент пользователя: *
Запретить: / wp-admin /

Карта сайта: https: // www.example.com/sitemap_index.xml  

  # Не разрешать доступ к каталогу / wp-admin / для всех роботов.
Пользовательский агент: *
Disallow: / wp-admin /  

  User-agent: * # Применимо ко всем роботам
Disallow: / wp-admin / # Не разрешать доступ к каталогу / wp-admin /.  

  Пользовательский агент: BingBot
Disallow: / private /
Задержка сканирования: 10  

  Агент пользователя: *
Разрешить: / about / company /
Disallow: / about /  

  Агент пользователя: *
Disallow: / about /
Разрешить: / about / company /  

  Агент пользователя: *
Disallow: / directory  

  Агент пользователя: *
Disallow: / secret /
Запретить: / test /
Запретить: / еще не запущено /

Пользовательский агент: googlebot
Disallow: / not-loaded-yet /  

  Агент пользователя: *
Disallow: / secret /
Запретить: / test /
Запретить: / еще не запущено /

Пользовательский агент: googlebot
Disallow: / secret /
Запретить: / not-launch-yet /  

  Агент пользователя: *
Disallow: /  

  Агент пользователя: *
Disallow: /  

  Пользовательский агент: googlebot
Disallow: /  

  Пользовательский агент: googlebot
Запретить: /

Пользовательский агент: googlebot-news
Disallow:  

  Агент пользователя: Slurp
Пользовательский агент: googlebot
Disallow: /  

  Агент пользователя: *
Запретить: / admin /
Disallow: / private /  

  Агент пользователя: *
Запретить: / каталог / some-pdf.pdf  

  Пользовательский агент: googlebot
Запретить: / admin /

Пользовательский агент: Slurp
Disallow: / private /  

  Агент пользователя: *
Запретить: / wp-admin / # заблокировать доступ к разделу администратора
Запретить: /wp-login.php # заблокировать доступ в админку
Запретить: / search / # заблокировать доступ к страницам результатов внутреннего поиска
Запретить: *? S = * # заблокировать доступ к страницам результатов внутреннего поиска
Disallow: *? P = * # заблокировать доступ к страницам, для которых постоянные ссылки не работают
Disallow: * & p = * # заблокировать доступ к страницам, для которых постоянные ссылки не работают
Запретить: * & preview = * # заблокировать доступ к страницам предварительного просмотра
Запретить: / tag / # заблокировать доступ к страницам тегов
Запретить: / author / # заблокировать доступ к страницам авторов
Запретить: / 404-ошибка / # заблокировать доступ к странице 404

Карта сайта: https: // www.example.com/sitemap_index.xml  

  Агент пользователя: *
Запретить: / catalogsearch /
Запретить: / поиск /
Запретить: / клиент / аккаунт / логин /
Запретить: / *? SID =
Запретить: / *? PHPSESSID =
Disallow: / *? Price =
Disallow: / * & price =
Запретить: / *? Color =
Запретить: / * & color =
Disallow: / *? Material =
Запретить: / * & материал =
Запретить: / *? Size =
Запретить: / * & size =

Карта сайта: https://www.example.com/sitemap_index.xml  

 User-agent: * 
 Disallow: / 
 User-agent: Googlebot 
 Disallow: 
 
 User-agent: bingbot 
 Disallow: / not-for-bing / 
 

 Mozilla / 5.0 (совместимый; Googlebot / 2.1; + http: //www.google.com/bot.html) 

 Агент пользователя: * 
 Disallow: / 

 Агент пользователя: * 
 Disallow: 

 User-agent: googlebot 
 Disallow: / Photo 

 Запрещено: /*.php 
 Запрещено: /copyrighted-images/*.jpg 

 Запретить: /*.php$ 

 Запретить: / wp-admin / 
 Разрешить: /wp-admin/admin-ajax.php 

 хост: example.com 

 задержка сканирования: 10 

 Карта сайта: https://www.example.com/my-sitemap.xml 

  User-Agent: <продукт> / <версия-продукта> <комментарий>  

  User-Agent: Mozilla / 5.0 ()  ()   

 Mozilla / 5.0 (  платформа  ; rv:   geckoversion  ) Gecko /   geckotrail   Firefox /   firefoxversion   

 Mozilla / 5.0 (Windows NT 6.1; Win64; x64; rv: 47.0) Gecko / 20100101 Firefox / 47.0
Mozilla / 5.0 (Macintosh; Intel Mac OS X  x.y ; rv: 42.0) Gecko / 20100101 Firefox / 42.0
 

 Mozilla / 5.0 (X11; Linux x86_64) AppleWebKit / 537.36 (KHTML, как Gecko) Chrome / 51.0.2704.103 Safari / 537.36 

 Mozilla / 5.0 (X11; Linux x86_64) AppleWebKit / 537.36 (KHTML, например Gecko) Chrome / 51.0.2704.106 Safari / 537.36 OPR / 38.0.2220.41 

 Opera / 9.80 (Macintosh; Intel Mac OS X; U; en) Presto / 2.2.15 Версия / 10.00
Opera / 9.60 (Windows NT 6.0; U; en) Presto / 2.1.1 

 Mozilla / 5.0 (iPhone; CPU iPhone OS 13_5_1, как Mac OS X) AppleWebKit / 605.1.15 (KHTML, например, Gecko) Версия / 13.1.1 Mobile / 15E148 Safari / 604.1 

 Mozilla / 5.0 (совместимо; MSIE 9.0; Windows Phone OS 7.5; Trident / 5.0; IEMobile / 9.0) 

 Mozilla / 5.0 (совместимый; Googlebot / 2.1; + http: //www.google.com/bot.html) 

 Mozilla / 5.0 (совместимый; YandexAccessibilityBot / 3.0; + http: //yandex.com/bots) 

 curl / 7.64.1 

 PostmanRuntime / 7.26.5