Robots txt для битрикс – Как сделать правильный Robots.txt для Битрикс, WordPress, Joomla, ModX и других систсем управления | Дропшиппинг

Содержание

Правильный robots.txt для 1С-Битрикс

Необходимые правила в файле robots.txt для CMS 1С-Битрикс

Скопировать содержимое в файл robots.txt,
example.com переименовать на название вашего домена,
Загрузить полученный файл в корневой каталог вашего сайта.


User-agent: Yandex
Disallow: /*index.php$
Disallow: /bitrix/
Disallow: /auth/
Disallow: /personal/
Disallow: */*search
Disallow: /*/slide_show/
Disallow: /*/gallery/*order=*
Disallow: /*print
Disallow: /*register=
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*?action=
Disallow: /*action=ADD_TO_COMPARE_LIST
Disallow: /*action=DELETE_FROM_COMPARE_LIST
Disallow: /*action=ADD2BASKET
Disallow: /*action=BUY
Disallow: /*bitrix_*=
Disallow: /*backurl=*
Disallow: /*back_url*
Disallow: /*COURSE_ID=
Disallow: /*?COURSE_ID=
Disallow: /*PAGEN_*
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*PAGE_NAME=search
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*SHOWALL
Disallow: /*show_all=
Host: example.com

User-agent: *
Disallow: /*index.php$
Disallow: /bitrix/
Disallow: /auth/
Disallow: /personal/
Disallow: */*search
Disallow: /*/slide_show/
Disallow: /*/gallery/*order=*
Disallow: /*print
Disallow: /*register=
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*?action=
Disallow: /*action=ADD_TO_COMPARE_LIST
Disallow: /*action=DELETE_FROM_COMPARE_LIST
Disallow: /*action=ADD2BASKET
Disallow: /*action=BUY
Disallow: /*bitrix_*=
Disallow: /*backurl=*
Disallow: /*back_url*
Disallow: /*COURSE_ID=
Disallow: /*?COURSE_ID=
Disallow: /*PAGEN_*
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*PAGE_NAME=search
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*SHOWALL
Disallow: /*show_all=
Sitemap: http://example.com/sitemap.xml

Создание правильного robots.txt в Битрикс

Многие сталкиваются с проблемами неправильного индексирования сайта поисковиками. В этой статье я объясню как создать правильный robots.txt для Битрикс чтобы избежать ошибок индексирования.

Что такое robots.txt и для чего он нужен?

Robots.txt — это текстовый файл, который содержит параметры индексирования сайта для роботов поисковых систем (информация Яндекса).
В основном он нужен чтобы закрыть от индексации страницы и файлы, которые поисковикам индексировать и, следовательно, добавлять в поисковую выдачу не нужно.

Обычно это технические файлы и страницы, панели администрирования, кабинеты пользователя и дублирующаяся информация, например поиск вашего сайта и др.

Создание базового robots.txt для Битрикс

Частая ошибка начинающих кроется в ручном составлении этого файла. Это делать не нужно.
В Битриксе уже есть модуль, отвечающий за файл robots.txt. Его можно найти на странице «Маркетинг -> Поисковая оптимизация -> Настройка robots.txt».
На этой странице есть кнопка для создания базового набора правил под систему Битрикс. Воспользуйтесь ей, чтобы создать все стандартные правила:

Дальше в настройках генерации карты сайта укажите галочку для добавления ее в robots.txt:

После генерации карты сайта путь к ней автоматически добавится в robots.txt.

После этого у вас уже будет хороший базовый набор правил. А дальше уже следует исходить из рекомендаций SEO-специалиста и закрывать (кнопкой «Запретить файл/папку») необходимые страницы. Обычно это страницы поиска, личные кабинеты и другие.

И не забывайте, что вы можете обратиться к нам за продвижением сайта. Мы настроим все правильно и выведем ваш сайт на Битриксе на хорошие позиции.

Битрикс robots.txt

Все современные поисковые системы используют файл robots.txt. Этот файл позволяет задавать поведение определенным поисковым ботам, указываемым в строке User-agent. В случае отсутствия такого файла поисковые системы посчитают, что доступ к вашему сайту неограничен, и будут индексировать все его страницы. Это может негативно отразиться на видимости вашего сайта в интернете. К примеру, стандартная страница отфильтрованного каталога в CMS Битрикс выглядит так:

www.site.com/catalog/?arrFilter_ff%5BNAME%5D=&arrFilter_pf%5BLAST%5D=&arrFilter_pf%5BTO_DATA%5D=&arrFilter_cf%5B8%5D%5BLEFT%5D=100&arrFilter_cf%5B8%5D%5BRIGHT%5D=500&set_filter=Y

очень часто множество таких страниц попадают в индекс поисковой системы, тем самым, уменьшая значимость других, оптимизированных страниц. Также в индекс могут попасть файлы, которые там совсем не нужны, и которые могут повлиять на безопасность вашего сайта.

Для того, чтобы этого избежать, существует файл robots.txt

Рассмотрим пример файла robots.txt для битрикс:


	User-agent: *
	Disallow: /test/
	Disallow: /dostavka/
	Disallow: /information
	Disallow: /conf.php
	Disallow: /usl.php
	Disallow: /price/
	Disallow: /contacts
	Disallow: /personal/
	Disallow: /ext/
	Disallow: /auth/
	Disallow: /login/
	Disallow: /include/
	Disallow: /scripts/
	Disallow: /sitemap/
	Disallow: /*CODE
	Disallow: /index.php?id=*
	Disallow: *?clear_cache=Y
	Disallow: /*&sort=
	Disallow: *?r1=*
	Disallow: *?r2=*
	Disallow: /*action
	Disallow: /*showpath
	Disallow: /*shownotavail
	Disallow: /*arrFilter
	Disallow: /*PAGEN_
	Disallow: /*SECTION_CODE
	Disallow: /*SHOWALL_
	Disallow: /account.php/*
	Disallow: /checkout.php
	Disallow: /search/
	Disallow: /news/rss/
	Disallow: /specification/
	Disallow: /brands/?letter=*
	Disallow: /index.php/manufacturers*
	Disallow: /index.php/*
	Disallow: *filter*
	Disallow: *letter*
	Host: https://www.site.ru
	Sitemap: https://www.site.ru/sitemap.xml

Это типичный robots.txt битрикс, например директива:

Disallow: /*PAGEN_

закрывает от индексации повторяющиеся страницы пагинации (1,2,3 и т д) каталога, оставляя только главную.

Также закрыты все страницы фильтра: *filter*

Таким образом, можно в разы снизить количество индексируемых страниц, отдаваемых в поисковик. Следует сказать, что файл robots.txt не обязателен к исполнению поисковиками, т.е. нет 100% гарантии, что закрытые таким образом страницы не попадут в сеть.

Возможно, следовало бы добавить директиву Disallow: /bitrix/*, чтобы закрыть от индексации системные файлы, но таким образом мы покажем потенциальному взломщику то, что наша CMS – битрикс.

GOOGLE & robots.txt для 1С-Битрикс / likes 1 / блог студии Клондайк!

В течении этой недели многие web-мастера получили от Google письма и сообщения следующего содержания (см. рис. 1, рис. 2).

Рис. 1.

Рис. 2.

Мы уже писали о том что Google начал оценивать удобство пользования сайтом на мобильных устройствах и предоставили один из инструментов оптимизации. Для оценки удобства просмотра сайта на мобильном устройстве роботу Google нужны JS и CSS файлы влияющие на отображение страницы, а из-за настроек robots.txt он не может этого сделать.

Дело в том что в стандартных настройках robots.txt для 1С-Битрикс закрывается директория /bitrix/, а в ней хранится кеш JS и CSS файлов!

Сам 1С-Битрикс в одной из статей на habrahabr приводит пример дополнительных настроек robots.txt.

1C-Битрикс советует открыть пять разделов:

Allow: /bitrix/cache/
Allow: /bitrix/js/
Allow: /bitrix/templates/
Allow: /bitrix/components/
Allow: /bitrix/panel/

Но при соблюдении современных стандартов разработки эти правила избыточны, на своих проектах мы используем следующий стандарт дополнительных настроек файла robots.txt для Google.

Резонный вопрос — «Почему не подходит вариант от самого 1С-Битрикс?»

Пройдемся по каждой строчке.

«Allow: /bitrix/cache/» — открывается доступ ко всему кешу, но помимо JS и CSS там хранится уйма *.php файлов с кешем и индексировать их не нужно.
«Allow: /bitrix/js/» — открывается доступ к JS базовой поставки БУС, но JS используемый в публичной части будет закеширован и сменит прописку на — /bitrix/cache/js/.
«Allow: /bitrix/templates/» — открывается доступ к шаблонам сайта, но это OLD_SCHOOL, уже 2 с лишним года доступна папка /local/ в которой находится весь custom разработчика, в том числе шаблоны сайтов, компоненты, CSS, JS и прочие файлы. Этой директивой можно воспользоваться на древних проектах, собранных без использования /local/.
«Allow: /bitrix/components/» — открывается доступ к компонентам, во первых есть /local/, во вторых если в компоненте подключается CSS, то он кешируется, подключается к общей CSS таблице и хранится тут — /bitrix/cache/css/, со скриптами аналогично.

«Allow: /bitrix/panel/» — открывается доступ к файлам панели управления. Тут совсем ничего не понятно, кто-то будет давать Google индексировать интерфейс Эрмитаж? =)

Из всего вышеперечисленного делаем вывод что предложенный 1С-Битрикс’ом вариант не подходит, для себя мы оставили только следующее:

Allow: /bitrix/cache/js/
Allow: /bitrix/cache/css/

К сожалению в автоматически генерируемом robots.txt от 1С-Битрикс БУС этих директив нет, для того чтобы не забывать их проставлять, в обновлении 1.0.8 нашего решения Klondike.tools будет доработан валидатор robots.txt.

UPD

В новых версиях Bitrix внедрил вышеупомянутые четыре строчки в стандартный набор robots.txt. Теперь придется не только добавлять нужные строчки в robots, но и убирать ненужные =).

Самый правильный robots.txt для популярных CMS

Содержание с переходом

Примеры robots.txt

robots.txt – это текстовый файл, лежащий в корне сайта и сообщающий поисковым системам как индексировать сайт. Набор строк сообщает, какие разделы сайта разрешить или запретить от индексации, причем для некоторых поисковых систем, может быть использованы дополнительные параметры обрабатывающий только конкретной поисковой системой.

Подробное руководство по использованию - robots.txt для Яндекс

Для тех, кто долго не любит вникать, как правильно составить robots.txt, привожу сразу список наиболее популярных CMS, и какие чаще всего подойдут для них настройки.

Главное понимать, что эти файлы не гарантируют 100% правильную работу, так как могут не закрыть разделы которые у Вас должны быть закрыты или напротив закрыть то, что не должно быть закрыто. Эти примеры лучше всего использовать, для того чтобы составить самому правильный роботикс тхт для своего сайта и не упустить особенности используемого Вами движка.

Так же не забыть там, где стоит site.ru подставить свой сайт.

Почти во всех случаях будет актуально:


Clean-param: utm_source=*
Clean-param: utm_medium=*
Clean-param: utm_campaign=*
Clean-param: utm_content=*
Clean-param: utm_term=*
Clean-param: cm_id=*
Clean-param: openstat=*
Clean-param: ycid=*
Clean-param: gcid=*
Clean-param: ref=*

Просим не копировать и вставлять в том виде как есть, здесь перечислены лишь популярные элементы и так же требует тонкой настройки.

Если все слишком сложно, то пишите на почту, помогу настроить индексацию сайта.

robots.txt для WordPress


User-agent: *
Allow: /wp-content/uploads
Disallow: */comment-page-*
Disallow: */comments
Disallow: */feed
Disallow: */trackback
Disallow: /*?
Disallow: /?feed=
Disallow: /?s=
Disallow: /author
Disallow: /cgi-bin
Disallow: /comments
Disallow: /page
Disallow: /search
Disallow: /tag
Disallow: /trackback
Disallow: /webstat
Disallow: /wp-admin
Disallow: /wp-comments
Disallow: /wp-content/cache
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-feed
Disallow: /wp-includes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-trackback
Disallow: /xmlrpc.php
Sitemap: http://site.ru/sitemap.xml
Host: site.ru

robots.txt для Joomla


User-agent: *
Allow: /images
Allow: /index.php?option=com_xmap&sitemap=1&view=xml
Disallow: /*?action=print
Disallow: /*?sl*
Disallow: /*atom.html
Disallow: /*rss.html
Disallow: /administrator
Disallow: /bin
Disallow: /cache
Disallow: /cli
Disallow: /component
Disallow: /components
Disallow: /includes
Disallow: /index*
Disallow: /index2.php?option=com_content&task=emailform
Disallow: /installation
Disallow: /language
Disallow: /layouts
Disallow: /libraries
Disallow: /logs
Disallow: /media
Disallow: /modules
Disallow: /plugins
Disallow: /templates
Disallow: /tmp
Disallow: /trackback
Disallow: /xmlrpc
Sitemap: http://site.ru/sitemap.xml
Host: site.ru

robots.txt для MODX


User-agent: *
Disallow: /*?
Disallow: /*?id=
Disallow: /assets
Disallow: /assets/cache
Disallow: /assets/components
Disallow: /assets/docs
Disallow: /assets/export
Disallow: /assets/import
Disallow: /assets/modules
Disallow: /assets/plugins
Disallow: /assets/snippets
Disallow: /connectors
Disallow: /core
Disallow: /index.php
Disallow: /install
Disallow: /manager
Disallow: /profile
Disallow: /search
Sitemap: http://site.ru/sitemap.xml
Host: site.ru

robots.txt для uCoz


User-agent: *
Allow: /*?page
Allow: /*?ref=
Disallow: /*-*-*-*-987$
Disallow: /*?
Disallow: /*_escaped_fragment_=
Disallow: /*0-*-0-17$
Disallow: /*0-0-
Disallow: /*-0-0-
Disallow: /a/
Disallow: /abnl
Disallow: /admin
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub
Disallow: /informer
Disallow: /mchat
Disallow: /panel
Disallow: /poll
Disallow: /register
Disallow: /search
Disallow: /secure
Disallow: /shop/checkout
Disallow: /shop/user
Disallow: /stat
Sitemap: http://site.ru/sitemap-forum.xml
Sitemap: http://site.ru/sitemap-shop.xml
Sitemap: http://site.ru/sitemap.xml
Host: site.ru

robots.txt для Drupal


User-agent: *
Disallow: *comment*
Disallow: *login*
Disallow: *register*
Disallow: /*&sort*
Disallow: /*/delete
Disallow: /*/edit
Disallow: /*?sort*
Disallow: /*calendar
Disallow: /*index.php
Disallow: /*order
Disallow: /*section
Disallow: /*votesupdown
Disallow: /?q=admin
Disallow: /?q=admin/
Disallow: /?q=comment/reply
Disallow: /?q=contact
Disallow: /?q=filter/tips
Disallow: /?q=logout
Disallow: /?q=node/add
Disallow: /?q=search
Disallow: /?q=user/login
Disallow: /?q=user/logout
Disallow: /?q=user/password
Disallow: /?q=user/register
Disallow: /admin
Disallow: /admin/
Disallow: /archive/
Disallow: /book/export/html
Disallow: /CHANGELOG.txt
Disallow: /comment
Disallow: /comment/reply
Disallow: /comments/recent
Disallow: /contact
Disallow: /cron.php
Disallow: /filter/tips
Disallow: /forum
Disallow: /forum/active
Disallow: /forum/unanswered
Disallow: /includes
Disallow: /INSTALL.mysql.txt
Disallow: /INSTALL.pgsql.txt
Disallow: /install.php
Disallow: /INSTALL.sqlite.txt
Disallow: /INSTALL.txt
Disallow: /LICENSE.txt
Disallow: /logout
Disallow: /logout/
Disallow: /MAINTAINERS.txt
Disallow: /messages
Disallow: /misc
Disallow: /modules
Disallow: /node
Disallow: /node/add
Disallow: /print/node
Disallow: /profile
Disallow: /profiles
Disallow: /scripts
Disallow: /search
Disallow: /taxonomy
Disallow: /taxonomy/term*/feed
Disallow: /themes
Disallow: /update.php
Disallow: /UPGRADE.txt
Disallow: /user
Disallow: /user/
Disallow: /user/login
Disallow: /user/logout
Disallow: /user/password
Disallow: /user/register
Disallow: /xmlrpc.php
Sitemap: http://site.ru/sitemap.xml
Host: site.ru

robots.txt для 1С-Битрикс


User-agent: *
Allow: /map/
Allow: /search/map.php
Allow: /bitrix/templates/
Disallow: */index.php
Disallow: /*action=
Disallow: /*print=
Disallow: /*/gallery/*order=
Disallow: /*/search/
Disallow: /*/slide_show/
Disallow: /*?utm_source=
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*arrFilter=
Disallow: /*auth=
Disallow: /*back_url_admin=
Disallow: /*BACK_URL=
Disallow: /*back_url=
Disallow: /*backurl=
Disallow: /*bitrix_*=
Disallow: /*bitrix_include_areas=
Disallow: /*building_directory=
Disallow: /*bxajaxid=
Disallow: /*change_password=
Disallow: /*clear_cache_session=
Disallow: /*clear_cache=
Disallow: /*count=
Disallow: /*COURSE_ID=
Disallow: /*forgot_password=
Disallow: /*ID=
Disallow: /*index.php$
Disallow: /*login=
Disallow: /*logout=
Disallow: /*modern-repair/$
Disallow: /*MUL_MODE=
Disallow: /*ORDER_BY
Disallow: /*PAGE_NAME=
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*PAGE_NAME=search
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGEN_
Disallow: /*print_course=
Disallow: /*print=
Disallow: /*q=
Disallow: /*register=
Disallow: /*register=yes
Disallow: /*set_filter=
Disallow: /*show_all=
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: /*SHOWALL_
Disallow: /*sort=
Disallow: /*sphrase_id=
Disallow: /*tags=
Disallow: /access.log
Disallow: /admin
Disallow: /api
Disallow: /auth
Disallow: /auth.php
Disallow: /auto
Disallow: /bitrix
Disallow: /bitrix/
Disallow: /cgi-bin
Disallow: /club/$
Disallow: /club/forum/search/
Disallow: /club/gallery/tags/
Disallow: /club/group/search/
Disallow: /club/log/
Disallow: /club/messages/
Disallow: /club/search/
Disallow: /communication/blog/search.php
Disallow: /communication/forum/search/
Disallow: /communication/forum/user/
Disallow: /content/board/my/
Disallow: /content/links/my/
Disallow: /error
Disallow: /e-store/affiliates/
Disallow: /e-store/paid/detail.php
Disallow: /examples/download/download_private/
Disallow: /examples/my-components/
Disallow: /include
Disallow: /personal
Disallow: /search
Disallow: /temp
Disallow: /tmp
Disallow: /upload
Disallow: /*/*ELEMENT_CODE=
Disallow: /*/*SECTION_CODE=
Disallow: /*/*IBLOCK_CODE
Disallow: /*/*ELEMENT_ID=
Disallow: /*/*SECTION_ID=
Disallow: /*/*IBLOCK_ID=
Disallow: /*/*CODE=
Disallow: /*/*ID=
Disallow: /*/*IBLOCK_EXTERNAL_ID=
Disallow: /*/*SECTION_CODE_PATH=
Disallow: /*/*EXTERNAL_ID=
Disallow: /*/*IBLOCK_TYPE_ID=
Disallow: /*/*SITE_DIR=
Disallow: /*/*SERVER_NAME=
Sitemap: http://site.ru/sitemap_index.xml
Sitemap: http://site.ru/sitemap.xml
Host: site.ru

robots.txt для NetCat


User-agent: *
Disallow: /*.swf
Disallow: /*?
Disallow: /eng
Disallow: /install
Disallow: /js
Disallow: /links
Disallow: /netcat
Disallow: /netcat_cache
Disallow: /netcat_dump
Disallow: /netcat_files
Sitemap: http://site.ru/sitemap.xml
Host: site.ru

robots.txt для UMI.CMS


User-agent: *
Disallow: /*?
Disallow: /?
Disallow: /admin
Disallow: /emarket/addToCompare
Disallow: /emarket/basket
Disallow: /files
Disallow: /go_out.php
Disallow: /images
Disallow: /images/lizing
Disallow: /images/ntc
Disallow: /index.php
Disallow: /install-libs
Disallow: /install-static
Disallow: /install-temp
Disallow: /search
Disallow: /users
Sitemap: http://site.ru/sitemap.xml
Host: site.ru

robots.txt для HostCMS


User-agent: *
Disallow: /403
Disallow: /404
Disallow: /admin
Disallow: /articles/tag
Disallow: /captcha.php
Disallow: /chmod.sh
Disallow: /config.php
Disallow: /config_db.php
Disallow: /data_templates
Disallow: /documents
Disallow: /download_file.php
Disallow: /glossary/tag
Disallow: /hostcmsfiles
Disallow: /lib
Disallow: /logs
Disallow: /main_classes.php
Disallow: /modules
Disallow: /news/tag
Disallow: /search
Disallow: /structure
Disallow: /templates
Disallow: /tmp
Disallow: /upload
Disallow: /xsl
Disallow: captcha.php
Disallow: download_file.php
Sitemap: http://site.ru/sitemap.xml
Host: site.ru

robots.txt для OpenCart


User-agent: *
Disallow: /*filter_description=
Disallow: /*filter_name=
Disallow: /*filter_sub_category=
Disallow: /*keyword
Disallow: /*limit=
Disallow: /*manufacturer
Disallow: /*order=
Disallow: /*page=
Disallow: /*route=account
Disallow: /*route=account/login
Disallow: /*route=affiliate
Disallow: /*route=checkout
Disallow: /*route=checkout/cart
Disallow: /*route=product/search
Disallow: /*sort=
Disallow: /*tracking=
Disallow: /admin
Disallow: /cache
Disallow: /cart
Disallow: /catalog
Disallow: /change-password
Disallow: /checkout
Disallow: /download
Disallow: /export
Disallow: /index.php?route=account
Disallow: /index.php?route=account/account
Disallow: /index.php?route=account/login
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/category
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /index.php?route=product/search
Disallow: /login
Disallow: /my-account
Disallow: /order-history
Disallow: /request-return
Disallow: /search
Disallow: /search?filter_name=
Disallow: /search?tag=
Disallow: /system
Disallow: /vouchers
Disallow: /vqmod
Disallow: /wishlist
Sitemap: http://site.ru/sitemap.xml
Host: site.ru

Проверка robots.txt

После вставки проверяем корректность работы файла:

Для Яндекс – без регистрации, через Яндекс.Вебмастер
Для Google – инструкция, с регистрацией через Google Вебмастер

В заключении о файле индексации

Если нет Вашей CMS пишите, для Вас составлю бесплатно этот файл и добавлю в список поста.

Так же я старался дать уникальные примеры файлов и редко делю директиву User-agent, как это некоторые любят, по следующим причинам:

нет смысла делить то, что понимают все поисковые системы, результат создает избыточный размер файла, в крайнем случае, неизвестную директиву проигнорируют

если мы делим на конкретные ПС, не указывая звездочку, то другие ПС не смогут корректно проиндексировать сайт

если мы делим на конкретные ПС с указанием звездочки, тогда нет смысла перечислять в двух местах одни и те же директивы, а для других ПС имеет смысл перечислять тоже самое

Подробное руководство по использованию - robots.txt для Яндекс

Так же не забыть там, где стоит site.ru подставить свой сайт.

Если все слишком сложно, то пишите на почту, помогу настроить индексацию сайта.

Как сделать правильный Robots.txt для Битрикс, WordPress, Joomla, ModX и других систсем управления

Файл Robots.txt – это текстовый документ в формате .txt, служащий вспомогательным элементом для поисковых роботов и указывающий им какие команды нужно сделать по сайту. Как правило – это: закрытие от индексации не нужных страниц, закрытие от индексации дублей страниц, указание главного зеркала сайта, указания пути адреса к карте сайта.

Так же при первичной разработке сайта, если мы не хотим, что его видели поисковые машины, в файле Robots.txt можно закрыть весь сайт от индексации.

Пример части файла Robots.txt

User-agent: *

Disallow: /nenugnaya-stranica

Host: vashsait.ru

Sitemap: http:// vashsait /sitemap.xml

В данном случае робот разрешает индексацию сайта, но запрещает к индексации одну из страниц «Disallow: /nenugnaya-stranica».

По мимо этого указано главное зеркало сайта «Host: vashsait.ru» и указан путь к карте сайте «Sitemap: http:// vashsait /sitemap.xml».

Основные команды в robots.txt:

Disallow: / — запрещает индексацию всего сайта

Disallow: /nenugnii-razdel — запрещает индексацию к страницам начинающимся с /nenugnii-razdel и все что после

Allow: / — разрешает индексацию всего сайта

Allow: /nenugnii-razdel — разрешает индексацию к страницам начинающимся с /nenugnii-razdel

Host: Директива указывающая поисковым системам, какое зеркало у Вашего сайта считается главным.

Sitemap: Директива указывает путь к карте sitemap.xml сайта

Правильный Robots.txt для системы управления сайтом Битрикс

Ниже представлен стандартный файл для сайтов на движке Битрикса:

User-agent: *

Disallow: /bitrix/

Disallow: /upload/

Disallow: /search/

Allow: /search/map.php

Disallow: /club/search/

Disallow: /club/group/search/

Disallow: /club/forum/search/

Disallow: /communication/forum/search/

Disallow: /communication/blog/search.php

Disallow: /club/gallery/tags/

Disallow: /examples/my-components/

Disallow: /examples/download/download_private/

Disallow: /auth/

Disallow: /auth.php

Disallow: /personal/

Disallow: /communication/forum/user/

Disallow: /e-store/paid/detail.php

Disallow: /e-store/affiliates/

Disallow: /club/$

Disallow: /club/messages/

Disallow: /club/log/

Disallow: /content/board/my/

Disallow: /content/links/my/

Disallow: /*/search/

Disallow: /*PAGE_NAME=search

Disallow: /*PAGE_NAME=user_post

Disallow: /*PAGE_NAME=detail_slide_show

Disallow: /*/slide_show/

Disallow: /*/gallery/*order=*

Disallow: /*?print=

Disallow: /*&print=

Disallow: /*register=yes

Disallow: /*forgot_password=yes

Disallow: /*change_password=yes

Disallow: /*login=yes

Disallow: /*logout=yes

Disallow: /*auth=yes

Disallow: /*action=ADD_TO_COMPARE_LIST

Disallow: /*action=DELETE_FROM_COMPARE_LIST

Disallow: /*action=ADD2BASKET

Disallow: /*action=BUY

Disallow: /*print_course=Y

Disallow: /*bitrix_*=

Disallow: /*backurl=*

Disallow: /*BACKURL=*

Disallow: /*back_url=*

Disallow: /*BACK_URL=*

Disallow: /*back_url_admin=*

Disallow: /*index.php$

Правильный Robots.txt для wordpress

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-trackback

Disallow: /wp-feed

Disallow: /wp-comments

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Правильный Robots txt для Joomla

Вот так выглядит стандартный robots.txt сайтов на движке Joomla

User-agent: *

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /component/*

Disallow: /component/search/

Disallow: /component/content/

Disallow: /images/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /xmlrpc/

Правильный Robots txt для ModX

User-agent: *

Disallow: /assets/cache/

Disallow: /assets/docs/

Disallow: /assets/export/

Disallow: /assets/import/

Disallow: /assets/modules/

Disallow: /assets/plugins/

Disallow: /assets/snippets/

Disallow: /install/

Disallow: /manager/

Disallow: /?

Disallow: /*?

Disallow: /index.php

Host: seoshpargalka.ru

Sitemap: http://seoshpargalka.ru/sitemap.xml

Правильный Robots txt для Drupal

User-agent: *

Disallow: /database/

Disallow: /includes/

Disallow: /misc/

Disallow: /modules/

Disallow: /sites/

Disallow: /themes/

Disallow: /scripts/

Disallow: /updates/

Disallow: /profiles/

Disallow: /xmlrpc.php

Disallow: /cron.php

Disallow: /update.php

Disallow: /install.php

Disallow: /index.php

Disallow: /admin/

Disallow: /comment/reply/

Disallow: /contact/

Disallow: /logout/

Disallow: /search/

Disallow: /user/register/

Disallow: /user/password/

Disallow: /user/login/

Disallow: /top-rated-

Disallow: /messages/

Disallow: /book/export/

Disallow: /user2userpoints/

Disallow: /myuserpoints/

Disallow: /tagadelic/

Disallow: /referral/

Disallow: /aggregator/

Disallow: /files/pin/

Disallow: /your-votes

Disallow: /comments/recent

Disallow: /*/edit/

Disallow: /*/delete/

Disallow: /*/export/html/

Disallow: /taxonomy/term/*/0$

Disallow: /*/edit$

Disallow: /*/outline$

Disallow: /*/revisions$

Disallow: /*/contact$

Disallow: /*downloadpipe

Disallow: /node$

Disallow: /node/*/track$

Disallow: /*&

Disallow: /*%

Disallow: /*?page=0

Allow: /*?page=

Disallow: /*?

Host: sait.ru

Sitemap: http://sait.ru/sitemap.xml

robots.txt для CMS WordPress Joomla OpenCart Битрикс на 2019 год

В последнее время часто приходится сталкиваться с разными системами управления и для них искать robots.txt или модифицировать стандартные.

Но и тот, и другой путь не очень хорош, так как найти можно устаревшую информацию, а самим модифицировать — занимает время.

Поэтому я собрал в этой теме основные примеры актуальных на 2019 год robots.txt.

Но прежде чем их представить вам, хочу описать главные аспекты и критерии по которым различаются инструкции для разных поисковых систем.

Для Яндекса это прежде всего параметр Clean-Param, он может защитить от дублей страниц, которые образуются в результате url содержащих GET — параметры.

А директиву Host уже можно не использовать, она ушла в прошлое, т.к. 301-й редирект её полностью заменил.

Ну и самая популярная ошибка, это закрытие css и js для Яндекса, многие вебмастера как буд-то проигнорировали эту статью на официальном блоге Яндекса.

Переходя к Google могу только сказать, что скоро перестанет учитываться crawl-delay.

Вступление на этом закончено, давайте перейдём к примерам для популярных CMS, которые я использую в своих роботах тхт.

robots.txt для Joomla

User-agent: Yandex
Allow: /*.css
Allow: /*.js
Allow: /*.jpg
Allow: /*.png
Allow: /*.gif
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_type
Clean-param: _openstat&gclid&yclid&ymclid&from&cid&frommarket

User-agent: Googlebot
Allow: /*.css
Allow: /*.js
Allow: /*.jpg
Allow: /*.png
Allow: /*.gif
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Disallow:*utm*=
Disallow:*openstat= 

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow:*utm*=
Disallow:*openstat= 

Sitemap: https://site.ru/sitemap.xml

robots.txt для WordPress

User-agent:Yandex
Allow:*/uploads
Allow:/*/*.js
Allow:/*/*.css
Allow:/wp-*.png
Allow:/wp-*.jpg
Allow:/wp-*.jpeg
Allow:/wp-*.gif
Allow:/wp-admin/admin-ajax.php
Disallow:/cgi-bin
Disallow:/?
Disallow:/wp-
Disallow:/wp/
Disallow:*?s=
Disallow:*&s=
Disallow:/search/
Disallow:/author/
Disallow:/users/
Disallow:*/trackback
Disallow:*/feed
Disallow:*/rss
Disallow:*/embed
Disallow:*/wlwmanifest.xml
Disallow:/xmlrpc.php
Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_type
Clean-param: _openstat&gclid&yclid&ymclid&from&cid&frommarket

User-agent:GoogleBot
Allow:*/uploads
Allow:/*/*.js
Allow:/*/*.css
Allow:/wp-*.png
Allow:/wp-*.jpg
Allow:/wp-*.jpeg
Allow:/wp-*.gif
Allow:/wp-admin/admin-ajax.php
Disallow:/cgi-bin
Disallow:/?
Disallow:/wp-
Disallow:/wp/
Disallow:*?s=
Disallow:*&s=
Disallow:/search/
Disallow:/author/
Disallow:/users/
Disallow:*/trackback
Disallow:*/feed
Disallow:*/rss
Disallow:*/embed
Disallow:*/wlwmanifest.xml
Disallow:/xmlrpc.php
Disallow:*utm*=
Disallow:*openstat=

User-agent:*
Disallow:/cgi-bin
Disallow:/?
Disallow:/wp-
Disallow:/wp/
Disallow:*?s=
Disallow:*&s=
Disallow:/search/
Disallow:/author/
Disallow:/users/
Disallow:*/trackback
Disallow:*/feed
Disallow:*/rss
Disallow:*/embed
Disallow:*/wlwmanifest.xml
Disallow:/xmlrpc.php
Disallow:*utm*=
Disallow:*openstat=

Sitemap:https://site.ru/sitemap.xml