Файл роботс для битрикс: Карта сайта

Содержание

Руководство по настройке файла robots.txt для CMS WordPress, Bitrix, MODX и стандартного шаблона

Июль 16, 2023

При создании веб-сайта важно уделять внимание его поисковой оптимизации, и одним из ключевых элементов этого процесса является правильная настройка файла robots.txt.

Файл robots.txt — это текстовый файл, который настраивает инструкции для поисковых роботов, определяя, какие страницы или разделы сайта следует индексировать, а какие — игнорировать. В основном указываются общие настройки для всех роботов или Google, Yandex.

Необходимо еще помнить, что существуют мета тэги которые также необходимо использовать со значениями follow,nofollow или index,noindex. Это будет хорошим дополнением для файла robots.txt

Настройка файла robots.txt в CMS WordPress

WordPress — это одна из самых популярных CMS для создания веб-сайтов. Для настройки файла robots.txt в WordPress можно использовать плагины, которые предлагают множество гибких настроек. Например, для создания и редактирования файла robots.txt в WordPress можно использовать плагины «Yoast SEO» или «All in One SEO Pack». Вот пример простого файла robots.txt для WordPress:


User-agent: *               # общие правила для роботов 

Disallow: /cgi-bin          # папка на хостинге

Disallow: /?                # все параметры запроса на главной

Disallow: /wp-              # все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins

Disallow: *?s=              # поиск

Disallow: *&s=              # поиск

Disallow: /search/          # поиск

Disallow: /author/          # архив автора

Disallow: /users/           # архив авторов

Disallow: */trackback       # трекбеки, уведомления в комментариях о появлении открытой 

Disallow: */feed            # все фиды

Disallow: */rss             # rss фид

Disallow: */embed           # все встраивания

Disallow: /xmlrpc.
  php       # файл WordPress API

Disallow: *utm*=             # ссылки с utm-метками

Disallow: *openstat=        # ссылки с метками openstat

Allow: */uploads            # открываем папку с файлами uploadsSitemap: http://site.ru/sitemap.xml

Host: www.site.ru

Этот файл запрещает индексирование разделов wp-admin/ и wp-includes/, что является стандартной практикой для защиты административных страниц и системных файлов от индексации.

Настройка файла robots.txt в CMS Bitrix

Bitrix — это популярная CMS, используемая для создания корпоративных веб-сайтов и интернет-магазинов. Для настройки файла robots.txt в Bitrix можно воспользоваться административной панелью сайта. Вот пример простого файла robots.txt для Bitrix:


User-Agent: * 

Disallow: */index.php 

Disallow: /bitrix/ 

Disallow: /*?* 

Allow: /bitrix/components/ 

Allow: /bitrix/cache/ 
 
Allow: /bitrix/js/ 

Allow: /bitrix/templates/ 

Allow: /bitrix/panel/ 

Sitemap:  http://site. ru/sitemap.xml 

Host: site.ru

Этот файл запрещает индексирование разделов bitrix/ которые могут содержать системные файлы или личные данные и любые параметры /*?*. Иногда необходимо скрыть разделы apply/ использующий фильтры.

Настройка файла robots.txt в CMS MODX

MODX — это гибкая CMS, используемая для создания различных типов веб-сайтов, от простых лендингов до сложных корпоративных порталов. Для настройки файла robots.txt в MODX можно создать файл robots.txt в корневой директории сайта и добавить необходимые инструкции. Вот пример простого файла robots.txt для MODX:


User-Agent: *

Disallow: /*index.php$

Disallow: /manager/

Disallow: /core/

Disallow: /assets/

Disallow: /connectors/
 
Disallow: /*order

Disallow: /*?page

Disallow: /*?f_country

Disallow: /*?f_brends

Disallow: /*filter

Disallow: /*?msoption

Disallow: /*?

Disallow: /*?msprice

Disallow: /*?ms

Disallow: /*search

Host: https://site. ru

Sitemap: https://site.ru/sitemap.xml

Этот файл запрещает индексирование разделов manager/, assets/, connectors/ и core/, которые содержат системные файлы MODX и могут быть нежелательными для индексации. И также убираем некоторые параметры и папчку /search/.

Стандартный шаблон файла robots.txt

Если вы не используете CMS и у вас есть стандартный веб-сайт без каких-либо особых требований, вы можете создать простой файл robots.txt с базовыми инструкциями. Вот пример такого файла:


User-agent: *

Disallow: /private/

Disallow: /secret-page.html

Этот файл запрещает индексирование раздела private/ и страницы secret-page.html на вашем веб-сайте.

Обратите внимание, что файл robots.txt является открытым файлом, и поисковые роботы могут его прочитать. Однако, это не является механизмом абсолютной блокировки индексации, и некоторые поисковые роботы могут проигнорировать инструкции файла robots.txt. Поэтому, для более точной настройки индексации вашего сайта, рекомендуется использовать другие методы, такие как мета-теги «noindex» на страницах, которые вы не хотите индексировать, или использование инструментов поисковой оптимизации, предоставляемых вашей CMS.

В заключение, правильная настройка файла robots.txt — это важный аспект поисковой оптимизации вашего веб-сайта. При настройке файла robots.txt для вашей CMS или стандартного шаблона, следуйте инструкциям разработчиков CMS или используйте базовые инструкции, чтобы запретить индексацию системных или нежелательных страниц. Не забывайте, что настройка файла robots.txt — это только один из множества методов поисковой оптимизации, и рекомендуется использовать его в сочетании с другими методами, чтобы добиться наилучших результатов.

Как сделать правильный Robots.txt для Битрикс, WordPress, Joomla, ModX и других систсем управления

Файл Robots.txt – это текстовый документ в формате .txt, служащий вспомогательным элементом для поисковых роботов и указывающий им какие команды нужно сделать по сайту. Как правило – это: закрытие от индексации не нужных страниц, закрытие от индексации дублей страниц, указание главного зеркала сайта, указания пути адреса к карте сайта.

Так же при первичной разработке сайта, если мы не хотим, что его видели поисковые машины, в файле Robots.txt можно закрыть весь сайт от индексации.

Пример части файла Robots.txt

User-agent: *

Disallow: /nenugnaya-stranica

Host: vashsait.ru

Sitemap: http:// vashsait /sitemap.xml

В данном случае робот разрешает индексацию сайта, но запрещает к индексации одну из страниц «Disallow: /nenugnaya-stranica».

По мимо этого указано главное зеркало сайта «Host: vashsait.ru» и указан путь к карте сайте «Sitemap: http:// vashsait /sitemap.xml».

Основные команды в robots.txt:

Disallow: / — запрещает индексацию всего сайта

Disallow: /nenugnii-razdel — запрещает индексацию к страницам начинающимся с /nenugnii-razdel и все что после

Allow: / — разрешает индексацию всего сайта

Allow: /nenugnii-razdel — разрешает индексацию к страницам начинающимся с /nenugnii-razdel

Host: Директива указывающая поисковым системам, какое зеркало у Вашего сайта считается главным.

Sitemap: Директива указывает путь к карте sitemap.xml сайта

Правильный Robots.txt для системы управления сайтом Битрикс

Ниже представлен стандартный файл для сайтов на движке Битрикса:

User-agent: *

Disallow: /bitrix/

Disallow: /upload/

Disallow: /search/

Allow: /search/map.php

Disallow: /club/search/

Disallow: /club/group/search/

Disallow: /club/forum/search/

Disallow: /communication/forum/search/

Disallow: /communication/blog/search.php

Disallow: /club/gallery/tags/

Disallow: /examples/my-components/

Disallow: /examples/download/download_private/

Disallow: /auth/

Disallow: /auth.php

Disallow: /personal/

Disallow: /communication/forum/user/

Disallow: /e-store/paid/detail.php

Disallow: /e-store/affiliates/

Disallow: /club/$

Disallow: /club/messages/

Disallow: /club/log/

Disallow: /content/board/my/

Disallow: /content/links/my/

Disallow: /*/search/

Disallow: /*PAGE_NAME=search

Disallow: /*PAGE_NAME=user_post

Disallow: /*PAGE_NAME=detail_slide_show

Disallow: /*/slide_show/

Disallow: /*/gallery/*order=*

Disallow: /*?print=

Disallow: /*&print=

Disallow: /*register=yes

Disallow: /*forgot_password=yes

Disallow: /*change_password=yes

Disallow: /*login=yes

Disallow: /*logout=yes

Disallow: /*auth=yes

Disallow: /*action=ADD_TO_COMPARE_LIST

Disallow: /*action=DELETE_FROM_COMPARE_LIST

Disallow: /*action=ADD2BASKET

Disallow: /*action=BUY

Disallow: /*print_course=Y

Disallow: /*bitrix_*=

Disallow: /*backurl=*

Disallow: /*BACKURL=*

Disallow: /*back_url=*

Disallow: /*BACK_URL=*

Disallow: /*back_url_admin=*

Disallow: /*index. php$

Правильный Robots.txt для wordpress

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-trackback

Disallow: /wp-feed

Disallow: /wp-comments

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Правильный Robots txt для Joomla

Вот так выглядит стандартный robots.txt сайтов на движке Joomla

User-agent: *

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /component/*

Disallow: /component/search/

Disallow: /component/content/

Disallow: /images/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /xmlrpc/

Правильный Robots txt для ModX

User-agent: *

Disallow: /assets/cache/

Disallow: /assets/docs/

Disallow: /assets/export/

Disallow: /assets/import/

Disallow: /assets/modules/

Disallow: /assets/plugins/

Disallow: /assets/snippets/

Disallow: /install/

Disallow: /manager/

Disallow: /?

Disallow: /*?

Disallow: /index. php

Host: seoshpargalka.ru

Sitemap: http://seoshpargalka.ru/sitemap.xml

Правильный Robots txt для Drupal

User-agent: *

Disallow: /database/

Disallow: /includes/

Disallow: /misc/

Disallow: /modules/

Disallow: /sites/

Disallow: /themes/

Disallow: /scripts/

Disallow: /updates/

Disallow: /profiles/

Disallow: /xmlrpc.php

Disallow: /cron.php

Disallow: /update.php

Disallow: /install.php

Disallow: /index.php

Disallow: /admin/

Disallow: /comment/reply/

Disallow: /contact/

Disallow: /logout/

Disallow: /search/

Disallow: /user/register/

Disallow: /user/password/

Disallow: /user/login/

Disallow: /top-rated-

Disallow: /messages/

Disallow: /book/export/

Disallow: /user2userpoints/

Disallow: /myuserpoints/

Disallow: /tagadelic/

Disallow: /referral/

Disallow: /aggregator/

Disallow: /files/pin/

Disallow: /your-votes

Disallow: /comments/recent

Disallow: /*/edit/

Disallow: /*/delete/

Disallow: /*/export/html/

Disallow: /taxonomy/term/*/0$

Disallow: /*/edit$

Disallow: /*/outline$

Disallow: /*/revisions$

Disallow: /*/contact$

Disallow: /*downloadpipe

Disallow: /node$

Disallow: /node/*/track$

Disallow: /*&

Disallow: /*%

Disallow: /*?page=0

Allow: /*?page=

Disallow: /*?

Host: sait. ru

Sitemap: http://sait.ru/sitemap.xml

Роботы и триггеры в Битрикс24: каковы их возможности?

Многие люди, которые слышали о CRM-системах или когда-либо задумывались о их внедрении в компании, никогда раньше не задумывались о бизнес-процессах, роботах и триггерах. При этом эти инструменты значительно упрощают рабочие процессы, взаимодействие с клиентом для любого бизнеса.

Особенно это остается актуальным для крупных предприятий или компаний, так как количество рутинных задач растет вместе с количеством сотрудников. Внедрение CRM и перенос работы на корпоративный портал помогает упростить таргетирование продаж и автоматизировать выполнение повторяющихся задач в зависимости от конкретных условий. Битрикс24 позволяет создать алгоритм, облегчающий жизнь вашим сотрудникам за счет автоматического выполнения повторяющихся задач.

Что все это значит?

Робот представляет собой алгоритм обработки Сделок и Лидов, перенастроенный на запуск при переходе товара в нужный статус. Простыми словами, это процесс, который начинается без участия человека. Например, если вы получили запрос или письмо от клиента, система сразу же создаст задачу, установит напоминание и уведомит об этом вас или других задействованных сотрудников.

Для срабатывания нужно конкретное действие, которое переведет Лид или Сделку в нужное состояние; Например, входящий звонок или посещение клиентом веб-сайта. Вы можете настроить необходимые условия прямо в карточке Лида или Сделки.

Основное отличие роботов от триггеров:

Роботы запускают процессы;

Триггеры переводят сущность CRM в требуемую стадию.

Роботы и триггеры доступны во всех коммерческих тарифных планах Битрикс24 без ограничений, бесплатно — всего пять на выбор.

Возможности средств автоматизации

Роботы отвечают за множество полезных функций для сотрудников, рекламу, каналы связи с клиентами и индивидуальную работу. Давайте рассмотрим некоторые из них:

● Создание задач для конкретных сотрудников;

● Планирование встреч, звонков или конференций как с клиентами, так и внутренними;

● Отправка электронных писем, SMS или уведомлений;

Триггеры автоматически переводят Лид или Сделку в нужную стадию при условии наличия определенных событий:

● Отзыв от клиента;

● Клик по ссылке;

● При подключении телефонии — входящий звонок;

● Заполнена CRM-заявка;

● Повторное посещение веб-сайта.

Система Bitrix24 BPV в качестве помощника при работе с бизнес-процессами

Может быть много условий и автоматических действий, и пользователи должны иметь возможность работать со всеми из них. BPV (Business Process Management) — это набор инструментов для помощи, управления и контроля всех автоматизированных действий. В Битрикс24 тоже есть этот раздел, и он работает с минимальным участием человека. Пользователю необходимо указать название и описание процесса, а также собрать все возможные действия в системе, чтобы собрать их воедино в режиме конструктора блочных схем. Специального образования не требуется: только логическое мышление, понимание того, что и когда должно произойти и внимательность.

Для каждого бизнес-процесса определена отдельная карточка, где можно просмотреть все данные и внести правки. Это способ контролировать правильность работы и, в случае неэффективности, смещать сотрудников или вносить поправки в последовательность процессов.

Выводы

Как видите, в Битрикс24 есть все необходимое для эффективной автоматизации рутинных рабочих процессов вашей компании с помощью роботов и триггеров. Конечно, вы можете настроить их вручную в любом удобном дизайнере бизнес-процессов или настроить автоматизацию CRM, но если вам нужны более сложные решения, команда Авиви всегда готова помочь вам в разработке CRM Битрикс 24 и внедрении бизнес-процессов любой сложности.

Битрикс24

В Аймилогик можно сделать интеграцию с Битрикс24. Ваши боты смогут:

сохранять и обновлять данные клиентов;
передать диалог агенту;
выполнять другие задачи.

Битрикс24 подробнее

Приватный и общий чаты являются одним из основных каналов коммуникации между клиентами и агентами.

При подключении канала Битрикс24 все остальные интеграции должны быть настроены на стороне Битрикс24, а не в Аймилоджик.

Роботы

Робот представляет собой заранее спланированный алгоритм обработки лидов и сделок. Робот запускается при переходе предмета в определенный статус.

Вы можете использовать чат-боты Aimylogic с роботами Битрикс24 на любом этапе сделки и статусе лида.

Если вы не подключите чат-бота к лиду или сделке, будет активирован основной скрипт, указанный вами в настройках Открытых каналов.

Открытые каналы

Открытые каналы собирают сообщения из разных каналов, сохраняют их в Битрикс24 и CRM и распределяют среди сотрудников.

Доступно множество различных каналов, например, Telegram или Viber.

Подробнее о настройке Открытые каналы

Ограничения Битрикс24

При работе с Битрикс24 учитывайте следующие ограничения:

Битрикс24 не поддерживает кнопки.
- Если добавить кнопки в скрипт для Битрикс24, то клиенты их не увидят.
- Чтобы получить реакцию клиента, вы можете использовать намерения.
Aimylogic поддерживает до 5 ботов опубликованных в Битрикс24 одновременно.
Если вы опубликуете своего бота и в Битрикс24, и в любом другом канале, вы получите два разных чат-бота, которые не будут интегрированы друг с другом.
При использовании Открытых каналов в интеграции Битрикс24 отправка изображений через блок Изображение недоступна.

Подключить чат-бота к Битрикс24

Чтобы подключить чат-бота Aimylogic к Битрикс24:

Создать скрипт.
Добавить Аймилогик в Битрикс24.
Опубликовать чат-бот Aimylogic в Битрикс24.

Создать скрипт

Создать скрипт согласно ограничениям Битрикс24.

Узнайте больше о скриптах и создании чат-ботов.

Запуск диалога

В Битрикс24 только клиенты могут начать разговор с ботом. Чтобы каждый диалог запускался после любой фразы клиента, добавьте глобальное намерение $TEXT .

Нажмите Добавить экран → Создайте собственное намерение .
Добавить $TEXT в качестве шаблона.
Включить Сделать блок доступным из любой точки скрипта .
Свяжите это намерение с экраном приветствия в вашем скрипте.

Не соединяйте опцию Другие намерения с другими экранами.

Отныне бот будет запускать диалог, как только клиент напишет первое сообщение.

Обработка непредсказуемых клиентских сообщений

Чтобы ваш бот отвечал на клиентские сообщения, не предусмотренные сценарием, добавьте еще $TEXT намерение.

Из опции Другие намерения создать экран с ответом на случай, если бот не распознает фразу клиента.

На этот раз не включайте Сделайте блок доступным из любой точки скрипта . В противном случае глобальное намерение $TEXT , настроенное на запуск диалога, не будет перехватывать фразы с других экранов и переводить диалог на экран приветствия.

Системные переменные

Вы можете использовать системные переменные при работе с Битрикс24 Открытых каналов:

$bitrix. user.id — идентификатор клиента в CRM Битрикс24.
$bitrix.user.name — имя клиента в CRM Битрикс24.
$bitrix.params — данные текущего диалога.

Передача агенту

Вы также можете использовать Битрикс24 как платформу для взаимодействия с клиентами.

Сначала настройте канал Битрикс24, затем добавьте в скрипт блок Передача агенту . Битрикс24 будет автоматически указан как платформа для взаимодействия с клиентами.

Также вы можете передать диалог конкретному агенту.

Если у вас еще нет учетной записи агента в Битрикс24:

В Битрикс24 перейдите на вкладку Сотрудники .
Нажмите Пригласить пользователей .
Щелкните Скопировать ссылку .
Отправьте эту ссылку сотруднику, который будет общаться с вашими клиентами.
Дождитесь, пока ваш сотрудник перейдет по ссылке, зарегистрируется и присоединится к вашему Битрикс24.

Чтобы получить идентификатор вашего сотрудника, найдите своего сотрудника на 9Страница 0121 Сотрудники и перейдите в их профиль. В адресной строке вы увидите ссылку вида:

https://account.bitrix24.ru/company/personal/user/12/

Номер в конце ссылки — это идентификатор вашего сотрудника. Здесь идентификатор 12 . Укажите этот идентификатор в поле User ID при настройке блока Transfer to agent в Aimylogic.

После передачи диалога агенту клиент не может вернуться обратно к своему диалогу с ботом. Битрикс24 не предоставляет такой возможности. Вместо этого вы можете использовать Webim (Custom Channel API) или LiveTex в качестве платформы для взаимодействия с клиентами.

Закрытие чата в Битрикс24

Для обработки завершения разговора добавьте блок Конец скрипта .

Как только бот перейдет к этой части скрипта, текущий чат в Битрикс24 будет закрыт.

Добавить наше приложение в Битрикс24

Войти в свой аккаунт в Битрикс24.
На боковой панели выберите Еще → Маркет .
Найдите приложение Aimylogic на торговой площадке. При настройке приложения войдите в свою учетную запись Aimylogic.

После установки приложения образец чат-бота будет добавлен в ваш список чат-ботов. Он сразу будет доступен в Битрикс24.

Опубликовать свой скрипт в Битрикс24

Перейти на Aimylogic.
В скрипте перейдите на вкладку Каналы .
Выбрать Битрикс24 и Открыть каналы .
Настройте следующие параметры:
- Имя бота Битрикс24 — укажите имя, которое будет отображаться в диалогах с клиентами.
- Аватар бота — загрузите изображение, которое будет отображаться в диалогах с вашими клиентами.
- Открытые каналы — включите опцию, если хотите использовать бота в Битрикс24 через Открытые каналы.
- Включить бота вручную — включите эту опцию, если хотите включить бота вручную.