Правильный Robots.txt для Bitrix — Бери и внедряй!

Robots.txt для Bitrix

Создайте текстовый файл с названием robots.txt и скопируйте в него следующее содержание, после загрузите этот файл в корень сайта.

User-agent: *

Disallow: /*index.php$

Disallow: /bitrix/

Disallow: /auth/

Disallow: /personal/

Disallow: /upload/

Disallow: /search/

Disallow: /*/search/

Disallow: /*/slide_show/

Disallow: /*/gallery/*order=*

Disallow: /*?print=

Disallow: /*&print=

Disallow: /*register=

Disallow: /*forgot_password=

Disallow: /*change_password=

Disallow: /*login=

Disallow: /*logout=

Disallow: /*auth=

Disallow: /*?action=

Disallow: /*action=ADD_TO_COMPARE_LIST

Disallow: /*action=DELETE_FROM_COMPARE_LIST

Disallow: /*action=ADD2BASKET

Disallow: /*action=BUY

Disallow: /*bitrix_*=

Disallow: /*backurl=*

Disallow: /*BACKURL=*

Disallow: /*back_url=*

Disallow: /*BACK_URL=*

Disallow: /*back_url_admin=*

Disallow: /*print_course=Y

Disallow: /*COURSE_ID=

Disallow: /*?COURSE_ID=

Disallow: /*?PAGEN

Disallow: /*PAGEN_1=

Disallow: /*PAGEN_2=

Disallow: /*PAGEN_3=

Disallow: /*PAGEN_4=

Disallow: /*PAGEN_5=

Disallow: /*PAGEN_6=

Disallow: /*PAGEN_7=

Disallow: /*PAGE_NAME=user_post

Disallow: /*PAGE_NAME=detail_slide_show

Disallow: /*PAGE_NAME=search

Disallow: /*PAGE_NAME=user_post

Disallow: /*PAGE_NAME=detail_slide_show

Disallow: /*SHOWALL

Disallow: /*show_all=

Host: sitename.ru
Sitemap: http://www.sitename.ru/sitemap.xml
Наш блог

 
 
Накрутка лайков и подписчиков ВКОНТАКТЕ
 
 18:36 05/03/2020
ВКонтакте – это отличная площадка для бизнеса или ведения личного блога. Для привлечения активной аудитории владельцы сообществ иногда накручивают собственные показатели.

 
Накрутка подписчиков и лайков в Инстаграме: ТОП-10 сервисов
 
 14:48 05/03/2020
Инстаграм используют как обычные люди, так и предприниматели. Оба типа пользователей хотят популярности. И в этом помогут сервисы по накрутке подписчиков в Инстаграм.

  
Лучшие конструкторы Landing Page 2020 г.
 
 18:08 26/02/2020
Конструктор лэндингов представляет собой онлайн-сервис для создания различных сайтов без знаний программирования и особых навыков. Я подготовил обзор 12 сервисов и выбрал лучший из них!

 
Хостинг для сайта — ТОП-10 лучших!
 
 18:20 25/02/2020
Мы подготовили анализ различных хостинг провайдеров, у которых вы можете купить хостинг, сервер или домен.

 
Правильный robots.txt для 1C Bitrix (битрикс)
Как создать правильный robots.txt для Bitrix (битрикс). Файл роботс в этой cms регулярно обновляется разработчиками. Не забывайте скачивать его новую версию. Пример роботса для битрикс:
  
User-agent: *
Disallow: /bitrix/
Disallow: /search/
Allow: /search/map.php
Disallow: /club/search/
Disallow: /club/group/search/
Disallow: /club/forum/search/
Disallow: /communication/forum/search/
Disallow: /communication/blog/search.php
Disallow: /club/gallery/tags/
Disallow: /examples/my-components/
Disallow: /examples/download/download_private/
Disallow: /auth/
Disallow: /auth.php
Disallow: /personal/
Disallow: /communication/forum/user/
Disallow: /e-store/paid/detail.php
Disallow: /e-store/affiliates/
Disallow: /club/$
Disallow: /club/messages/
Disallow: /club/log/
Disallow: /content/board/my/
Disallow: /content/links/my/
Disallow: /*/search/
Disallow: /*PAGE_NAME=search
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGE_NAME=detail_slide_show
 
Disallow: /*/slide_show/
Disallow: /*/gallery/*order=*
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*register=yes
Disallow: /*forgot_password=yes
Disallow: /*change_password=yes
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*auth=yes
Disallow: /*action=ADD_TO_COMPARE_LIST
Disallow: /*action=DELETE_FROM_COMPARE_LIST
Disallow: /*action=ADD2BASKET
Disallow: /*action=BUY
Disallow: /*print_course=Y
Disallow: /*bitrix_*=
Disallow: /*backurl=*
Disallow: /*BACKURL=*
Disallow: /*back_url=*
Disallow: /*BACK_URL=*
Disallow: /*back_url_admin=*
Disallow: /*index.php$</p>
 
Далее замечу, что хост читает только паук яндекса. Поэтому следует создавать отдельный отсек и добавить:
Host: www.site.ru
 
Sitemap: https://www.site.ru/sitemap.xml
Highload-блог о программировании и интернет-бизнесе
Сдача готового сайта на «Битриксе» – полбеды. Как правило, всё самое интересное начинается после его первой индексации поисковыми роботами Google и Яндекс, когда в поисковую выдачу может попасть много ненужной для пользователей информации: от «технического мусора» до той фотографии с новогоднего корпоратива.
  
 
 

 Держись неизвестный SEO-шник, держись горе-программист, а ведь нужно-то было всего лишь составить правильный robots.txt для Битрикса.
 
 
 Для справки: robots.txt – это файл, расположенный в корне сайта и ограничивающий поисковых роботов в доступе к его определённым разделам и страницам.
 Robots.txt для корпоративных сайтов и сайтов-визиток
 
 

 Любимая фраза начинающих копирайтеров «каждый проект индивидуален» лучше всего подходит для нашей ситуации. Исключение составляют лишь стандартные директивы для robots.txt: User-agent; Disallow, Host и Sitemap. Если хотите – это обязательный минимум.
 
 

 Всё остальное в вопросах закрытия и перекрытия – на Ваше усмотрение. Несмотря на то, что «Битрикс» — это коробочное решение, директивы сделанных на нём проектов могут сильно отличаться друг от друга. Вопрос в структуре и функционале отдельно взятого сайта. 
 
 
 
 

 Представим, что у вас есть корпоративный сайт на «Битриксе» со стандартным набором разделов: «О компании», «Услуги», «Проекты», «Контакты», «Новости». Если контент на таком сайте уникальный, то нужно работать над закрытием технической части проекта.

 
1. Закрыть от индексации папку /bitrix и /cgi-bin. Чисто техническая информация (CSS, шаблоны, капчи), которая никому не нужна, кроме ругающегося в панели веб-мастеров GoogleBot’a. Можете смело закрывать её. Алгоритм действий следующий: Disallow: /example/ 
 
 
 2. Папка /search также не интересна ни поисковикам, ни пользователям. Закрыв её, вы обезопасите себя в выдаче от дублей страниц, повторяющихся тегов и тайтлов.
  
 
 
 3. При составлении robots.txt на «Битриксе» иногда забывают о закрытии форм авторизации и PHP-аутентификации на сайте. Речь идёт о 
 
 
 /auth/ 
 

 /auth.php
 
 
 4. Если на вашем сайте есть возможность распечатки каких-либо материалов: будь то карты местности или счёта на оплату, не забудьте закрыть в файле robots.txt следующие директории:
 
 
 /*?print= 
 

 /*&print=
 
 
 5. «Битрикс» бережно хранит всю историю Вашего сайта: успешные регистрации пользователей, записи об успешной смене и восстановлении паролей. Правда, сомневаемся, что это будет интересно поисковым роботам.
 
 
 /*register=yes 
 

 /*forgot_password=yes 
 

 /*change_password=yes 
 

 /*login=yes 
 

 /*logout=yes 
 
 
 /*auth=yes
 
 
 6. Представьте, вы просматриваете на сайте фотоальбом, открываете одну, вторую, третью фотографии, но на четвёртой решаете вернуться на шаг назад. В адресной строке появится вот что-то типа такого ругательства: ?back_url_ =%2Fbitrix%2F%2F.  Убирается оно опять же изменением файла robots.txt в корне CMS «1С-Bitrix». 
 
 
 /*BACKURL=* 
 

 /*back_url=* 
 

 /*BACK_URL=* 
 

 /*back_url_admin=*
 
 

 Таким образом, мы страхуем открытую часть (видна пользователям) и закрытую (видна администраторам CMS Битрикс). 
 
 
 7. Папка /upload. В ней «Битрикс» хранит картинки и видео с сайта. Если контент уникальный, то закрывать папку не нужно. Ведь проиндексированные картинки и видео – дополнительный источник трафика. Другое дело, когда в /upload хранится конфиденциальная информация или неуникальный контент. 
  
 
 
Скачать robots.txt для сайта на Bitrix
 
 

 Robots.txt на Битрикс для интернет-магазинов
 
 

 Основа та же, что и для корпоративных сайтов, но с несколькими поправками. 
 
 
 1. В отличие от небольшого сайта компании, в интернет-магазине, как правило, не менее ста страниц. Страницы паджинации, отвечающие за переход пользователя с одной карточки товара на другую, засоряют поисковые системы. Чем больше страниц, тем больше «мусора».
 
 
 /*?PAGEN
 
 
 2. Запрет индексации действий пользователей и администраторов сайта. Следы фильтрации, сравнения товаров, добавления товаров в корзину также должны быть скрыты от глаз поискового робота.
 
 
 /*?count 
 

 /*?action 
 

 /*?set_filter=*
3. Наконец, UTM-метки. Закрыть к ним доступ можно следующим образом:
 
 
 
 /*openstat= 
 

 /*utm_source=
 
 
Скачать robots.txt для интернет-магазина на Bitrix
Автогенерация robots.txt и sitemap.xml

 Файлы robots.txt и sitemap.xml – это самые важные для SEO-продвижения файлы сайта. В них содержатся команды для поисковых роботов. Благодаря им они понимают, какие страницы индексировать, а какие нет.

 При создании интернет-магазина эти файлы создаются администратором сайта. Подробности читайте в документации 1С-Битрикс: 
 Генератор robots.txt  
Генерация файла карты сайта 

 Далее вам нужно сгенерировать эти же файлы для каждого региона. Обычно файлы robots.txt и sitemap.xml для различных регионов создаются, настраиваются и редактируются вручную. В Аспро: Next впервые реализована возможность автоматической генерации файлов. Это принципиально новое решение задачи, которое позволит вам сэкономить время SEO-специалиста и сократить количество ошибок, которые возможны при ручном создании  robots.txt и sitemap.xml под каждый регион. Рассмотрим, как работает этот функционал, и как с его помощью научиться автоматически генерировать нужные файлы.

 После того, как вы создали файлы robots.txt и sitemap.xml для основного домена, инструкции из них можно продублировать в файлы, настраивающие доступ поисковых роботов к поддоменам. И здесь вам понадобится функция генерации файлов.

 Чтобы воспользоваться автоматической генерацией robots.txt, перейдите в административной части сайта в Рабочий стол → Аспро: Next → Генерация файлов → robots.txt.
 

 Используйте кнопку «Пересоздать robots.txt» для копирования основного файла robots.txt в директорию /aspro_regions/robots/ для каждого поддомена. Копии основного файла для поддоменов именуются по шаблону «robots_DOMAIN.txt». В каждой из них запись директивы Host будет изменена.

 Также предусмотрена возможность пересоздания файла robots.txt только для конкретного поддомена.

 Для редактирования файлов используйте одноименные кнопки.

 

 Чтобы использовать автогенерацию на sitemap.xml, перейдите в Рабочий стол → Аспро: Next → Генерация файлов → sitemap.xml.

 Кнопка «Пересоздать sitemap.xml» копирует все файлы в корне сайта с маской, указанной здесь же в поле «Адрес карты сайта», в директорию /aspro_regions/sitemap/ для каждого поддомена. Копии файлов для поддоменов имеют вид «файлы_по_маске_DOMAIN.xml». В этих копиях адрес сайта заменяется на значение, указанное в поле «Адрес сайта в карте сайта».
 
Что могут роботы и триггеры в Битрикс24?

Если вы используете коммерческий тариф Битрикс24, но не используете роботы и триггеры, то много теряете. Как с помощью простых настроек автоматизировать работу сотрудников, читайте в статье.
 

 
 

 Роботы в Битрикс24 — это простой помощник, с помощью которого вы сможете быстро автоматизировать не сложные бизнес-процессы вашего бизнеса. Они имеют массу настроек, но исходя из данной статьи, вам не сложно будет их освоить.


 Для сложных и многоуровневых процессов в Битрикс24 существует другой инструмент — «бизнес-процессы». С помощью бизнес-процессов в Битрикс24 можно полностью автоматизировать практически все деловые процессы компании, связать воедино работу отделов компании. 


 Мы много лет занимаемся созданием бизнес-процессов для CRM в Битрикс24. Знаем, как организовать управление процессами в компании — от простых до сложных.


 Используйте примеры готовых бизнес-процессов, консультируйтесь на Форуме или присылайте запросы на разработку индивидуальных бизнес-процессов. Для этого заполните Бриф на разработку и отправьте его на почту Пинол: [email protected]

 

 Алексей Окара, 

 основатель Пинол

 
Роботы и триггеры — в чем разница?

 Роботы и триггеры в Битрикс24 — это простой и эффективный инструмент для автоматизации продаж. Доступен он пользователям тарифного плана «Проект+» и выше (роботы в сделках доступны только с тарифного плана «Команда»).
Основное отличие роботов от триггеров:
 
роботы запускают какой-то процесс (создание письма, уведомления, задачи или отправка SMS-сообщения), когда лид или сделка переходит на определенную стадию обработки;
 
триггеры переводят лид или сделку в нужную стадию, если происходит какое-то событие (входящее письмо, заполнена форма на сайте и т.д.).
 

 Итак, когда сущность переходит в статус, для которого настроен робот, он сработает и выполнит какие-то действия вместо менеджера. Например, можно настроить робота, который будет отправлять письмо клиенту, если лид принят в работу (перешел в стадию «Назначен ответственный»).

 Запустить же триггер может какое-то действие со стороны клиента, когда сущность находится на определенной стадии. Например, если лид заполнил форму на сайте, то он, минуя другие стадии сразу перейдет на стадию «Качественный лид».
 
Как настроить робота в Битрикс24?

 Рассмотрим, как с помощью робота автоматизировать работу со сделками.

 В Битрикс24 есть стандартные этапы, по которым движется сделка, но можно создавать свои этапы в зависимости от регламента компании. Для этого нужно перейти в настройки CRM, открыть настройки роботов и бизнес-процессов для сделок:
 

 Например, этапы сделок выглядит следующим образом:
 

 В соответствии с регламентом компании, на каждом этапе сделки менеджер должен выполнить определенные работы. Например, при переходе сделки на этап «Формирование КП», менеджеру необходимо подготовить коммерческое предложение.

 Если у менеджера в работе находится много сделок, то есть вероятность, что он просто может забыть в срок составить предложение клиенту. Автоматизируем создание задачи менеджеру и контроль сроков ее выполнения. Для этого на стадию «Формирование КП» создадим робота:
 

 О том, как настроить данного робота мы подробно рассказывали в этой статье.
 
Что могут роботы?

 Роботы в Битрикс24 делятся на такие категории: для сотрудника, для связи с клиентом, для автоматизации рекламы, свои роботы.
☞ Роботы для сотрудника

 Для сотрудника можно автоматизировать такие функции:
Добавить в список исключений — используется для того, чтобы данные этого лида или сделки, его письма и звонки не попадали в CRM.
 
Задание — используется, чтобы создать задание CRM для указанного сотрудника.
 
Задача — как ясно из названия, этот робот поставит задачу для сотрудника. Здесь можно установить крайний срок и другие атрибуты задачи.
 
Запланировать встречу/звонок — создаст встречу или звонок с клиентом. При этом, данные о событии будут внесены в список дел в календаре ответственного.
 
Изменение документа — этот робот изменит выбранное поле лида или сделки (на пример, при переходе лида в успешную стадию можно добавлять к его названию «Успешно сконвертированный»).
 
Контроль — используйте данного робота, чтобы отправить руководителю ответственного менеджера сообщение. Например, можно отправить сообщение руководителю о том, что лид или сделка находится на одной стадии больше времени, чем положено по регламенту.
 
Копировать сделку — робот сделает копию текущей сделки. Здесь можно настроить, чтобы новая сделка попала в другое направление и имела другого ответственного.
 
Ожидание — робот приостановит обработку лида или сделки. Например, после отправки письма клиенту, нужно приостановить работу по сделке и ждать, пока клиент не ответит на него.
 
Отправить SMS — используется для отправки SMS-сообщения сотруднику. Для этого нужно предварительно настроить одного из провайдеров в Битрикс24.
 
Сменить ответственного — используется, если по регламенту компании на разных этапах работы по сделке или обработки лида работают разные менеджеры. Например, один менеджер занимается сбором информации, а другой — переговорами и заключением сделок.
 
Сменить статус — если выполняется заданное условие (например, не заполнено какое-то поле), то робот передвинет лид или сделку в нужный статус (например, вернет на стадию «Уточнение информации»).
 
Создание Документа CRM — как ясно из названия, на основании шаблона, который вы укажите, робот создаст документ в CRM.
 
Создать Контакт к лиду — робот не cконвертирует лид, а создаст контакт и привяжет его к данному лиду.
 
Создать на основании — выберите этого робота, чтобы автоматически создавать на основании лида сделку, контакт или компанию (конвертировать лид), а на основании сделки создавать счет или предложение (конвертировать сделку).
 
Создать повторный лид — робот используется, чтобы запустить новый процесс продажи для существующего клиента.
 
Сообщение в Живую ленту — включите этого робота для нужной стадии, чтобы обсудить рабочий процесс по сделке или лиду с коллегами.
 
Уведомление — используется для отправки уведомления указанным сотрудникам. Например, при создании новой сделки можно отправить руководителю уведомление об ожидаемой сумме сделки.
 
Удаление документа — при наступлении определенных условий (лид перешел в статус «Некачественный лид»), робот удалит текущий лид или сделку.
☞ Роботы для связи с клиентом
 
 
Информационный звонок — робот совершит звонок клиенту и произнесет указанный текст.
 
Отправить SMS — как ясно из названия, вы можете настроить автоматическую отправку SMS клиенту, если лид или сделка перешли в определенную стадию.
 
Отправить письмо — аналогично отправке SMS.
 
Сообщение в открытую линию — если клиент обратился к вам через мессенджер или социальную сеть, то с помощью данного робота, вы можете отправлять ему сообщения в тот канал, из которой он с вами связался.
 

☞ Реклама

 Если вы используете рекламу, то настройте этого робота, чтобы автоматически добавлять данные клиента в список аудитории, для которой вы настроили рекламу.
 
☞ Свои роботы

 В Битикс24 можно использовать роботов сторонних разработчиков — «Webhook» и «Приложения24».

 Как видите, роботы, легко настраиваются и достаточно много умеют. Теперь рассмотрим, как настроить и что могут триггеры.
 
Как настроить триггеры в Битрикс24?

 Так же как и роботы, триггеры настраиваются для различных стадий лидов и сделок:
 

 Например, у нас есть стадия «Ответ по КП». В данную стадию сделка должна переместиться тогда, когда клиент прочитал ранее отправленное письмо с коммерческим предложением.

 Для автоматизации данного процесса устанавливаем триггер на стадию «Ответ по КП» и настраиваем его таким образом, чтобы триггер реагировал на прочитанное письмо клиентом.

 Исходя из настроек, наша сделка автоматически перейдет на стадию «Ответ по КП» после того, как клиент прочитает письмо с коммерческим предложением.
 

 Тонкую настройку данного триггера мы рассматривали в статье: «Как получить уведомление о прочтении коммерческого предложения клиентом в Битрикс24?».
 
Что могут триггеры?

 Триггеры могут автоматически переместить ваш лид или сделку в определенную стадию, если произойдет одно из событий:
Входящее письмо — сработает, если клиент прислал сообщение на электронную почту.
 
Письмо прочитано — получатель прочитал письмо, отправленное из карточки CRM или роботом «Отправить письмо клиенту».
 
Переход по ссылке из письма — получатель открыл ссылку в письме (ссылка указывается в настройках триггера).
 
Входящий звонок — если у вас подключена телефония, то при использовании данного триггера, он сработает после входящего вызова.
 
Заполнение CRM-формы — сработает, если клиент заполнил и отправил CRM-форму с вашего сайта.
 
Webhook — используйте этот триггер, если используете стороннее приложение (в настройках необходимо указать URL).
 
Визит — сработает при использовании визит-трекера.
 
Возврат посетителя на сайт — если клиент поступает в систему через CRM-форму или обратный звонок на вашем сайте, то система сможет отследить когда этот же посетитель снова зайдёт на сайт.
 
Входящее сообщение в Открытую линию — как ясно из названия, триггер сработает, когда будет получено сообщение в открытую линию.
 
Триггеры приложений — если вы используете решения из каталога Приложения24, то можно создавать дополнительные события.
 

Выводы

 Надеемся, мы убедили вас в том, что роботы и триггеры — это простой и эффективный инструмент для автоматизации рутинных рабочих процессов. Если вы используете бесплатный тарифный план Битрикс24, но желаете автоматизировать работу сотрудников, то предлагаем перейти на платный тариф на выгодных условиях.

 Отправьте заявку прямо сейчас, и мы свяжемся с вами в ближайшее рабочее время, чтобы обсудить условия перехода на коммерческий тариф Битрикс24:

 Отправить заявку

 Если требуется автоматизировать более сложные деловые процессы вашей компании, вы можете заказать у нас разработку бизнес-процессов. Для этого заполните Бриф на разработку и отправьте его на почту Пинол: [email protected]