Robots.txt и SEO: полное руководство
Опубликовано: 2021-07-06
Robots.txt — это простой, но важный файл, который может определить судьбу вашего веб-сайта на страницах результатов поисковых систем (SERP).
Ошибки robots.txt — одни из самых распространенных ошибок SEO, которые вы обычно обнаруживаете в отчете по аудиту SEO. Фактически, даже самые опытные специалисты по SEO подвержены ошибкам robots.txt.
Вот почему важно глубже понять, как работает robots.txt.
Понимая основы, вы сможете создать идеальный файл robots.txt, который упростит поисковым системам сканирование и индексирование ваших страниц.
В этом руководстве мы рассмотрим:
- Что такое robots.txt
- Почему важен robots.txt
- Как найти файл robots.txt
- Синтаксис robots.txt
- Как создать файл robots.txt
- Как проверить, работает ли ваш robots.txt
- Лучшие практики robots.txt
К концу этого поста у вас будет оптимизированный для SEO файл robots.
Давайте прямо сейчас погрузимся.
Что такое Robots.txt?Robots.txt — это текстовый файл, созданный владельцами веб-сайтов, который инструктирует поисковые системы о том, как сканировать страницы на вашем веб-сайте. Иными словами, файл robots.txt сообщает поисковым системам, где он может и не может перейти на ваш сайт.
Согласно Google:
Файл robots.txt используется в первую очередь для управления трафиком сканеров на ваш сайт и, в зависимости от типа файла, обычно для защиты страницы от Google.
Например, если на вашем сайте есть определенная страница, которую вы не хотите, чтобы Google индексировал, вы можете использовать robots.txt, чтобы заблокировать сканирование этой страницы роботом Googlebot (поисковый робот Google).
Почему важен Robots.txt?Вопреки распространенному мнению, наличие файла robots.txt не обязательно для всех веб-сайтов.
Если на вашем веб-сайте очень мало страниц, вам не нужно создавать файл robots.txt для вашего веб-сайта.
Google достаточно развился, чтобы узнать, какие страницы индексировать, а какие игнорировать.
Тем не менее, как правило, лучше всего иметь файл robots.txt, даже если у вас небольшой веб-сайт.
Почему?
Потому что это дает вам больше контроля над тем, какие страницы вы хотите, чтобы поисковые роботы индексировали.
Давайте подробнее рассмотрим 5 основных причин, по которым вы хотите создать файл robots.txt для своего веб-сайта:
- Блокируйте частные страницы от поисковых роботов: вы можете использовать robots.txt, чтобы заблокировать частные страницы на своем веб-сайте. Ваша страница входа или промежуточные версии страниц вашего сайта должны быть недоступны для широкой публики. Здесь вы можете использовать robots.txt, чтобы предотвратить попадание на эти страницы других людей.
- Оптимизируйте бюджет сканирования. Бюджет сканирования — это количество страниц, которые робот Googlebot будет сканировать в любой день. Если у вас возникли проблемы с индексированием всех важных страниц, возможно, вы столкнулись с проблемой обходного бюджета. Это тот случай, когда вы можете использовать robots.txt для оптимизации бюджета сканирования, заблокировав доступ к неважным страницам.
- Предотвращение сканирования дублированного контента: если у вас один и тот же контент отображается на нескольких страницах, вы можете использовать robots.txt, чтобы предотвратить ранжирование дублирующихся страниц в поисковой выдаче. Это распространенная проблема, с которой сталкиваются веб-сайты электронной коммерции, которую можно легко предотвратить, добавив простые директивы в файл robots.txt.
- Предотвращение появления файлов ресурсов в поисковой выдаче: Robots.txt может помочь вам предотвратить индексацию файлов ресурсов, таких как PDF-файлы, изображения и видео.
- Предотвращение перегрузки сервера: вы можете использовать robots.txt, чтобы указать задержку сканирования, чтобы избежать перегрузки вашего сайта запросами.
Если у вас уже есть файл robots.txt, его очень легко найти.
Просто введите yoursitename.com/robots.txt в своем браузере, и если на вашем сайте есть файл robots.txt, он должен выглядеть примерно так:
Если на вашем сайте нет файла robots.txt, вы найдете пустую страницу.
Синтаксис robots.txtПеред созданием файла robots.txt необходимо ознакомиться с синтаксисом, используемым в файле robots.txt. Вот 4 наиболее распространенных компонента, которые вы заметите в своем файле robots.txt:
- User-agent: это имя поискового робота, которому вы даете инструкции для сканирования. У каждой поисковой системы свое имя агента пользователя. Пример: Googlebot — это имя пользовательского агента Google.
- Disallow: это директива, используемая для указания пользовательскому агенту не сканировать определенный URL.
- Разрешить: эта директива используется для указания агенту пользователя сканировать страницу, даже если его родительская страница запрещена.
- Карта сайта: это директива, используемая для указания местоположения вашей карты сайта XML для поисковых систем.
Если на вашем сайте нет файла robots.txt, его легко создать. Вы можете использовать любой текстовый редактор для создания файла robots.txt.
Если вы используете Mac, вы можете создать файл robots.txt с помощью приложения TextEdit.
Откройте текстовый документ и начните вводить директивы.
Например, если вы хотите, чтобы Google проиндексировал все ваши страницы и просто скрыл страницу администратора, создайте файл robots.txt, который выглядит следующим образом:
Пользовательский агент: * Запретить: / wp-admin /
Когда вы закончите вводить все директивы, сохраните файл как «robots.txt».
Вы также можете использовать этот бесплатный генератор robots.txt от SEOptimer для создания файла robots.txt.
Если вы хотите избежать каких-либо синтаксических ошибок при создании файла robots.txt, я настоятельно рекомендую вам использовать генератор robots.txt. Даже небольшая синтаксическая ошибка может деиндексировать ваш сайт, поэтому убедитесь, что ваш robots.txt настроен правильно.
Когда файл robots.txt будет готов, загрузите его в корневой каталог своего веб-сайта.
Используйте FTP-клиент, например Filezilla, чтобы поместить текстовый файл в корневой каталог домена. Например, файл robots.txt на yoursitename.com должен быть доступен по адресу yoursitename.com/robots.txt .
Как проверить, работает ли ваш Robots.txtПосле того, как вы загрузили файл robots.txt в корневой каталог, вы можете проверить его с помощью тестера robots.txt в консоли поиска Google.
Инструмент robots.txt Tester проверит, правильно ли работает ваш robots.txt. Если вы заблокировали сканирование каких-либо URL-адресов в своем файле robots.txt, инструмент Tester проверит, действительно ли определенные URL-адреса блокируются веб-сканерами.
То, что ваш robots.txt проверен один раз, не означает, что он навсегда останется без ошибок.
Ошибки robots.txt встречаются довольно часто. Плохо настроенный файл robots.txt может повлиять на возможность сканирования вашего сайта. Поэтому вам нужно внимательно следить за проблемами и убедиться, что ваш файл robots.txt не содержит ошибок.
Самый эффективный способ проверить файл robots.txt на наличие проблем — использовать Google Search Console. Войдите в свою учетную запись Google Search Console и перейдите к отчету «Покрытие» в разделе «Индекс».
Если есть какие-либо ошибки и предупреждения, связанные с вашим файлом robots.txt, вы найдете их в отчете «Покрытие».
Вы также можете использовать такой инструмент, как SEMrush, для проверки вашего файла robots.txt на наличие ошибок.
Если у вас есть активная подписка на SEMrush, регулярно проводите аудит своего сайта, чтобы поддерживать его техническое состояние при поисковой оптимизации, а также выявлять и исправлять ошибки robots.txt.
Чтобы проверить файл robots.txt на наличие ошибок, посетите последний обзорный отчет аудита сайта и найдите виджет « Обновления файла robots.txt» . Вы увидите, смог ли SEMrushBot просканировать ваш файл robots.txt.
Если вы внесли какие-либо изменения в файл robots.txt, SEMrush отобразит количество изменений, внесенных в него с момента последнего сканирования.
Что еще более важно, SEMrush также выявит проблемы с вашими файлами robots.txt и предоставит рекомендации по их устранению, чтобы улучшить возможность сканирования и индексирования вашего веб-сайта.
Примечание: SEMrush — это мощное программное обеспечение для SEO, которое может помочь вам не только в техническом анализе SEO. Вы можете использовать его для исследования ключевых слов, анализа обратных ссылок, исследования конкурентов и многого другого. Попробуйте SEMrush Pro бесплатно в течение 30 дней.
Рекомендации по использованию Robots.txtТеперь, когда вы знаете основы robots.txt, давайте кратко рассмотрим некоторые из лучших практик, которым вам необходимо следовать:
1. Robots.txt чувствителен к регистру.Имя файла robots.txt чувствительно к регистру. Поэтому убедитесь, что файл называется «robots.txt» (а не robots.TXT, ROBOTS.TXT, Robots.Txt и т. Д.)
2. Поместите файл Robots.txt в главный каталог.Ваш файл robots.txt должен быть помещен в основной каталог вашего сайта. Если ваш файл robots.txt помещен в подкаталог, он не будет найден.
Плохо:
yoursitename.com/page/robots.txt
Хорошо:
yoursitename.com/robots.txt
3. Используйте подстановочные знаки для управления сканированием вашего сайта поисковыми системами.В файле robots.txt можно использовать два подстановочных знака — подстановочный знак (*) и подстановочный знак ($). Использование этих подстановочных знаков robots.txt помогает вам контролировать, как поисковые системы сканируют ваш сайт. Давайте рассмотрим каждый из этих подстановочных знаков:
(*) Подстановочный знакВы можете использовать подстановочный знак (*) в файле robots.txt для адресации всех пользовательских агентов (поисковых систем). Например, если вы хотите запретить всем сканерам поисковых систем сканировать вашу страницу администратора, ваш файл robots.txt должен выглядеть примерно так:
Пользовательский агент: * Запретить: / wp-admin /($) Подстановочный знак
Подстановочный знак ($) указывает конец URL-адреса. Например, если вы хотите запретить сканерам индексировать все файлы PDF на вашем сайте, ваш файл robots.txt должен выглядеть примерно так:
Пользовательский агент: * Запретить: /*.pdf$4. Используйте комментарии для справок в будущем.
Комментарии в вашем файле robots.txt могут быть полезны разработчикам и другим членам команды, у которых есть доступ к файлу. Их также можно использовать для справок в будущем.
Чтобы добавить комментарии к файлу robots.txt, введите ключ решетки (#) и введите свой комментарий.
Вот пример:
# This blocks Googlebot from crawling yoursitename.com/directory1/ User-agent: googlebot Disallow: /directory1/
Поисковые роботы игнорируют строки, содержащие хэш.
5. Создайте отдельный файл Robots.txt для каждого субдомена.Для каждого поддомена требуется собственный файл robots.txt. Таким образом, если у вас есть раздел вашего сайта, размещенный на другом субдомене, вам необходимо создать два отдельных файла robots.txt.
Например, блог HubSpot размещен на субдомене и имеет собственный файл robots.txt:
Последние мыслиRobots.txt может быть простым текстовым файлом, но это мощный инструмент SEO. Оптимизированный файл robots.txt может улучшить индексируемость ваших страниц и повысить видимость вашего сайта в результатах поиска.
Для получения дополнительной информации о том, как создать идеальный файл robots.txt, вы можете обратиться к этому руководству по robots.txt от Google.
Если вы нашли эту статью полезной, поделитесь ею в Твиттере, используя ссылку ниже:
Robots.txt и SEO: полное руководство Нажмите, чтобы твитнутьПримечание редактора: эта статья была впервые опубликована 3 декабря 2020 года и с тех пор регулярно обновляется для обеспечения актуальности и полноты.
Статьи по Теме
- Как создать карту сайта в формате XML для вашего веб-сайта (и отправить ее в Google)
- Контрольный список для технического SEO: 10 технических советов по SEO для мгновенного увеличения вашего трафика
- SEMrush Site Audit: 10 самых недооцененных функций
Robots.txt — инструкция для SEO
Файл robots.txt предоставляет важную информацию для поисковых роботов, которые сканируют интернет. Перед тем как пройтись по страницам вашего сайта, поисковые роботы проверяют данный файл.
Это позволят им с большей эффективностью сканировать сайт, так как вы помогаете роботам сразу приступать к индексации действительно важной информации на вашем сайте (это при условии, что вы правильно настроили robots.txt).
Но, как директивы в robots.txt, так и инструкция noindex в мета-теге robots являются лишь рекомендацией для роботов, поэтому они не гарантируют что закрытые страницы не будут проиндексированы и не будут добавлены в индекс.
Если вам нужно действительно закрыть часть сайта от индексации, то, например, можно дополнительно воспользоваться закрытие директорий паролем.
Основной синтаксисUser-Agent: робот для которого будут применяться следующие правила (например, «Googlebot»)
Disallow: страницы, к которым вы хотите закрыть доступ (можно указать большой список таких директив с каждой новой строки)
Каждая группа User-Agent / Disallow должны быть разделены пустой строкой. Но, не пустые строки не должны существовать в рамках группы (между User-Agent и последней директивой Disallow).
Символ хэш (#) может быть использован для комментариев в файле robots.txt: для текущей строки всё что после # будет игнорироваться. Данные комментарий может быть использован как для всей строки, так в конце строки после директив.
Каталоги и имена файлов чувствительны к регистру: «catalog», «Catalog» и «CATALOG» – это всё разные директории для поисковых систем.
Host: применяется для указание Яндексу основного зеркала сайта. Поэтому, если вы хотите склеить 2 сайта и делаете постраничный 301 редирект, то для файла robots.txt (на дублирующем сайте) НЕ надо делать редирект, чтобы Яндекс мог видеть данную директиву именно на сайте, который необходимо склеить.
Crawl-delay: можно ограничить скорость обхода вашего сайта, так как если у вашего сайта очень большая посещаемость, то, нагрузка на сервер от различных поисковых роботов может приводить к дополнительным проблемам.
Регулярные выражения: для более гибкой настройки своих директив вы можете использовать 2 символа
- * (звездочка) – означает любую последовательность символов
- $ (знак доллара) – обозначает конец строки
Запрет на индексацию всего сайта
User-agent: *
Disallow: /
Эту инструкцию важно использовать, когда вы разрабатываете новый сайт и выкладываете доступ к нему, например, через поддомен.
Очень часто разработчики забывают таким образом закрыть от индексации сайт и получаем сразу полную копию сайта в индексе поисковых систем. Если это всё-таки произошло, то надо сделать постраничный 301 редирект на ваш основной домен.
А такая конструкция ПОЗВОЛЯЕТ индексировать весь сайт:
User-agent: *
Disallow:
Запрет на индексацию определённой папки
User-agent: Googlebot
Disallow: /no-index/
Запрет на посещение страницы для определенного робота
User-agent: Googlebot
Disallow: /no-index/this-page.html
Запрет на индексацию файлов определенного типа
Disallow: /*.pdf$
Разрешить определенному поисковому роботу посещать определенную страницу
User-agent: *
Disallow: /no-bots/block-all-bots-except-rogerbot-page.html
User-agent: Yandex
Allow: /no-bots/block-all-bots-except-Yandex-page.html
Ссылка на Sitemap
User-agent: *
Disallow:
Sitemap: http://www.example.com/none-standard-location/sitemap.xml
Нюансы с использованием данной директивы: если у вас на сайте постоянно добавляется уникальный контент, то
- лучше НЕ добавлять в robots.txt ссылку на вашу карту сайта,
- саму карту сайта сделать с НЕСТАНДАРТНЫМ названием sitemap.xml (например, my-new-sitemap.xml и после этого добавить эту ссылку через «вебмастерсы» поисковых систем),
так как, очень много недобросовестных вебмастеров парсят с чужих сайтов контент и используют для своих проектов.
Что лучше использовать robots.txt или noindex?Статья в тему: Создаем sitemap для Google и Яндекс
Если вы хотите, чтобы страница не попала в индекс, то лучше использовать noindex в мета-теге robots. Для этого на странице в секции <head> необходимо добавить следующий метатег:
<meta name=”robots” content=”noindex, follow”>.
Это позволит вам
- убрать из индекса страницу при следующем посещение поискового робота (и не надо будет делать в ручном режиме удаление данной страницы, через вебмастерс)
- позволит вам передать ссылочный вес страницы
Через robots.txt лучше всего закрывать от индексации:
- админку сайта
- результаты поиска по сайту
- страницы регистрации/авторизации/восстановление пароля
После того, как вы окончательно сформировали файл robots.txt необходимо проверить его на ошибки. Для этого можно воспользоваться инструментами проверки от поисковых систем:
Google Вебмастерс: войти в аккаунт с подтверждённым в нём текущим сайтом, перейти на Сканирование -> Инструмент проверки файла robots.txt.
В данном инструменте вы можете:
- сразу увидеть все свои ошибки и возможные проблемы,
- прямо в этом инструменте провести все правки и сразу проверить на ошибки, чтобы потом уже перенести готовый файл себе на сайт,
- проверить правильно ли вы закрыли все не нужные для индексации страницы и открыты ли все нужные страницы.
Яндекс Вебмастер: чтобы воспользоваться данным инструментом просто перейдите по этой ссылке http://webmaster.yandex.ru/robots.xml.
Этот инструмент почти аналогичный предыдущему с тем небольшим отличием, что:
- тут можно не авторизоваться и нет необходимости в подтверждении прав на сайт, а поэтому, можно сразу приступать к проверке вашего файла robots.txt,
- для проверки сразу можно задать список страниц, а не вбивать их по одному,
- точно убедиться, что Яндекс правильно понял ваши инструкции.
Создание и настройка robots.txt является в списке первых пунктов по внутренней оптимизации сайта и началом поискового продвижения.
Важно его настроить грамотно, чтобы нужные страницы и разделы были доступны к индексации поисковых систем. А не нужные были закрыты.
Но главное помнить, что robots.txt не гарантирует того, что страницы не будут проиндексированы. Как когда-то сказала наша коллега Анастасия Пареха:
Robots.txt — как презерватив, вроде защищает, но вероятность всегда есть)
Хорошие статьи в продолжение:
— 301 редирект – самое полное руководство
— Пагинация для SEO – пошаговое руководство
— Ответы сервера – практичная методичка
А что вы думаете про настройку robots.txt на сайте?
Оцените статью
Загрузка…8 частых ошибок в robots.txt, о которых все забывают
Содержание:
Как обнаружить и исправить ошибки в файле robots.txt
Каждый уважающий себя веб-мастер должен иметь хотя бы общее представление о том, как управлять процессом индексации страниц и файлов сайта в поисковых системах.
Не будем тянуть резину и сразу отметим, что для нахождения общего языка с поисковыми роботами достаточно правильно настроить robots.txt. Ключевое слово – «правильно». Ведь если допустить в robots.txt ошибки, последствия могут быть довольно неприятными.
Самые частые ошибки файла robots.txt
- Перепутанные значения директив (по незнанию или по недосмотру).
- Перечисление нескольких URL в одной директиве Disallow.
- Название файла robots.txt с ошибками.
- В названии файла robots.txt присутствуют заглавные буквы.
- Пустое поле в User-agent.
- Отсутствующая директива Disallow.
- Неправильный формат URL в директиве Disallow.Ошибка в файле robots.txt на левой половине скриншота приведет к тому, что от индексации будут закрыты все страницы и файлы, в начале URL которых содержится «admin».Все будет указано правильно, если использовать символы «$» и «/» для указания «разрыва».
- Перечисление всех файлов директории. В принципе это не совсем ошибка. Просто рациональнее в этом случае закрыть от индексации всю директорию целиком.
Принципы, которым нужно следовать, чтобы предотвратить ошибки в файле robots.txt
- Прописанные в robots.txt директивы являются рекомендациями, которых придерживаются лишь роботы крупных поисковых систем. Сторонние боты чаще всего на них внимания не обращают. Поэтому их лучше блокировать по IP.
- Заблокированные в robots.txt страницы все еще продолжают быть доступными интернет-пользователям. Поэтому если цель – скрыть веб-страницу не только от роботов, но и от пользователей, на нее нужно установить пароль.
- Поддомены рассматриваются поисковиками как отдельные сайты. Поэтому рекомендации по их индексации следует прописывать в отдельных robots.txt в корне каждого поддомена.
- robots.txt нечувствителен к регистру. Поэтому директивы можно писать как строчными, так и прописными. Но имена файлов и директорий должны прописываться только так, как они выглядят в адресной строке браузера.
- Указанный в директиве User-agent реагирует на все указанные под ним директивы вплоть до следующей строки с User-agent. Поэтому не стоит надеяться, что директивы под вторым User-agent будут выполнены роботом, указанным в первом User-agent. Для каждого робота указания нужно дублировать.
Проверка robots.txt на ошибки
Чтобы проверить robots.txt на ошибки, проще всего воспользоваться предназначенными для этого инструментами от поисковых систем.
В случае с Google нужно зайти в Search Console/Сканирование и выбрать «Инструмент проверки файла robots.txt».
Под окном с содержимым искомого файла можно увидеть количество ошибок и предупреждений.
В Яндекс.Вебмастере имеется аналогичный функционал (Инструменты/Анализ robots.txt).
Также имеется возможность узнать, сколько в проверяемом robots.txt ошибок.
Правда, если обе проверки покажут, что ошибок нет, это еще не повод радоваться. Это лишь значит, что прописанные в файле инструкции соответствуют стандартам.
Но в нем вполне могут быть многие из вышеописанных ошибок, которые приведут к проблемам с индексацией сайта. Поэтому при проверке robots.txt на ошибки не стоит полагаться лишь на подобные автоматизированные инструменты – нужно и самому все внимательно проверять.
Как оптимизировать Robots.txt для SEO в WordPress
Вы хотите оптимизировать свой файл robots.txt в WordPress? Не уверены, почему и каким образом файл robots.txt имеет важное значение для вашего SEO? В этой статье расскажем вам, как оптимизировать ваш файл robots.txt на сайте WordPress для SEO и поможем вам понять важность файла robots.txt.В последнее время, пользователи спрашивают нас, нуждаются ли сайт в файле robots.txt и какова важность его? Файл robots.txt для вашего сайта играет важную роль в общей производительности и seo оптимизации вашего сайта. Это в основном позволяет вам общаться с поисковыми системами и дают им знать, какие части вашего сайта они должны индексировать.
Нужен ли файл robots.txt?
Отсутствие файла robots.txt не остановит поисковых систем от сканирования и индексирования вашего сайта. Тем не менее, настоятельно рекомендуется создать один. Если вы хотите представить на вашем сайте в XML карту сайта для поисковых систем, то в файле поисковые системы будут искать ваш XML Sitemap, если вы не указали его в Yandex webmaster или Google Webmaster Tools.
Мы настоятельно рекомендуем, если у вас нет файла robots.txt на вашем сайте, то вы должны сразу же создать.
Где находится файл robots.txt? Как создать файл robots.txt?
Файл robots.txt, как правило, находится в корневой папке вашего сайта. Вам нужно будет подключиться к вашему сайту с использованием клиента FTP или с помощью файлового менеджера CPanel для его просмотра.
Он такой же, как любой обычный текстовый файл, и вы можете открыть его с помощью обычного текстового редактора как Блокнота.
Если у вас нет файла robots.txt в корневом каталоге вашего сайта, то вы всегда можете создать. Все, что вам нужно сделать, это создать новый текстовый файл на вашем компьютере и сохранить его в файле robots.txt. Далее, просто загрузите его в корневую папку вашего сайта.
Как использовать файл robots.txt?
Формат файла robots.txt на самом деле довольно прост. Первая строка обычно называет User-Agent. Агент пользователя на самом деле имя бота поисковой системы, которые пытаются прочитать ваш сайт. Например, Googlebot или Yandexbot. Вы можете использовать звездочку *, чтобы проинструктировать всех ботов.
В следующей строке следует разрешить или запретить инструкции для поисковых систем, чтобы они знали, какие части вы хотите, чтобы индексировались, и какие из них вы не хотите индексировать.
Смотрите пример файла robots.txt:
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /readme.html
В этом примере файл robots.txt для WordPress, мы поручили всем ботам индексировать наш каталог загрузки изображения.
В следующих двух строках мы им запрещаем индексировать наш каталог плагинов WordPress и файл readme.html.
Оптимизация файла Robots.txt для SEO
В руководстве для веб-мастеров, Google советует веб-мастерам, не использовать файл robots.txt, чтобы скрыть содержание низкого качества. Если вы думаете об использовании файла robots.txt, чтобы остановить Google индексировать категории, даты и другие архивные страницы, то это не может быть мудрым выбором.
Помните, что цель robots.txt является поручить ботам, что делать с содержанием, когда они сканируют ваш сайт. Это не помешает ботам сканировать ваш сайт.
Есть и другие плагины для WordPress, которые позволяют добавлять мета-теги, как NOFOLLOW и мета тег noindex в ваших страницах архива. Плагин WordPress SEO также позволяет сделать это. Мы не говорим, что вы должны иметь ваши архивные страницы deindexed, но если вы хотите сделать это, то, что правильный способ сделать это.
Вам не нужно добавлять страницу логина, каталога администратора или страницу регистрации в robots.txt, потому что логин и регистрационные страницы имеют теги NOINDEX, которые уже добавлены как мета-тег с помощью WordPress.
Он рекомендуется запретить readme.html файл в файле robots.txt. Этот файл readme может быть использован кем-то, кто пытается выяснить, какую версию WordPress вы используете. Если бы это было физическое лицо, то они могут легко получить доступ к файлу, просто просматривая его.
С другой стороны, если кто-то работает с вредоносными запросами, чтобы найти сайты на WordPress с использованием конкретной версии, то этот тег Disallow может защитить вас от этих массовых атак.
Вы также можете запретить ваш каталог плагинов WordPress. Это будет способствовать укреплению безопасности вашего сайта, если кто-то ищет конкретный уязвимый плагин, чтобы использовать его для массовой атаки.
Добавление вашей XML Sitemap в файл robots.txt
Если вы используете плагин Йоаст в WordPress SEO или какой – либо другой плагин для генерации XML Sitemap , то ваш плагин будет пытаться автоматически добавлять связанные строки в вашем файле Sitemap в файл robots.txt.
Однако, если это не удается, то ваш плагин покажет вам ссылку на XML Sitemaps, который вы можете добавить в свой файл robots.txt вручную следующим образом:
Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml
Как должен выглядеть идеальный файл robots.txt?
Честно говоря, многие популярные блоги используют очень простые файлы robots.txt. Их содержание варьируются в зависимости от потребностей конкретного сайта:
User-agent: * Disallow: Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml
Этот файл robots.txt просто сообщает всем ботам индексировать все содержание и предоставляет ссылки на XML Sitemaps сайта.
Вот еще один пример файла robots.txt, на этот раз это тот, который мы используем здесь на AndreyEx.ru:
User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /wp-login.php Disallow: /login.php Disallow: /wp-register.php Host: https://AndreyEx.ru User-agent: Googlebot Allow: /wp-content/plugins Allow: /wp-content/cache Sitemap: https://AndreyEx.ru/sitemap_index.xml
Это все. Мы надеемся , что эта статья помогла вам узнать , как оптимизировать ваш файл robots.txt для SEO. Вы также можете увидеть наш путеводитель по 9 лучшим WordPress SEO плагинам и инструментам, которые вы должны использовать.
Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.
Что такое Robots.txt — описание и особенности
Что такое robots.txt
Robots.txt – это файл, который размещается в корневой папке сайта, и содержит указания и рекомендации для роботов поисковых систем относительно индексации.
Наличие файла необходимо, так как в некоторых случаях роботам не стоит сканировать:
- страницы с личными данными посетителей;
- зеркала сайта;
- страницы, предназначенные для внесения информации;
- страницы результатов поиска.
Когда робот поисковых систем обрабатывает прописанные правила, он получает определенные инструкции. Например:
- сканировать частично, то есть отдельные страницы и разделы;
- сканировать все, в данном случае отсутствуют ограничения;
- ничего не сканировать. Речь о полном запрете доступа к содержимому сайта.
Как создать файл и где разместить
Файл формируется в текстовом редакторе в формате .txt. После того, как прописаны все необходимые директивы, остается добавить robots.txt в корневой каталог. Доступ к файлу должен предоставляться по адресу домен/robots.txt.
Основные и дополнительные директивы
Существуют конкретные требования к составлению ограничений: прописываются основные и дополнительные директивы. При формировании файла необходимо:
- Прописать User-agent. Указывается робот (к примеру, для поисковиков Яндекс или Google), для которого будут действовать правила индексирования;
- Указать правила Disallow. Перечисляются элементы, к которым доступ запрещается.
Дополнительно прописывается:
- Директива Allow. Принудительно открывается доступ к элементам сайта для их дальнейшего индексирования;
- Sitemap. Указывает путь к файлу XML Sitemap. Роботу дается указание индексировать все URL, находящиеся по адресу http://site.com/sitemap.xml.
Выборочная индексация позволяет исключать из выдачи ненужные страницы, которые препятствуют продвижению проекта.
Как правильно составить файл robots.txt: инструкция
Вебмастер может направить поисковых ботов на страницы, которые считает обязательными для индексирования, и скрыть те, которых в выдаче быть не должно. Для этого предназначен файл robots.txt. Команда сервиса для анализа сайта PR-CY составила гайд об этом файле: для чего он нужен, из каких команд состоит, как составить его по правилам и проверить.
Зачем нужен robots.txt
С помощью этого файла можно повлиять на поведение ботов Яндекса и Google. Файл robots.txt содержит указания для краулеров, предназначенных для индексирования сайта. Он состоит из списка команд, которые рекомендуют либо просканировать, либо пропустить конкретные страницы или целые разделы сайта. Если боты «прислушаются» к этим пожеланиям, то не будут посещать закрытые страницы или индексировать определенный тип контента.
Закрывают обычно дублирующие страницы, служебные, неинформативные, страницы с GET-параметрами или просто неважные для пользователей.
Зачем это нужно:
- уменьшить количество запросов к серверу;
- оптимизировать краулинговый бюджет сайта — общее количество страниц, которое за один раз может посетить поисковый бот;
- уменьшить шанс того, что в выдачу попадут страницы, которые там не нужны.
Как надежно закрыть страницу от ботов
Поисковики не воспринимают robots.txt как список жестких правил, это только рекомендации. Даже если в robots стоит запрет, страница может появиться в выдаче, если на нее ведет внешняя или внутренняя ссылка.
Страница, доступ к которой запретили только в robots.txt, может попасть в выдачу и будет выглядеть так:
Главная страница сайта в выдаче, но описание бот составить не смог
Если вы точно не хотите, чтобы страница попала в индекс, недостаточно запретить сканирование в файле robots.txt. Один из вариантов, подходящий для служебных страниц, — запаролить ее. Бот не сможет просканировать содержимое страницы, если она доступна только пользователям, авторизованным через логин и пароль.
Если страницы нельзя закрыть паролем, но не хочется показывать их ботам, есть вариант применить директивы «noindex» и «nofollow». Для этого нужно добавить их в секцию <head> HTML-кода страницы:
<meta name="robots" content="noindex, nofollow"/>Чтобы робот правильно интерпретировал «noindex» и «nofollow» и не добавил страницу в индекс, не закрывайте одновременно доступ к ней в файле robots.txt. Так бот не получит доступа к странице и не увидит запрещающих директив.
Требования поисковых систем к файлу robots.txt
Каким должен быть файл, как его оформить и куда размещать — в этом и Яндекс, и Google солидарны:
- Формат — только txt.
- Вес — не превышающий 32 КБ.
- Название — строго строчными буквами «robots.txt». Никакие другие варианты, к примеру, с заглавной, боты не воспримут.
- Наполнение — строго латиница. Все записи должны быть на латинице, включая адрес сайта: если он кириллический, его нужно переконвертировать в punycode. Например, после конвертации запись сайта «окна.рф» будет выглядеть как «xn--80atjc.xn--p1ai». Ее и нужно использовать в командах.
- Исключение для предыдущего правила — комментарии вебмастера. Они могут быть на любом языке, поскольку специалист оставляет их для себя и коллег, а не для поисковых ботов. Для обозначения комментариев используют символ «#». Все, что указано после «#», роботы проигнорируют, поэтому следите, чтобы туда случайно не попали важные команды.
- Количество файлов robots.txt — должен быть один общий файл на весь сайт вместе с поддоменами.
- Местоположение — корневой каталог. У поддоменов файл должен быть таким же, только разместить его нужно в корневом каталоге каждого поддомена.
- Ссылка на файл — https://example.com/robots.txt (вместо https://example.com нужно указать адрес вашего сайта).
- Ссылка на robots.txt должна отдавать код ответа сервера 200 OK.
Подробные рекомендации для robots.txt от Яндекса читайте здесь, от Google — здесь.
Дальше рассмотрим, каким образом можно давать рекомендации ботам.
Как правильно составить robots.txt
Файл состоит из списка команд (директив) с указанием страниц, на которые они распространяются, и адресатов — имён ботов, к которым команды относятся.
Директиву Clean-param воспринимают только боты Яндекса, а в остальном в 2021 году команды для ботов Google и Яндекса одинаковы.
Основные обозначения файла
User-agent — какой бот должен прореагировать на команду. После двоеточия указывают либо конкретного бота, либо обобщают всех с помощью символа *.
Пример. User-agent: * — все существующие роботы, User-agent: Googlebot — только бот Google.
Disallow — запрет сканирования. После косого слэша указывают, на что распространяется команда запрета.
Пример:
Disallow: /blog/page-2.html
Пустое поле в Disallow означает разрешение на сканирование всего сайта:
User-agent: *
Disallow:
А эта запись запрещает всем роботом сканировать весь сайт:
User-agent: *
Disallow: /
Если речь идет о новом сайте, проследите, чтобы в файле robots.txt не осталась эта запись, после того как разработчики выложат сайт на рабочий домен.
Эта запись разрешает сканирование боту Google, а всем остальным запрещает:
User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /
Отдельно прописывать разрешения необязательно. Доступным считается всё, что вы не закрыли.
В записях важен закрывающий косой слэш, его наличие или отсутствие меняет смысл:
Disallow: /about/ — запись закрывает раздел «О нас», доступный по ссылке https://example.com/about/
Disallow: /about — закрывает все ссылки, которые начинаются с «/about», включая раздел https://example.com/about/, страницу https://example.com/about/company/ и другие.
Каждому запрету соответствует своя строка, нельзя перечислить несколько правил сразу. Вот неправильный вариант записи:
Disallow: /catalog/blog/photo/
Правильно оформить их раздельно, каждый с новой строки и своим Disallow:
Disallow: /catalog/
Disallow: /blog/
Disallow: /photo/
Allow означает разрешение сканирования, с помощью этой команды удобно прописывать исключения. Для примера запись запрещает всем ботам сканировать весь альбом, но делает исключение для одного фото:
User-agent: *
Allow: /album/photo1.html
Disallow: /album/
А вот и отдельная команда для Яндекса — Clean-param. Директиву используют, чтобы исключить дубли страниц, которые могут появляться из-за GET-параметров или UTM-меток. Clean-param распознают только боты Яндекса. Вместо нее можно использовать Disallow, эту команду понимают в том числе и гуглоботы.
Допустим, на сайте есть страница page=1 и у нее могут быть такие параметры:
https://example.com/index.php?page=1&sid=2564126ebdec301c607e5df
https://example.com/index.php?page=1&sid=974017dcd170d6c4a5d76ae
Каждый образовавшийся адрес в индексе не нужен, достаточно, чтобы там была общая основная страница. В этом случае в robots нужно задать Clean-param и указать, что ссылки с дополнениями после «sid» в страницах на «/index.php» индексировать не нужно:
User-agent: Yandex
Disallow:
Clean-param: sid /index.php
Если параметров несколько, перечислите их через амперсанд:
Clean-param: sid&utm&ref /index.php
Строки не должны быть длиннее 500 символов. Такие длинные строки — редкость, но из-за перечисления параметров такое может случиться. Если указание получилось сложным и длинным, его можно разделить на несколько. Примеры найдете в Справке Яндекса.
Sitemap — ссылка на карту сайта. Если карты сайта нет, запись не нужна. Сама по себе карта не обязательна, но если сайт большой, то лучше ее создать и дать ссылку в robots, чтобы ботам было проще разобраться в структуре.
Sitemap: https://example.com/sitemap.xml
Обозначим также два важных спецсимвола, которые используются в robots:
* — предполагает любую последовательность символов после этого знака;
$ — указывает на то, что на этом элементе необходимо остановиться.
Пример. Такая запись:
Disallow: /catalog/category1$
запрещает роботу индексировать страницу site.com/catalog/category1, но не запрещает индексировать страницу site.com/catalog/category1/product1.
Лучше не заниматься сбором команд вручную, для этого есть сервисы, которые работают онлайн и бесплатно. Инструмент для генерации robots.txt бесплатно соберет нужные команды: открыть или закрыть сайт для ботов, указать путь к sitemap, настроить ограничение на посещение избранных страниц, установить задержку посещений.
Настройки файла в инструменте
Есть и другие бесплатные генераторы файла, которые позволят быстро создать robots и избежать ошибок. У популярных движков есть плагины, с ними собирать файл еще проще. О них расскажем ниже.
Как проверить правильность robots.txt
После создания файла и добавления в корневой каталог будет не лишним проверить, видят ли его боты и нет ли ошибок в записи. У поисковых систем есть свои инструменты:
- Найти ошибки в заполнении robots — инструмент от Яндекса. Укажите сайт и введите содержимое файла в поле.
- Проверить доступность для ботов — инструмент от Google. Введите ссылку на URL с вашим robots.txt.
- Определить наличие файла robots.txt в корневом каталоге и доступность сайта для индексации — Анализ сайта от PR-CY. В сервисе есть еще 70+ тестов с проверкой SEO, технических параметров, ссылок и другого.
Фрагмент проверки сайта сервисом pr-cy.ru/analysis
В «Важных событиях» отобразятся даты изменения файла.
Оповещения в интерфейсе
Правильный robots.txt для разных CMS: примеры готового файла
Файл robots.txt находится в корневой папке сайта. Чтобы создать или редактировать его, нужно подключиться к сайту по FTP-доступу. Некоторые системы управления (например, Битрикс) предоставляют возможность редактировать файл в административной панели.
Посмотрим, какие возможности для редактирования файла есть в популярных CMS.
WordPress
У WP много бесплатных плагинов, которые формируют robots.txt. Эта опция предусмотрена в составе общих SEO-плагинов Yoast SEO и All in One SEO, но есть и отдельные, которые отвечают за создание и редактирование файла, например:
Пример robots.txt для контентного проекта на WordPress
Это вариант файла для блогов и других проектов без функции личного кабинета и корзины.
User-agent: * # установили общие правила для роботов
Disallow: /cgi-bin # закрыли системную папку, которая находится на хостинге
Disallow: /? # обобщили все параметры запроса на главной странице сайта
Disallow: /wp— # все специальные WordPress-файлы: /wp-json/, /wp-content/plugins, /wp-includes
Disallow: *?s= # здесь и далее перечисление запросов поиска
Disallow: *&s=
Disallow: /search/
Disallow: */trackback # закрыли трекбеки — уведомления о появлении ссылки на статью
Disallow: */feed # новостные ленты полностью
Disallow: */rss # rss-ленты
Disallow: */embed # все встраивания
Disallow: /xmlrpc.php # файл API WP
Disallow: *utm*= # все ссылки, у которых прописаны UTM-метки
Disallow: *openstat= # все ссылки, у которых прописаны openstat-метки
Allow: */uploads # открыли доступ к папке с файлами uploads
Allow: /*/*.js # открыли доступ к js-скриптам внутри /wp-, уточнили /*/ для приоритета
Allow: /*/*.css # доступ к css-файлам внутри /wp-, также уточнили /*/ для приоритета
Allow: /wp-*.png # доступ к картинкам в плагинах, папке cache и других в формате png
Allow: /wp-*.jpg # то же самое для формата jpg
Allow: /wp-*.jpeg # для формата jpeg
Allow: /wp-*.gif # и для анимаций в gif
Allow: /wp-admin/admin-ajax.php # открыли доступ к этому файлу, чтобы не блокировать JS и CSS для плагинов
Sitemap: https://example.com/sitemap.xml # указали ссылку на карту сайта (вместо https://example.com нужно подставить сой домен)
Пример robots.txt для интернет-магазина на WordPress
Похожий файл, но со спецификой интернет-магазина на платформе WooCommerce на базе WordPress. Закрываем то же самое, что в предыдущем примере, плюс страницу корзины, а также отдельные страницы добавления в корзину и оформления заказа пользователем.
User-agent: *
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: /wp/
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: /xmlrpc.php
Disallow: *utm*=
Disallow: *openstat=
Disallow: /cart/
Disallow: /checkout/
Disallow: /*add-to-cart=*
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap.xml
1C-Битрикс
В модуле «Поисковая оптимизация» этой CMS начиная с версии 14.0.0 можно настроить управление файлом robots из административной панели сайта. Нужный раздел находится в меню Маркетинг > Поисковая оптимизация > Настройка robots.txt.
Пример robots.txt для сайта на Битрикс
Похожий набор рекомендаций с дополнениями, подразумевающими, что у сайта есть личный кабинет пользователя.
User-agent: *
Disallow: /cgi-bin # закрыли папку на хостинге
Disallow: /bitrix/ # закрыли папку с системными файлами Битрикс
Disallow: *bitrix_*= # GET-запросы Битрикс
Disallow: /local/ # другая папка с системными файлами Битрикс
Disallow: /*index.php$ # дубли страниц с index.php
Disallow: /auth/ # страница авторизации
Disallow: *auth=
Disallow: /personal/ # личный кабинет
Disallow: *register= # страница регистрации
Disallow: *forgot_password= # страница с функцией восстановления пароля
Disallow: *change_password= # страница с возможностью изменить пароль
Disallow: *login= # вход с логином
Disallow: *logout= # выход из кабинета
Disallow: */search/ # поиск
Disallow: *action= # действия
Disallow: *print= # печать
Disallow: *?new=Y # новая страница
Disallow: *?edit= # редактирование
Disallow: *?preview= # предпросмотр
Disallow: *backurl= # трекбеки
Disallow: *back_url=
Disallow: *back_url_admin=
Disallow: *captcha # страница с прохождением капчи
Disallow: */feed # новостные ленты
Disallow: */rss # rss-фиды
Disallow: *?FILTER*= # несколько популярных параметров фильтров в каталоге
Disallow: *?ei=
Disallow: *?p=
Disallow: *?q=
Disallow: *?tags=
Disallow: *B_ORDER=
Disallow: *BRAND=
Disallow: *CLEAR_CACHE=
Disallow: *ELEMENT_ID=
Disallow: *price_from=
Disallow: *price_to=
Disallow: *PROPERTY_TYPE=
Disallow: *PROPERTY_WIDTH=
Disallow: *PROPERTY_HEIGHT=
Disallow: *PROPERTY_DIA=
Disallow: *PROPERTY_OPENING_COUNT=
Disallow: *PROPERTY_SELL_TYPE=
Disallow: *PROPERTY_MAIN_TYPE=
Disallow: *PROPERTY_PRICE[*]=
Disallow: *S_LAST=
Disallow: *SECTION_ID=
Disallow: *SECTION[*]=
Disallow: *SHOWALL=
Disallow: *SHOW_ALL=
Disallow: *SHOWBY=
Disallow: *SORT=
Disallow: *SPHRASE_ID=
Disallow: *TYPE=
Disallow: *utm*= # все ссылки, имеющие метки UTM
Disallow: *openstat= # ссылки с метками openstat
Disallow: *from= # ссылки с метками from
Allow: */upload/ # открыли папку, где находятся файлы uploads
Allow: /bitrix/*.js # здесь и далее открыли скрипты js и css
Allow: /bitrix/*.css
Allow: /local/*.js
Allow: /local/*.css
Allow: /local/*.jpg # открыли доступ к картинкам в формате jpg и далее в других форматах
Allow: /local/*.jpeg
Allow: /local/*.png
Allow: /local/*.gif
Sitemap: https://example.com/sitemap.xml
OpenCart
У этого движка есть официальный модуль Редактирование robots.txt Opencart для работы с файлом прямо из панели администратора.
Пример robots.txt для магазина на OpenCart
CMS OpenCart обычно используют в качестве базы для интернет-магазина, поэтому пример robots заточен под нужды e-commerce.
User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: *page=*
Disallow: *search=*
Disallow: /cart/
Disallow: /forgot-password/
Disallow: /login/
Disallow: /compare-products/
Disallow: /add-return/
Disallow: /vouchers/
Sitemap: https://example.com/sitemap.xml
Joomla
Отдельных расширений, связанных с формированием файла robots.txt для этой CMS нет, система управления автоматически генерирует файл при установке, в нем содержатся все необходимые запреты.
Пример robots.txt для сайта на Joomla
В файле закрыты плагины, шаблоны и прочие системные решения.
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /component/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*?start=*
Disallow: /xmlrpc/
Allow: *.css
Allow: *.js
Sitemap: https://example.com/sitemap.xml
Поисковые системы воспринимают директивы в robots.txt как рекомендации, которым можно следовать или не следовать. Тем не менее, если в файле не будет противоречий, а на закрытые страницы нет входящих ссылок — у ботов не будет причин игнорировать правила. Пользуйтесь нашими инструкциями и примерами, и пусть в выдаче появляются только действительно нужные пользователям страницы вашего сайта.
SEO Вашего сайта | Файл robots.txt
Нам важен твой голос!
Основная задача этого файла — сообщать роботам поисковых систем, что можно и что нельзя индексировать на сайте.
Точнее — это рекомендация роботам.
По факту поисковые машины все равно индексируют запрещенные страницы, но не показывают их в выдаче. Иногда происходит сбой и запрещенные страницы оказываются в выдаче.
Если Вам необходимо действительно что-то полностью на сайте закрыть от роботов (и людей) — надо на уровне хостинга закрыть папку логином и паролем.
Также записи в этом файле используются для удаления страниц из индекса Гугль. Гугль (в отличии от Яндекса) удаляет страницы из индекса при наличии двух условий:
— запрос на удаление страницы
— страница должна быть явно запрещена к индексации в robots.txt
Яндекс удаляет отсутствующие страницы где-то через 3 месяца (при получении регулярной ошибки 404)
Главное:
— файл только один
— файл располагается в корневой директории сайта
— названия файла в нижнем регистре robots.txt
— файл в кодировке ANSI
— размер файла не более 32 Кб (иначе роботы будут считать его отсутствующим и иметь разрешение на индексацию всего)
Примечание: также поисковыми роботами (запреты и разрешения) можно управлять прямо на странице сайта с помощью метатэгов robots.
Позволяет решать следующие проблемы:
— если у Вас CMS генерирует дубли страниц (т.е. одна и та же страницами под разными url) — Вы можете или искать/найти в каком месте CMS работает с ошибкой или запретить индексацию дублей по «маске» в этом файле
— немного помогает продвижению сайта, запрещая роботам индексировать мусор (роботы мусор не любят) и заодно снижая нагрузку на сайт в связи с уменьшением заходов роботов
— помогает при смене содержимого сайта при том же доменном имени — можно указать, что теперь такие-то страницы не надо индексировать, т.к. они отсутствующие (если оставить все как есть, страницы старого сайта будут еще долго висеть в индексе, робот будет получать ошибку 404, но все равно потом приходить еще и еще)
— помогает удалять отсутствующие страницы из индекса поисковых систем — для выполнения запроса на удаление url НЕОБХОДИМ запрет индексации этих страниц в файле robots.txt
— прячет от роботов служебные зоны сайта (регистрация на сайте, каталог картинок и прочее), например разделы, закрытые паролем. Если это не сделать, робот будет пытаться их индексировать с выдачей ошибки 301 (доступ запрещен)
— явно указывает роботам, где находится/находятся файлы sitemap.xml (где прописаны страницы для индексирования)
— указывает роботам основное зеркало сайта — с www или без него
Структура файла:
Секция User-agent: *
Вместо * может быть указан конкретный поисковый робот. Любая секция продолжается либо до начала следующей секции, либо до конца файла robots.txt. Согласно стандарту, между соседними секциями должна вставляться хотя бы одна пустая строка. Каждая секция должна начинаться с директивы User-agent и содержать значение User-agent того робота, к которому относится данная секция.
Основные директивы в секции:
Disallow — запретить
Allow — разрешить (нет в базовом стандарте robots.txt, есть в расширенном стандарте, сейчас практически все роботы поисковых систем поддерживают расширенный стандарт)
Sitemap — указывает расположение файла Sitemap.xml Файлов может быть несколько и они могут лежать в разных директориях.
Host — указывает основное зеркало сайта
Варианты:
User-agent: *
Disallow: /
# запретить индексировать все на сайте
User-agent: *
Allow: /main
Disallow: /
# разрешить индексацию всего, что начинается на main и запретить все остальное
Внимание: не допустимы пустые переводы строки между User-agent, Disallow, Allow.
Вот так делать нельзя — роботы будут считать это ошибкой
User-agent: *
Allow: /main
Disallow: /
Sitemap: http://www.site.ru/sitemap.xml
# указание на расположение файла sitemap.xml
Host: site.ru (понимает только Яндекс, для Гугль основное зеркало задается через инструменты ВебМастера)
# указание на основное зеркало сайта
Спецсимволы:
# комментарий
* как обычно — любые символы
Символ * означает любое количество любых символов, например, под маску /doc* подходит как /doc1, так и /doc291, /doc/ или просто /doc. По умолчанию, при интерпретации роботом к указанному пути приписывается символ *. Например, следующие директивы полностью идентичны:
Disallow: /doc
Disallow: /doc*
Обратите внимание на слэши — у Вас может быть директория /doc/ и поддиректории к ней /doc/charter1/ и т.д. Если поставить только
Disallow: /doc/ — Вы запретите только индексацию одной этой папки, для запрещения всех подпапок надо указать
Disallow: /doc
$ запрещает использование * на конце директивы
User-agent: *
Disallow: /doc$
Чтобы избежать при интерпретации «автоматического дописывания» символа * в конце пути, служит другой специальный символ — $. Этот символ означает конец подстроки сравнения. Таким образом, следующий блок будет запрещать /doc, но не будет запрещать пути /doc1 или /doc291.
Обратите внимание — поисковые роботы хотят «видеть», как выглядит сайт для человека. Вот здесь подробнее — https://seotable.ru/seo-chto-eto.html
Если Вы запрещаете определенные разделы сайта для индексации — запрещайте только контент. Картинки (на которые есть ссылки с основных страниц сайта) должны быть видны для роботов. Если Вы запрещаете для индексации папку, где хранится и контент и картинки — роботы будут ругаться.
Как пример — делаем баннерную рекламу на своем сайте.
Сами баннеры (в виде картинок) + соответствующие файлы html с переадресацией на конечную страницу. Вот такого вида:
папка «banner»
banner1.gif
banner1.html
banner2.gif
banner2.html
banner3.gif
banner3.html
И все они живут в отдельной папке «banner» в корне сайта.
Зачем делать отдельные файлы html, почему бы сразу с баннера не сделать ссылку на рекламируемый ресурс? Удобно для статистики — в практически пустых файлах html «живет» переадресация и счетчики. Т.е мы можете анализировать статистику, сколько раз кликали по конкретному баннеру.
Но поисковым роботам такие пустые страницы не нравятся, будем их запрещать.
Вариант 1 — запрещаем конкретные страницы
User-agent: *
Disallow: /banner/banner1.htm
Disallow: /banner/banner2.htm
Disallow: /banner/banner3.htm
Вариант 2 — помещаем код в подпапку code, картинки остаются в старой папке
папка «banner»
banner1.gif
banner2.gif
banner3.gif
папка «code»
banner1.html
banner2.html
banner3.html
Запрещаем только подпапку с кодом
User-agent: *
Disallow: /banner/code
Второй вариант более универсальный, Вы можете добавлять баннеры без внесения изменений в robots.txt
Многие слышали про какие-то загадочные апдейты у Яндекса и у Гугль. Так сказать — иконы сеошников. Так что это? Ответ простой. Все изменения по нашему сайту (число проиндексированных страниц, число ссылок и прочая) — мы видим пока только в Вебмастере 🙂 Это никак не отражается на поисковой выдаче. С определенным периодом все эти изменения становятся доступны в выдаче — и посещаемость сайта резко меняется. Вот скан из Вебмастера Гугль — хорошо видна вертикальная линия с отметкой «Обновление». Это как раз все изменения по сайту были выложены для участия в поисковой выдаче. Все радуются. Скажем, после обновления можно увидеть результат работы сеошников над сайтом. Пока…
Индексация всех страниц сайта выполняется автоматически. Но если Вы хотите использовать сайт активно — то это Ваша головная боль, необходимо подправлять робота, что бы он все делал правильно (именно с Вашей точки зрения). 1. Все страницы для индексации должны быть указаны в файле Sitemap 2. Все запрещенные страницы для индексации должны быть указаны в файле robots.txt 3. Все страницы с конфиденциальной информацией должны быть спрятаны в отдельном каталоге, запрещены к индексации в файле robots.txt и каталог должен быть закрыт на уровне сервера логином и паролем. 4. Если Вы видите в вебмастере Яндекса страницы «Найдено по внутренней ссылке» — значит, Яндекс нашел…
Поисковая машина Гугль для российского сегмента находится здесь www.google.ru Для международного сегмента находится здесь www.google.com Search Google Есть проблема — гугль все равно Вас переадресует на российский вариант, определив Ваше расположение. Если Вы хотите искать без привязки к территории, то нужно использовать вариант www.google.com/ncr (и Вы останетесь в домене .com) Наиболее известные сервисы Гугль для вебмастеров: Вебмастер — https://www.google.ru/webmasters/ Контекстная реклама…
Поисковая машина Яндекс https://www.yandex.ru/ — для поиска Поиск Яндекс Поисковые алгоритмы Фильтры Показ сайта в выдаче зависит от Индекса сайта (ранее у Яндекс был Тиц — тематический индекс цитирования). Индекс сайта — это показатель того, насколько полезен ваш сайт для пользователей с точки зрения Яндекса. Какие конкретно параметры влияют на X — является тайной Яндекса. ВАЖНО! Яндекс.Вебмастер достаточно сильный формалист (в отличии от Гугль). Смотрите все позиции, на которые робот ругается. Иначе не будет хороших позиций в выдаче. Например: — недостаточно фавикон разместить в корне сайта, гугль его видит, браузер…
Файл sitemap.xml нужен для роботов поисковых систем, что бы они «понимали», какие страницы нужно индексировать. Без файла sitemap.xml в первую очередь проиндексирована только одна главная страница. По ссылкам с нее роботы пойдут намного позже (страниц и сайтов стало много и робота на всех не хватает). Файл sitemap влияет только на индексацию сайта и никак не влияет на показ сайта в поисковой выдаче (т.е. роботы про сайт знают, а уж как его показывать в выдаче — это их дело). Официальный сайт правил находится здесь sitemap.org (версия на русском языке) Общие требования к файлу sitemap.xml ВАЖНО: название файла может быть любым и находиться он может в любой папке -> нужно…
Редактирование robots.txt.liquid · Справочный центр Shopify
Эта страница была напечатана 27 октября 2021 г. Для получения текущей версии посетите https://help.shopify.com/en/manual/promoting-marketing/seo/editing-robots-txt.
Поисковые системы, такие как Google, постоянно сканируют Интернет в поисках новых данных в качестве источника результатов поиска. Файл robots.txt сообщает роботам поисковых систем, известным как сканеры, какие страницы запрашивать для просмотра в вашем интернет-магазине.Во всех магазинах Shopify есть файл robots.txt по умолчанию , который оптимален для поисковой оптимизации (SEO).
Карта сайта используется поисковыми системами для размещения вашего интернет-магазина в результатах поиска. Узнайте, как найти и отправить карту сайта.
Обзор
Файл robots.txt по умолчанию работает для большинства магазинов, но вы можете редактировать файл с помощью шаблона темы robots.txt.liquid. Вы можете внести следующие правки:
- разрешить или запретить сканирование определенных URL
- добавить правила задержки сканирования для определенных поисковых роботов
- добавить дополнительные URL-адреса карты сайта
- блокировать определенные сканеры
роботов.txt находится в корневом каталоге основного доменного имени вашего магазина Shopify. Например: johns-apparel.com/robots.txt .
Осторожно
Это неподдерживаемая настройка. Служба поддержки Shopify не может помочь с изменениями в файле robots.txt.liquid . Если вам нужно отредактировать файл robots.txt.liquid , вы можете нанять эксперта Shopify, чтобы отредактировать код за вас. Неправильное использование функции может привести к потере всего трафика.
Редактировать robots.txt.liquid
Если вы хотите отредактировать файл robots.txt.liquid , вам следует работать с экспертом Shopify или иметь опыт редактирования кода и SEO.
Вы можете использовать Liquid для добавления или удаления директив из шаблона robots.txt.liquid . Этот метод сохраняет способность Shopify автоматически обновлять файл в будущем и рекомендуется. Полное руководство по редактированию этого файла см. На странице разработчика Shopify Настройка robots.txt.liquid.
Перед редактированием файла robots.txt.liquid файл.
Шагов:
- От администратора Shopify перейдите в интернет-магазин > Темы .
- Щелкните Действия , а затем щелкните Изменить код .
- Нажмите Добавить новый шаблон , а затем выберите роботов .
- Щелкните Создать шаблон .
- Внесите изменения, которые вы хотите внести в шаблон по умолчанию. Для получения дополнительной информации о жидких переменных и распространенных вариантах использования обратитесь к странице разработчика Shopify Настройка роботов.txt.liquid.
- Сохраните изменения в файле robots.txt.liquid в опубликованной теме.
Изменения происходят мгновенно, но поисковые роботы не всегда реагируют немедленно. Вы можете проверить изменения с помощью Google robots.txt Tester.
Вы также можете удалить содержимое шаблона и заменить его правилами обычного текста. Этот метод настоятельно не рекомендуется, поскольку правила могут устареть. Если вы выберете этот метод, Shopify не сможет обеспечить применение лучших практик SEO к вашим роботам.txt с течением времени или внесите изменения в файл с будущими обновлениями.
Примечание
ThemeKit или изменения командной строки сохранят файл robots.txt.liquid. Загрузка темы из раздела Темы администратора Shopify не будет импортировать robots.txt.liquid.
Удалить настройки robots.txt.liquid
Если вы хотите снова использовать файл robots.txt по умолчанию, сохраните копию настроек шаблона robots.txt.liquid , так как вам нужно удалить шаблон, который нельзя отменить.
Шагов:
- От администратора Shopify перейдите в интернет-магазин > Темы .
- Щелкните Действия , а затем щелкните Изменить код .
- Щелкните robots.liquid , а затем щелкните Удалить файл .
- Если вы все еще хотите удалить robots.txt.liquid, нажмите Удалить файл .
Вы всегда можете отредактировать файл robots.txt.liquid в будущем, или, если вы сохранили свои прошлые настройки, вы можете повторить свои изменения, скопировав свои сохраненные предыдущие настройки.
Просканировано роботом Googlebot? | появляется в индексе? | Потребляет PageRank | Риски? Трата? | Формат | |
| robots.txt | № | Если на документ есть ссылка, он может отображаться только по URL-адресу или с данными из ссылок или доверенных сторонних источников данных, таких как ODP | да | Люди могут смотреть на ваших роботов.txt, чтобы увидеть, какой контент вы не хотите индексировать. Многие новые запуски обнаруживаются людьми, которые следят за изменениями в файле robots.txt. Неправильное использование подстановочных знаков может быть дорогостоящим! | Пользовательский агент: * ИЛИ Пользовательский агент: * Также можно использовать сложные подстановочные знаки. |
| мета тег noindex роботов | да | № | да, но может передать большую часть своего PageRank, ссылаясь на другие страницы | Ссылки на странице noindex по-прежнему сканируются поисковыми пауками, даже если страница не отображается в результатах поиска (если они не используются вместе с nofollow). Страница, использующая мета nofollow роботов (1 строка ниже) в сочетании с noindex, может накапливать PageRank, но не передавать его другим страницам. | ИЛИ может использоваться с nofollow likeo |
| мета-тег nofollow для роботов | целевая страница сканируется только в том случае, если на нее есть ссылки из других документов | Целевая страницаотображается только в том случае, если на нее есть ссылка из других документов | нет, PageRank не передан по назначению | Если вы продвигаете значительный PageRank на страницу и не позволяете PageRank исходить с этой страницы, вы можете потратить значительную часть ссылочного рейтинга. | ИЛИ может использоваться с noindex likeo |
| ссылка rel = nofollow | целевая страница сканируется только в том случае, если на нее есть ссылки из других документов | Целевая страницаотображается только в том случае, если на нее есть ссылка из других документов | Использование этого может привести к потере некоторого PageRank.Рекомендуется использовать в областях контента, создаваемых пользователями. | Если вы делаете что-то на грани спама и используете nofollow для внутренних ссылок для увеличения PageRank, то вы больше похожи на оптимизатора поисковых систем и, скорее всего, будете наказаны инженером Google за «поисковый спам» | текст ссылки |
| rel = canonical | да.несколько версий страницы могут быть просканированы и могут появиться в индексе | страниц по-прежнему отображаются в индексе. это воспринимается скорее как подсказка, чем как директива. | PageRank должен накапливаться на целевой цели | С такими инструментами, как переадресация 301 и rel = canonical, может возникнуть небольшое снижение рейтинга страниц, особенно с rel = canonical, поскольку обе версии страницы остаются в поисковом индексе. | |
| Ссылка Javascript | в целом да, если целевой URL легко доступен в частях ссылки a href или onclick. | Целевая страницаотображается только в том случае, если на нее есть ссылка из других документов | в целом да, PageRank обычно передается получателю | Хотя многие из них отслеживаются Google, они могут не отслеживаться другими поисковыми системами. |
|
Robots.txt: определение и лучшие практики для SEO
Что такое Robots.txt?
A роботов.txt файл - это текстовый документ, используемый для указания роботам поисковых систем и паукам в том, как сканировать и индексировать страницы на веб-сайте.
Почему Robots.txt важен для SEO?
Robots.txt - это важный инструмент для использования веб-сайта, который выполняет несколько различных функций.
Это эффективный способ контролировать краулинговый бюджет . Блокируя сканирование определенных разделов веб-сайта, сканеры Google могут направлять свои усилия на более важные разделы вашего веб-сайта.
Также важно использовать robots.txt, чтобы предотвратить индексирование страниц внутренних результатов поиска или аналогичных других страниц, которые вы не хотите видеть в результатах поиска, например страницах входа.
Robots.txt также полезен, если вам нужно скрыть страницы, находящиеся в стадии разработки , чтобы ваша аудитория не увидела их, пока они не будут готовы.
Чего следует остерегаться?
Хотя robots.txt - полезный инструмент, у него есть свои недостатки.
- Хотя он позволяет веб-мастерам останавливать сканирование определенных страниц, это не обязательно препятствует появлению URL-адресов в результатах поиска. Для этого следует использовать тег noindex.
- Использование robots.txt на веб-странице также предотвращает распространение количества ссылок на этой странице.
- Кроме того, , если безопасность веб-сайта не на должном уровне, злоумышленники могут использовать robots.txt для обнаружения личных данных .
Robots.txt Передовой опыт
Есть еще несколько вещей, которые необходимо учитывать при выборе роботов.текст.
- Обращайте особое внимание при внесении изменений в robots.txt, одна небольшая ошибка может иметь большое влияние и сделать некоторые разделы вашего сайта неиндексируемыми.
- Не используйте robots.txt для блокировки конфиденциальных данных из поисковой выдачи, потому что это все еще может быть проиндексировано, используйте вместо него тег noindex.
- Убедитесь, что вы размещаете robots.txt в правильных разделах своего веб-сайта, вы не хотите блокировать индексирование важных страниц.
- Не забудьте добавить местоположение вашей карты сайта в robots.txt
- Чтобы ваш robots.txt был доступен для обнаружения, поместите его в корневой каталог своего веб-сайта.
Когда следует избегать использования Robots.txt?
Robots.txt не подходит для любой ситуации. Есть некоторые обстоятельства, при которых вам следует избегать его использования.
- Возможно, вы слышали, что повторяющиеся страницы можно исправить с помощью файла robots.txt, однако он сильно устарел. Вместо этого вы должны использовать канонический тег. Это позволит вам сохранить повторяющуюся страницу и сохранить ссылочный вес.
- Если веб-страница больше не используется, вам не следует использовать robots.txt для исправления ситуации. Вместо этого используйте переадресацию 301, чтобы направить пользователей на нужную веб-страницу.
- В ситуации, когда веб-сайт не хочет, чтобы его веб-страница отображалась в результатах поиска, но хочет сохранить равенство ссылок, выберите тег noindex вместо robots.txt.
Чем мы можем помочь?
Все еще не уверены? Свяжитесь с нами, и мы поможем вам уточнить с помощью бесплатного плана стратегии.
А пока вы можете посетить наши учебные курсы, которые дадут вам несколько важных советов и практик, чтобы стать профессионалом в SEO.
Все, что вам нужно знать в 2021 году
Любой веб-мастер знает, что поисковая оптимизация в значительной степени не в ваших руках.
Несмотря на то, что вы можете создать сайт, следуя передовым методам SEO для наилучшего ранжирования, сканеры поисковых систем все равно должны находить и сканировать ваш сайт.
Фактически у вас есть некоторый контроль над тем, как поисковые роботы индексируют ваш сайт с помощью файла Robots.txt, даже постранично.
Из этой статьи вы узнаете:
- Что за роботы.txt (и почему это важно для SEO)
- Объяснение синтаксиса
- Распространенные ошибки, которых следует избегать.
Начало работы с Robots.txt
Если вы хотите сказать, что SEO-роботы прочесывают ваш сайт, вам понадобится файл robots.txt для этого.
Хотя это не обязательно последнее слово в том, как Google обращается с вашим сайтом, это может оказать сильное влияние на ваши результаты SEO. Позволяя вам влиять на то, как Google просматривает ваш сайт, вы также можете влиять на их суждения.
Итак, если вы хотите улучшить частоту сканирования и эффективность поиска в Google, как вы можете создать robots.txt для SEO?
Мы возвращаем его в начало файла robots.txt, чтобы разбить его:
- Какие именно
- Где их найти
- Как создать свой собственный
- Синтаксис за ними
- Преимущества использования
- Как запретить по сравнению с Noindex
- Ошибки, которых следует избегать
Давайте начнем с изучения, что такое robots.txt файл имеет формат.
Что такое файл Robots.Txt?
Когда Интернет был еще молод и полон возможностей, веб-разработчики придумали способ сканирования и индексации новых страниц в Интернете.
Эти инструменты получили название «ползунки», «пауки» или «роботы». Вы, наверное, слышали, что все они взаимозаменяемы.
Файл Robots.txt выглядит так:
Время от времени эти роботы блуждали от того места, где они должны были быть, и начинали сканировать и индексировать сайты, которые не должны были индексироваться - облегченные сайты, которые в настоящее время находятся на обслуживании.
Должно было быть решение.
Создатель Aliweb, первой в мире поисковой системы, порекомендовал решение «дорожной карты», которое поможет роботам не сбиться с курса. В июне 1994 года эта дорожная карта была доработана и названа «Протокол исключения роботов».
Как выглядит этот протокол при выполнении? Как это (любезно предоставлено The Web Robots Pages):
Протокол устанавливает правила, которым должны следовать все боты, включая Google. Однако некоторые роботы в темной шляпе, например шпионское или вредоносное ПО, работают вне этих правил.
Хотите увидеть, на что вы похожи? Просто введите URL-адрес любого веб-сайта, за которым следует «/robots.txt» в конце. Вот как выглядит файл Buffer:
Пользовательский агент: *
Запретить: кнопка /
Disallow: / добавить
Disallow: / ajax
Пользовательский агент: bitlybot
Disallow: /
Карта сайта: https://buffer.com/sitemap.xml
Поскольку это относительно небольшой сайт, на нем нет ничего особенного. Введите то же самое, например, в URL-адрес Google, и вы увидите намного больше.
Где найти файл Robots.Txt
Вы найдете файл robots.txt в корневом каталоге вашего сайта. Чтобы получить к нему доступ, откройте свою FTP cPanel, а затем выполните поиск в каталоге вашего сайта public_html.
В этих файлах немного, поэтому они не будут такими большими по размеру. Ожидайте увидеть максимум несколько сотен байт.
Как только вы откроете файл в текстовом редакторе, вы увидите некоторую информацию о карте сайта и написанных терминах «User-Agent», «allow» и «disallow».
Вы также можете просто добавить /robots.txt в конец большинства URL-адресов, чтобы найти его:
Как создать файл Robots.txt для SEO
Если вам нужно создать свой собственный, знайте, что Robots.txt - это простой текстовый файл, который достаточно просто создать для настоящего новичка.
Просто убедитесь, что у вас есть простой текстовый редактор, а затем откройте пустой лист, который вы сохраните как «robots.txt».
Затем войдите в свою cPanel и найдите папку public_html, как указано выше.Открыв файл и подняв папку, перетащите файл в папку.
Теперь установите правильные разрешения для файла. Вы хотите, чтобы он был настроен так, чтобы вы, как владелец, были единственной стороной, имеющей разрешение на чтение, запись и редактирование этого файла. Вы должны увидеть код разрешения «0644».
Если вы не видите этот код, щелкните файл, затем выберите «разрешение файла». Все сделано!
Описание синтаксиса Robots.txt
Взглянув на приведенный выше пример файла robots.txt, вы, вероятно, заметите, что здесь есть какой-то незнакомый синтаксис.Так что же означают эти слова? Давайте разберемся.
Файлы состоят из нескольких разделов, каждая из которых представляет собой «директиву». Каждая директива начинается с указанного пользовательского агента, который будет находиться под именем конкретного сканера-бота, на который направлен код.
У вас есть два варианта:
- Используйте подстановочный знак для одновременного обращения ко всем поисковым системам
- Обращайтесь к каждой поисковой системе отдельно, по очереди
Когда сканер отправляется на сайт, он будет перенаправлен в раздел, который с ним обращается.Каждая поисковая система будет обрабатывать файлы robots.txt SEO по-своему. Вы можете провести простое исследование, чтобы узнать больше о том, как Google или Bing конкретно с этим справляются.
Директива об агентах пользователя
Видите раздел «пользовательский агент»? Это выделяет бота из толпы, по сути, тем, что называет его по имени.
Если ваша цель - сообщить одному из сканеров Google, что делать на вашем сайте, начните с «User-agent: Googlebot».
Однако, чем конкретнее вы узнаете, тем лучше.Обычно используется более одной директивы, поэтому при необходимости называйте каждого бота по имени.
Pro Совет: Большинство поисковых систем используют более одного бота. Небольшое исследование подскажет вам, на каких наиболее распространенных ботов нацелены.
Директива хоста
Эта часть в настоящее время поддерживается только Яндексом, хотя вы можете увидеть некоторые утверждения, что Google поддерживает ее.
С помощью этой директивы вы можете определить, хотите ли вы отображать www. перед URL-адресом вашего сайта, сказав что-то вроде этого:
Хост: пример.com
Поскольку мы можем только подтвердить, что Яндекс поддерживает это, не рекомендуется полагаться на него слишком сильно.
Директива о запрещении
Вторая строка в разделе - Disallow. Этот инструмент позволяет указать, какие части вашего веб-сайта не должны сканироваться ботами. Если вы оставите поле запрета пустым, это по сути говорит ботам, что это бесплатно для всех, и они могут сканировать, как им заблагорассудится.
Директива о карте сайта
Директива карты сайта помогает вам указать поисковым системам, где они могут найти вашу карту сайта в формате XML, которая представляет собой цифровую карту, которая может помочь поисковым системам находить важные страницы на вашем сайте и узнавать, как часто они обновляются.
Директива о задержке сканирования
Вы обнаружите, что поисковые системы, такие как Яндекс, Bing и Google, могут немного срабатывать при сканировании, но вы можете удержать их на некоторое время с помощью инициативы по задержке сканирования.
Когда вы применяете строку с надписью «Crawl-delay: 10», вы говорите ботам подождать десять секунд перед сканированием сайта или десять секунд между сканированиями.
Преимущества использования Robots.Txt для SEO
Теперь, когда мы рассмотрели основы роботов.txt и рассмотрели несколько вариантов использования директив, пора собрать ваш файл.
Хотя файл robots.txt не является обязательным элементом успешного веб-сайта, есть еще много важных преимуществ, о которых вам следует знать:
- Не позволяйте ботам открывать личные файлы - вы можете запретить поисковым роботам просматривать ваши личные папки, что значительно усложняет их индексацию.
- Поддержание ресурсов - Каждый раз, когда бот сканирует ваш сайт, он будет использовать ресурсы сервера, такие как пропускная способность и многое другое.Если на вашем сайте много контента, например на сайте электронной коммерции, вы удивитесь, насколько быстро эти ресурсы могут быть истощены. Вы можете использовать robots.txt для SEO, чтобы паукам было труднее получить доступ к отдельным аспектам, помогая сохранить ваши самые ценные ресурсы для настоящих посетителей сайта.
- Уточнение местоположения карты сайта - Если вы хотите, чтобы поисковый робот просматривал вашу карту сайта, вы должны убедиться, что он знает, куда идти. В этом могут помочь файлы robots.txt.
- Защита дублированного контента от результатов поиска - Добавив определенное правило для ваших роботов, вы можете запретить им индексировать страницы вашего сайта, содержащие дублированный контент.
Естественно, вы хотите, чтобы поисковые системы прорабатывали наиболее важные страницы вашего сайта.
Если вы ограничите ботов определенными страницами, у вас будет лучший контроль над тем, какие страницы затем показывать поисковикам в Google.
Только убедитесь, что вы никогда полностью не блокируете доступ сканера к определенным страницам - это может повлечь за собой штрафные санкции.
Disallow против Noindex
Если вы не хотите, чтобы сканер обращался к странице, обычно используйте директиву disallow или noindex.Однако в 2019 году Google объявил о прекращении поддержки его, а также нескольких других правил.
Тем, кто все еще хотел применить директиву noindex, пришлось проявить творческий подход. Вместо этого есть несколько вариантов на выбор:
- Noindex Tag - Вы можете реализовать это как заголовок HTTP-ответа с помощью X-Robots-Tag, или вы можете создать тег, который вы можете реализовать в разделе. Просто помните, что если вы заблокировали ботов с этой страницы, они, скорее всего, никогда не увидят тег и все равно могут включить страницу в поисковую выдачу.
- Защита паролем - В большинстве случаев, если вы скрываете страницу за паролем, ее не должно быть в индексе Google.
- Правило запрета - Когда вы добавляете определенные правила запрета, поисковые системы не будут сканировать страницу, и она не будет проиндексирована. Просто имейте в виду, что они все еще могут индексировать его на основе информации, которую они собирают с других страниц и ссылок.
- Коды состояния 404/410 HTTP - Коды состояния 404 и 410 служат примером веб-страниц, которые больше не существуют.После того, как такая страница будет полностью обработана один раз, она будет навсегда исключена из индекса Google.
- Search Console Удалить URL - этот инструмент не решит проблему индексации полностью, но временно удалит страницу.
Итак, что лучше? Noindex или правило запрета? Давайте нырнем.
Поскольку Google официально больше не поддерживает noindex, вам придется полагаться на альтернативы, перечисленные выше, или на проверенное правило запрета.Просто знайте, что правило запрета не так эффективно, как стандартный тег noindex.
Хотя он блокирует сканирование этой страницы ботами, они все же могут собирать информацию с других страниц, а также с внутренних и внешних ссылок, что может привести к тому, что эта страница будет отображаться в поисковой выдаче.
Полезные советы по поисковой оптимизации 🔍Предоставьте нам свой сайт (или клиентов), и мы проанализируем SEO-элементы сайта (на странице, URL-адрес, конкуренты и т. Д.), А затем организуем эти данные для проведения действенного SEO-аудита.
Проведите аудит моего SEO сейчас
5 ошибок в файле Robots.txt, которых следует избегать
Мы поговорили о том, что такое файл robots.txt, как его найти или создать, а также о различных способах его использования. Но мы не говорили о типичных ошибках, которые делают многие люди при использовании файлов robots.txt.
При неправильном использовании вы можете столкнуться с катастрофой SEO. Избегайте этой участи, избегая этих распространенных ошибок:
1. Блокировка хорошего содержимого
Вы не хотите блокировать любой хороший контент, который может помочь сканерам сайта и пользователям, которые ищут ваш сайт в поисковых системах.
Если вы используете тег noindex или файл robots.txt для блокировки хорошего содержания, вы ухудшите свои собственные результаты SEO.
Если вы заметили запаздывание результатов, внимательно проверьте свои страницы на наличие запрещающих правил или тегов noindex.
2. Чрезмерное использование директивы о задержке сканирования
Если вы используете директиву задержки сканирования слишком часто, вы ограничите количество страниц, которые могут сканировать роботы.
Хотя это может не быть проблемой для крупных сайтов, небольшие сайты с ограниченным содержанием могут снизить свои собственные шансы на получение высокого рейтинга в поисковой выдаче, злоупотребляя этими инструментами.
3. Предотвращение индексации содержимого
Если вы хотите запретить ботам сканировать страницу напрямую, лучше всего запретить это.
Однако это не всегда работает. Если на страницу есть внешняя ссылка, она все равно может перетекать на страницу.
Кроме того, незаконные боты, такие как вредоносное ПО, не подписываются на эти правила, поэтому они все равно индексируют контент.
4. Использование неподходящих случаев
Важно отметить, что файлы robots.txt чувствительны к регистру.
Создать директиву и использовать заглавную букву не получится.
Все должно быть написано строчными буквами, если вы хотите, чтобы это было эффективно.
5. Защита от вредоносного повторяющегося содержимого
Иногда дублированный контент необходим, и вы хотите скрыть его от индексации.
Но в других случаях боты Google будут знать, когда вы пытаетесь скрыть то, что не следует скрывать. Иногда недостаток контента может привлечь внимание к чему-то подозрительному.
Если Google обнаружит, что вы пытаетесь манипулировать рейтингом, чтобы привлечь больше трафика, он может оштрафовать вас.
Но вы можете обойти это, переписав дублирующийся контент, добавив 301 редирект или используя канонический тег Rel = ”.
Собери все вместе
Теперь, когда вы знаете все о robots.txt для SEO, пришло время использовать полученные знания для создания файла и его тестирования.
Вам может потребоваться немного времени, чтобы освоить процесс и убедиться, что вы настроили все так, как вам нравится, но как только вы настроите, вы увидите разницу, которая приходит с контролем над тем, как поисковые роботы обрабатывают твой сайт.
В этом сила файлов robots.txt.
Что такое файл Robots.txt и как его лучше всего использовать для SEO?
В этом выпуске «Спросите SEO» Брайан рассказывает об основах файла robots.txt и о том, как лучше всего использовать его для SEO.
От лучших практик до синтаксиса и подстановочных знаков, Брайан расскажет о наиболее распространенных ошибках и решениях проблем, с которыми вы столкнетесь при кодировании robots.txt.
Здравствуйте и добро пожаловать в 18-й эпизод Ask an SEO.Сегодняшний вопрос: что такое файл robots.txt и как я могу спросить у вас только FCO? Все в порядке. Файл robots.txt на самом деле представляет собой простой файл, который находится в корне вашего домена и позволяет заблокировать сканирование определенных разделов вашего сайта.Это действительно его основная функция. Поэтому, если у вас есть что-то, по чему вы действительно не хотите ранжироваться или вы не хотите индексировать или сканировать Google, вы должны поместить это в файл robots.txt. Теперь есть несколько соображений, которые Google принимает во внимание для этого типа файлов, поэтому давайте взглянем на них и сразу же погрузимся в них.
Хорошо. Это документация Google Web Developer для файлов robots.txt. И мы рассмотрим эту строку за строкой в том, что касается конкретных примеров. Все в порядке. Давайте приступим к делу.
Итак, первое, что они показывают, - это примеры действительных URL-адресов robots.txt. И это очень важно, потому что последнее, чего вы хотите не делать, - это включать определенные URL-адреса, которые не являются конкретно действительными, в соответствии с этими конкретными рекомендациями в Google.
Теперь важно отметить, что по большей части, когда вы фактически включаете путь, например, в robots.txt, вы обычно не включаете полный URL. Обычно вы собираетесь включать структуру каталогов, начиная с того места, где вы хотите, чтобы Google прекратил сканирование и индексирование, верно?
Далее они говорят об обработке ошибок и кодах состояния HTTP. И также важно принять это во внимание, потому что это то, что… что Google будет учитывать при сканировании… код ошибки, который появляется вместе с кодом ошибки в результате, то это также повлияет на ваше сканирование.Так что важно принять это во внимание. Если вы этого не сделаете, вы действительно рискуете внести ошибки, которых не должно быть.
Для правильного синтаксиса, которому Google действительно хочет, чтобы вы следовали: вы хотите следовать синтаксису, который здесь описан, верно? Итак, для user-agent директивы allow, disallow и sitemap - это наиболее распространенные поля, которые вы собираетесь использовать в robots.txt. Таким образом, вы всегда, скорее всего, захотите идентифицировать конкретный пользовательский агент.
Это будет сканер, которому вы позволите сканировать каталоги на вашем сайте.Затем вы можете специально разрешить сканирование пути, но на самом деле это в основном излишне, когда речь идет о Google, потому что Google все равно будет сканировать и индексировать.
Это их вариант по умолчанию. На самом деле вам не обязательно включать allow, если вы не хотите, я думаю, по какой-то причине быть немного более анальным по этому поводу. Но в любом случае запрет будет, вероятно, наиболее часто используемой командой, которую вы собираетесь использовать в robots.txt.
И, наконец, вы также захотите объявить, где конкретно находится ваша карта сайта на вашем сервере.Это позволит Google правильно найти и проиндексировать эти карты сайта на вашем сервере, а не полагаться на случайные предположения относительно того, где он будет находиться.
И очень важно следовать документации Google Web Developer, потому что они покажут вам множество подобных случаев, например, когда у вас есть группировки строк и правил. Он покажет вам форматирование, конкретные правила и то, как вы хотите сгруппировать эти строки в robots.txt.
Таким образом, это может быть очень удобным руководством для устранения любых возможных проблем, с которыми вы можете столкнуться, когда дело доходит до выяснения того, что именно вызывает корень вашего робота.txt проблема. Кроме того, вы хотите убедиться, что вы следуете некоторым рекомендациям по сопоставлению URL-адресов, которые основаны на значениях пути.
Таким образом, любое из этих значений пути, например звездочка, вы собираетесь обозначить ноль или более экземпляров, несколько экземпляров любого допустимого символа, а затем знак доллара будет обозначать конец URL-адреса. Это определенные заполнители в файле robots.txt, которые ведут себя определенным образом при их использовании.
Таким образом, если вы не используете их правильно, вы можете внести ошибки при сканировании и индексировании.Хорошо, на сегодня закончился 18-й эпизод "Спросите о поисковой оптимизации". Это Брайан Харниш подписывает контракт. Не забудьте поставить лайк и подписаться на наш канал YouTube, чтобы получать новые выпуски каждую неделю.
Удачного дня!
Ваш Ultimate Robots.txt Руководство для начинающих «SEOPressor - WordPress SEO плагин
Знаете ли вы, что теперь у вас больше власти над поисковыми системами, чем когда-либо ?! Да, это правда, теперь вы можете контролировать, кто сканирует или индексирует ваш веб-сайт с помощью роботов.текст.
Но что такое robots.txt?
Это обычный текстовый файл в корневом каталоге вашего сайта, который сообщает поисковым роботам, следует ли обращаться к определенным страницам, папкам и другим данным на вашем веб-сайте или просматривать их. Он использует стандартный протокол исключения роботов, разработанный в 1994 году для взаимодействия сайтов с роботами-поисковиками.
Теперь это жизненно важный инструмент, который вы можете использовать для отображения вашего сайта в поисковых системах так, как вы хотите, чтобы они его видели.
На фундаментальном уровне поисковые системы, особенно Google, обычно очень суровы и строго разбираются в людях, поэтому вы должны произвести хорошее впечатление, если хотите выделиться.
И при правильном использовании robots.txt может помочь вам в этом за счет увеличения частоты сканирования , что, в свою очередь, положительно повлияет на ваши усилия по поисковой оптимизации.
Nitty Gritty; Robots.txt
Несколько десятилетий назад, когда Всемирная паутина еще была в подгузниках, разработчики сайтов разработали способ, позволяющий ботам сканировать и индексировать новые страницы в Интернете.
Ботов называли «пауками».
Паук от Google называется GooglebotВремя от времени пауки переходили на сайты, которые были не предназначены для индексации или сканирования , например, веб-сайты, находящиеся на обслуживании.
Именно из-за таких проблем разработчики придумали решение, по которому в 1994 году была создана дорожная карта для всех ботов. В протоколе излагаются правила, которых должен придерживаться каждый настоящий робот, включая ботов Google .
Незаконные боты, такие как шпионское ПО, вредоносное ПО и т. Д., Работают вне этого протокола.
Чтобы проверить robots.txt любого сайта, введите URL-адрес и добавьте в конце «/robots.txt».
Вам нужно настроить файл Robots.txt?
Robots.txt не обязателен для каждого веб-сайта, особенно маленького или нового. Тем не менее, нет веских причин не иметь файл, поскольку он дает вам больше власти над тем, где различные поисковые системы могут и не могут заходить на ваш сайт, и это может помочь;
- Предотвратить сканирование дублирующих страниц
- Сохранять конфиденциальность определенных частей сайта
- Предотвратить сканирование результатов внутреннего поиска
- Предотвратить перегрузку сервера
- Предотвратить появление файлов ресурсов, видео и изображений в результатах поиска
Инструкции, используемые в роботы.txt
Файл должен быть сохранен как ASCII или UTF-8 в корневом каталоге вашей веб-страницы. Имя файла должно быть уникальным и содержать одно или несколько правил, созданных в удобочитаемом формате. Правила структурированы сверху вниз, при этом прописные и строчные буквы различаются.
Используемые термины
- User-agent; обозначает имя поискового робота
- Disallow; предотвращает доступ сканеров к отдельным веб-страницам, каталогам и определенным файлам
- Разрешить; перезаписывает другие инструкции, включая запрет на сканирование каталогов, веб-страниц и файлов
- *; Обозначает цифры символа
- $; Обозначает конец строки
Теперь инструкции в файле обычно состоят из двух частей.В первом разделе вы указываете, к каким роботам применяется инструкция. Второй раздел включает инструкцию разрешения или запрета.
Например. «Пользователь-агент; BingBot »плюс инструкция« allow: / clients / »означает, что BingBot разрешен поиск в каталоге / clients /.
Например, файл robots.txt для сайта https://www.bot.com/ может выглядеть так:
Пользовательский агент: *
Разрешить: / логин /
Disallow: / card /
Разрешить: / fotos /
Disallow: / temp /
Запретить: / search /
Asallow: / *.pdf $
Карта сайта: https://www.bot.com/sitemap.xml
Сложно настроить?
Настроить файл не так сложно, как вы думаете. Просто откройте любой пустой документ и начните вводить инструкции. Например, если вы хотите разрешить поисковым системам сканировать ваш административный каталог, это будет выглядеть так:
Пользовательский агент: *
Запрет: / admin /
Вы можете продолжать делать это до тех пор, пока вас не устроит то, что вы видите, а затем сохраните директивы как «robots.текст." Есть также инструменты, которые вы можете использовать для этого. Одним из основных преимуществ использования надежных инструментов является то, что вы минимизируете синтаксические ошибки .
И это очень важно, потому что простая ошибка может привести к краху SEO для вашего сайта. Обратной стороной является то, что они каким-то образом ограничены, когда дело доходит до настраиваемости .
Почему важен Robots.txt? Что происходит, если он не настроен должным образом?
Как упоминалось ранее, robots txt контролирует, как различные поисковые системы получают доступ к вашему сайту.В нем есть инструкции, которые указывают поисковым системам, к каким страницам обращаться, а к каким не открывать .
Хотя это полезный инструмент при правильном использовании, он также может отрицательно повлиять на ваш сайт при неправильном использовании.
Вот случаи, когда НЕ использовать файл robot.txt для;
Поисковые системы должны иметь доступ ко всем ресурсам на ваших веб-сайтах, чтобы правильно отображать страницы, что жизненно важно для поддержания хорошего рейтинга. Запрет поисковым роботам доступа к файлам JavaScript, которые изменяют взаимодействие с пользователем , может привести к алгоритмическим или ручным штрафам .
Например, если вы перенаправляете посетителей своего сайта с помощью файла JavaScript, к которому поисковые системы не могут получить доступ, это может быть расценено как маскировка , и рейтинг вашего сайта может быть скорректирован в сторону понижения.
Блокировка URL-адресов в файле мешает ссылкам переходить на сайт. По сути, это означает, что если Google не может перейти по ссылке с другого сайта, ваш веб-сайт не получит авторитет , который предлагают ссылки, и, как таковой, ваш рейтинг в целом может быть невысоким
- Предоставление указаний, игнорирующих поисковые роботы социальных сетей
Если вы хотите хорошо ранжироваться, вы должны разрешить социальным сетям доступ к некоторым страницам вашего сайта для разработки фрагмента .Например, если вы разместите URL своего сайта на Facebook, он попытается посетить каждую страницу, чтобы получить полезный фрагмент. Поэтому не давайте указания, запрещающие социальным сетям доступ к вашему сайту.
- Разрешение или запрещение доступа ко всему
Это неприемлемо
Пользовательский агент: *
Разрешить: /
Или так:
Пользовательский агент: *
Disallow:
Полный запрет доступа к вашему сайту не подходит для вашего сайта; ваш сайт не будет проиндексирован поисковыми системами, что повлияет на ваш рейтинг.Точно так же оставлять свой веб-сайт незащищенным, разрешая доступ ко всему, - нехорошо.
Кроме того, нет необходимости в такой директиве, если вы не работаете на статическом 4-страничном сайте, на котором нечего скрывать.
- Robots.txt, несовместимый с XML-картой сайта
Неверное направление поисковых систем - ужасная идея.
Если в файле sitemap.xml вашего веб-сайта есть URL-адреса, которые явно заблокированы файлом robots.txt, вы сами вводите в заблуждение.Чаще всего это происходит, если файл и файлы карты сайта разрабатываются разными инструментами и не проверяются впоследствии .
Чтобы проверить, есть ли на вашем сайте эта проблема, зайдите на Google Search Console . Добавьте свой сайт, подтвердите его и отправьте для него карту сайта в формате XML. Вы увидите на карте сайта на вкладке Индекс.
Мы рекомендуем использовать правила robots.txt только при проблемах с эффективностью сканирования или проблемах сервера , таких как боты, тратящие время на сканирование неиндексируемых разделов вашего сайта.Некоторые страницы, сканирование которых может быть запрещено ботами, включают:
- Внутренние поисковые страницы;
- Страницы, содержащие конфиденциальные данные
- Пользовательские данные, которые нельзя модерировать
- Страницы без стандартной сортировки
Что такое robots.txt в SEO?
Robots.txt оказывает существенное влияние на SEO, поскольку позволяет управлять поисковыми роботами .
Однако, если пользовательские агенты сильно ограничены директивами dis-allow, они могут отрицательно повлиять на рейтинг вашего сайта.Кроме того, не будет ранжироваться среди страниц, сканирование и индексирование которых запрещено вами .
С другой стороны, если директив запрета очень мало, могут быть проиндексированы повторяющихся страниц , что может отрицательно сказаться на ранжировании страниц.
Кроме того, перед сохранением файла в каталоге вашего сайта подтвердите синтаксис .
Даже минимальные ошибки могут привести к тому, что боты проигнорируют ваши инструкции разрешения или запрета.
Такие ошибки могут привести к сканированию сайтов, которые не следует индексировать, а также к недоступности страниц для ботов из-за запрета.Google Search Console может помочь вам подтвердить правильность вашего файла.
Тем не менее, правильное использование robots.txt обеспечит сканирование всех основных разделов вашего сайта поисковыми роботами, что приведет к индексации вашего контента Google и другими соответствующими поисковыми системами.
Robots.txt для WordPress
WordPress по умолчанию создает виртуальных роботов.
Итак, если вы ничего не делаете на вашем сайте, у него должен быть файл. Вы можете подтвердить это, добавив “/ robots.txt »в конец доменного имени вашего сайта.
Например, «https://google.com/robots.txt» вызывает файл robots.txt, который использует платформа. Теперь, поскольку это виртуальный файл, вы не можете его редактировать. Если вы должны его отредактировать, вам нужно будет создать физический файл на своем сервере.
Вот простой способ управлять своим robots.txt с помощью SEOPressor:
Вы можете вручную выбрать, что запрещать для каждого нового сообщения, которое вы создаете, на мета-вкладке SEOpressor.
Это действительно просто и удобно для новичков. Все, что вам нужно сделать, это отметить несколько полей, и готово!
Завершение!
В безупречном обществе robots.txt бесполезен. Если бы все части сайта были разработаны для публики, то технически Google и другим поисковым системам был бы разрешен доступ ко всем из них.
К сожалению, мир не идеален. На многих веб-сайтах есть закрытые страницы, проблемы с каноническими URL и ловушки для пауков, которые не должны попадать в Google.Вот здесь и пригодятся файлы robots.txt, которые сделают ваш веб-сайт еще более привлекательным.
Кроме того, robots.txt отлично подходит для поисковой оптимизации. Это позволяет легко указать Google, что индексировать, а что нет. Как бы то ни было, с этим нужно обращаться осторожно, потому что одна неверная конфигурация может легко привести к DE-индексации вашего сайта.
Обновлено: 26 октября 2021 г.
Полиглот погрузился в темно-синий мир SEO и входящего маркетинга, вооруженный пылкой страстью к письмам и увлечением тем, как эта вещь вращается во всемирной паутине.
SEO Guide Что такое файл Robots.txt?
Роботы используются поисковыми системами (такими как Google и Bing) для классификации и каталогизации данных на веб-сайтах. Владельцы сайтов предоставляют роботам конкретную информацию о том, какие страницы поисковая система может сканировать, а какие - нет. Это администрируется с помощью файла robots.txt, и роботы будут читать этот файл перед доступом к остальной части веб-сайта.То, что может видеть и не видеть поисковая система, в конечном итоге повлияет на вашу поисковую оптимизацию .
Итак, что такое Robots.txt?
Происходит из файла robots.txt 1994 года или протокола исключений роботов (REP), который регулирует то, что может индексировать поисковый робот. Текстовый файл размещается в иерархии веб-сайтов и может выглядеть примерно так:
https://companyexamplename.com/robots.txt
Это файл, содержащий информацию, которую должна сканировать поисковая система.Файл сообщает поисковой системе, где у нее есть доступ, а где нет, таким образом регулируя свои действия. Веб-сайт может полностью запретить роботу доступ к своему сайту или запретить ему доступ из определенных областей, инструкции немного отличаются по внешнему виду:
1. Пользовательский агент: * Disallow: /
/ указывает, что всем поисковым роботам запрещен доступ ко всем каталогам.
2. Пользовательский агент: * Disallow: / example /
Запретить: / directory / html
В этом примере показано, что всем роботам запрещен доступ к двум каталогам.
3. Пользовательский агент: * Disallow: / no-google /
Этот пример показывает, что один конкретный веб-сайт не имеет доступа ни к одному из его каталогов.
Что нужно помнить при использовании Robots.txt
- К сожалению, протокол действует только как совет для поисковых роботов, что означает, что они не обязательно полностью исключены с вашего веб-сайта. Это очевидно по менее благородным ползунам, которые могут использовать ваши запрещенные области в качестве направления и целиться прямо в них!
- Роботы.txt - это общедоступная информация, доступ к которой может иметь каждый. Это означает, что вы не можете скрыть ничего, что вы запретили серверам видеть.
- Исключенные страницы обозначаются символами * и $ (для Google и Bing).
- Файлы чувствительны к регистру, поэтому будьте внимательны, так как файлы с заглавными буквами не распознаются, интервалы также не принимаются.
- Вы не можете использовать несколько блоков в одном URL - используйте для каждого отдельную строку. Тщательно подумайте о том, что вы хотите заблокировать, так как это повлияет на вашу поисковую оптимизацию - не скрывайте того, что может быть жизненно важным для вашего рейтинга.
- Для любого поддомена вашего веб-сайта потребуется собственный файл robots.txt.
Для получения дополнительной информации о том, как SEO-наркоманы могут помочь улучшить вашу поисковую оптимизацию, свяжитесь с нами сегодня!
Мы предлагаем обширные знания и опыт, которые могут помочь вам улучшить рейтинг вашей кампании, используя наш проверенный опыт результатов в поисковой выдаче (страницы результатов поисковой системы).