seo.txt · GitHub

	1. Матрица сайта
	Построение матрицы сайта
	2. Общий анализ
	Сбор информации о проекте от клиента
	Ручной анализ сайта
	Анализ отчетов о продвижении
	Оценка трафикового потенциала сайта
	Анализ CMS на эффективность для продвижения
	Проверка на использование стандартного шаблона в качестве дизайна сайта
	Анализ наполненности сайта
	Анализ позиций по всей семантике
	Видимость сайта (НЧ, СЧ, ВЧ запросы)
	3. Изучение тематики
	Проверка сайта на наличие обязательных контентных модулей тематики
	Проверка сайта на наличие эффективных SEO-модулей тематики
	Проверка сайта на наличие обязательных функциональных модулей тематики
	Поиск площадок для размещения ссылок
	Изучение динамики трафика в тематике
	Изучение распределения трафика между ПС
	4. Хостовые факторы
	Проверка корректности использования редиректов
	Проверка корректности использования 4** ошибок
	Анализ 404 страницы
	Поиск ссылок на 404 страницы
	Поиск ссылок на редиректы
	Поиск страниц с кодами ответа 3**
	Поиск страниц с кодами ответа 4**
	Анализ сайта на нагрузоустойчивость
	Анализ скорости загрузки страниц
	Анализ размеров страниц
	Анализ логов сайта, поиск страниц, которые не посещал робот
	5. Индексация
	Проверка индексации каждой страницы сайта
	Составление списка непроиндексированных страниц, посещенных роботом
	Проверка возможности индексации важных областей на flash и ajax сайтах
	Проверка возможности индексации всех страниц сайта при текущих инструкциях robots.txt
	Проверка целесообразности использования , nofollow, SEOHide
	Проверка корректности использования , nofollow, SEOHide
	Сравнение индексов по категориям и типам страниц
	Поиск в индексе технических страниц
	Анализ динамики индексации сайта
	Проверка robots. txt на ошибки
	Проверка robots.txt на полноту данных
	Проверка robots.txt на наличие директив для всех поисковых систем
	Проверка актуальности robots.txt
	Проверка sitemap.xml на ошибки
	Анализ расстановки дат индексации и приоритетов в sitemap.xml
	Проверка актуальности sitemap.xml
	Поиск запрещенных к индексации страниц в sitemap.xml
	6. Дублирование, аффилиаты, ошибки
	Анализ содержания поддоменов
	Поиск дублирующихся страниц
	Поиск дублирующегося контента
	Поиск пустых страниц
	Поиск страниц с ошибками
	Проверка на аффилиаты
	Проверка сайта на наличие зеркал
	Поиск тестовых доменов и других копий сайта в индексе
	Поиск циклических (бесконечных) страниц
	7. Региональность
	Проверка региональности, анализ риска ошибочной смены региона
	Проверка корректности определения регионов в Я.Каталоге
	Проверка корректности определения регионов в Я.Адреса
	Проверка ранжирования региональных доменов
	Анализ наличия ссылок с региональных площадок
	8. Спам и уязвимости
	Поиск генерируемого контента
	Проверка генерируемого контента на спамность
	Анализ исходящей рекламы на нарушение правил ПС
	Анализ SEOIN/SEOOUT
	Проверка спамности HTML заголовков
	Проверка страниц на наличие скрытого текста
	Проверка работы службы модерации контента
	Проверка работы контент-менеджеров
	Проверка сайта на XSS-уязвимости
	Поиск SEO-разделов и SEO-страниц
	Проверка текстов на грамматические ошибки и опечатки
	Анализ сайта на клоакинг
	Поиск на сайте взрослого контента
	Проверка IP адреса хостинга на наличие спамных сайтов
	Проверка сайта на фильтры в Яндекс, Google
	Проверка страниц на фильтры в Яндекс, Google
	Проверка ссылочной массы на фильтры в Яндекс, Google
	Проверка ссылочной массы на спамность доноров
	Поиск спамных страниц
	Анализ на поведенческие атаки конкурентов
	Проверка текстов на спамность ключевых слов
	Проверка на ссылочные взрывы
	9. Факторы авторитетности
	Анализ параметрических характеристик сайта
	Анализ узнаваемости компании в интернете
	Анализ долевого распределения трафика по разным каналам интернет-маркетинга
	Анализ ссылочной массы на трастовые ссылки (в т.ч. каталоги ПС)
	Анализ возрастных факторов по страницам и по сайту
	10. URL факторы
	Изучение наличия ключевых слов в URL
	Анализ иерархии URL-структуры сайта
	Изучение наличия ключевых слов в именах файлов
	Проверка URL на спамность
	ЧПУ
	11. Семантическое ядро и трафик
	Анализ семантического ядра на полноту охвата
	Анализ семантического ядра на наличие пустых запросов
	Анализ семантического ядра на актуальность
	Изучение запросов с высоким % отказа
	Изучение страниц с высоким % отказа
	Изучение запросов с высокой конверсией
	Изучение страниц с высокой конверсией
	Изучение страниц с низкой конверсией
	Изучение запросов с низкой конверсией
	Поиск нецелевых запросов в семантическом ядре
	Определение запросов, не упомянутых ни в тексте страницы, ни в анкор-листа
	Проверка корректности группировок в семантическом ядре
	12. Структура сайта
	Поиск страниц, на которых не стоят входящие ссылки
	Анализ уровней вложенности страниц
	Анализ распределения запросов по структуре сайта
	Анализ выделения логических кластеров
	13. Поведенческие факторы
	Поиск и изучение отзывов о компании
	Анализ конверсии входных страниц
	Удобство структуры сайта для решения проблем пользователей
	Проверка сайта на наличие обязательных функциональных модулей тематики
	Анализ трафика с сайтов через Яндекс. Метрику
	Изучение путей следования пользователей по сайту
	14. Юзабилити
	Анализ юзабилити по матрице
	Анализ соответствия содержания входных страниц проблемам пользователей
	Анализ юзабилити ссылок
	Анализ юзабилити форм регистрации
	Проверка текстов на юзабилити
	Проверка перелинковки на полезность с т.з. пользователя
	15. Сниппеты
	Парсинг сниппетов по всем запросам Яндекс, Google
	Анализ сниппетов в Google
	Анализ сниппетов в Яндекс
	Проверка наличия favicon
	Проверка корректности определения быстрых ссылок
	Проверка совпадения адреса и телефона организации в выдаче и на сайте
	Проверка наличия социальных ссылок в сниппетах
	Проверка корректности определения хлебных крошек
	Поиск возможностей по улучшению сниппетов в Яндекс
	Поиск возможностей по улучшению сниппетов в Google
	16. Ссылочная масса
	Анализ выгрузки ссылок из бирж
	Анализ выгрузки ссылок из яндекс.вебмастер
	Анализ выгрузки ссылок из ahrefs
	Анализ динамики изменения ссылочной массы
	Изучение возраста входящих ссылок
	Изучение естественности измеримых параметров ссылочной массы
	Проверка индексации страниц-доноров
	Анализ ссылочной массы на атаки конкурентов
	17. Внутренние ссылки
	Проверка на наличие исходящих ссылок на внешние сайты
	Проверка страниц на дублирующиеся ссылки
	Проверка страниц на циклические ссылки
	Поиск висячих узлов
	Поиск скрытых исходящих внешних ссылок
	Анализ модулей динамической внутренней перелинковки
	Изучение исходящих внутренних ссылок по матрице
	Изучение исходящих внутренних анкоров по матрице
	Изучение входящих внутренних ссылок по матрице
	Анализ внутреннего анкор-листа через СайтРепорт
	18. Статический вес
	Определение доли естественных ссылок в ссылочной массе
	Расчет статического веса при перелинковке (НЧ, СЧ, ВЧ запросы) (условно по PageRank)
	Расчет статического веса по входящим внешним ссылкам (условно по PageRank)
	Определение страниц, получающих недостаточно статического веса
	19. Анкоры
	Определение доли естественных анкоров в анкор-листе
	Проверка анкор-листа на релевантность запросам (внутр. + внешн. ссылки) (Расчет по BM25)
	Проверка анкор-листа на полноту охвата семантики (внутр. + внешн. ссылки)
	Анализ покупных ссылок на наличие информационных анкоров
	Проверка анкор-листа на спамность (внутр. + внешн. ссылки)
	Проверка анкор-листа на наличие уникальных биграмм
	20. Естественные ссылки
	Изучение естественных ссылок
	Анализ ссылок из социальных сетей
	Анализ PR-активности сайта, поиск возможностей для размещения естественных ссылок
	Изучение путей появления трафиковых ссылок через Яндекс.метрику
	21. Текстовые факторы (важные зоны документа)
	Поиск дублирующихся TITLE
	Проверка TITLE на спамность
	Проверка наличия ключевых слов в TITLE
	Проверка длины TITLE по всем страницам сайта
	Поиск спамных употреблений в <STRONG>, <B>, <EM>
	Проверка Description на дублированность
	Поиск пустых Description
	Проверка Description на спам
	Проверка keywords на спам
	Проверка HTML заголовков на спамность
	Анализ заголовков входных страниц на соответствие ключевым словам
	22. Текстовые факторы (область контента)
	Проверка на наличие ключевых слов в ALT
	Проверка наличия телефонов, адресов и др. важной информации в виде индексируемого текста
	Поиск важных ссылок, выполненных картинками
	Анализ уникальности текстов
	Проверка на воровство контента
	Анализ наличия важных форм запросов в текстах
	Анализ корректности написания текстов с т.з. алгоритмов обработки текстов
	Анализ заголовков по матрице
	Анализ текста по матрице
	23. HTML
	Проверка сайта на ошибки кодировки
	Проверка на кроссбраузерность по матрице
	Проверка наличия микроформатов
	Анализ корректности использования микроформатов
	Анализ попадания содержимого микроформатов в индекс поисковых систем
	Анализ кода на наличие скриптов и css инструкций внутри страницы
	Анализ верстки HTML заголовков по матрице
	Проверка валидации по матрице
	24. Анализ эффективности продвижения
	Проверка соответствия запросов входным страницам
	Анализ ранжирования картинок с сайта
	Анализ ранжирования видео с сайта
	Анализ ранжирования DOC, XLS, PDF, PPTX документов сайта
	Анализ источников ссылок, дающих живой трафик
	Анализ запросов, по которым приходит трафик из поисковых систем (Яндекс, Google, Mail)
	25. Бизнес-аналитика
	Проверка оформления заказа
	Проверка саппорта
	Проверка колл-центра
	26. Сводная таблица
	Критические ошибки
	Важные ошибки
	Незначительные ошибки

Читать онлайн «Super SEO. Продвижение и оптимизация сайта», Майкл Сандерс – Литрес

Для продвижения собственного сайта в поисковых системах все более значимыми являются SEO инструменты. Для раскрутки ресурсов используются теги, ключевые слова, закупочные ссылки и многое другое. В рамках темы стоит рассмотреть LSI слова, анкоры, поисковые алгоритмы и многое другое.

Необходимость SEO продвижения

У пользователей может быть множество сайтов. Они посвящены разным тематикам и не похожи друг на друга. SEO инструменты требуются для таких ресурсов:

– интернет-магазины; 

– блоги; 

– новостные порталы.

В настройках кампании просто выбирают флажки, чтобы исключить поисковых партнеров или контекстно-медийную сеть. Важной является контекстно-медийная сеть Google Adwords. Данная сеть позволяет рекламодателям выбрать формат, создать объявление, решить, где будут показываться объявления, а затем установить бюджет, чтобы они могли охватить целевую аудиторию и начать появляться на связанных страницах. Благодаря миллионам веб-сайтов, новостных сетей и блогов контекстно-медийная сеть с SEO инструментами охватывает 90% пользователей во всем мире.

Зачем требуется оптимизация сайта

Оптимизация сайта поможет, когда требуется срочно привлечь большое количество новых посетителей. Некоторым интересны только комментарии и просмотры. Другие желают набирать лайки. Если рассматривать сайт по продаже товаров, естественно учитывают чистые продажи.

Оптимизация сайта дает:

– продвижения в ТОП списка поисковых алгоритмов;

– прирост трафика;

– больший капитал от рекламы.

Когда объявление отображается в поисковой сети, оно будет показано на странице результатов поиска. Когда пользователи вставят ключевое слово (запрос) в поисковую систему, можно увидеть результат. В поисковой сети обслуживаются различные типы SEO, включая текстовые, динамические ключи.

Основные инструменты для SEO продвижения

Для SEO продвижения в основном используются ключевые слова. Пользователи на сайте стараются выделить основные запросы. К примеру, если это магазин по продаже авто, то основным ключевым запросом может быть «купить авто».

Другие инструменты для SEO продвижения:

– дискрипшн;

– анкоры;

– закупочные ссылки.

Для сайтов электронной коммерции отображается ссылка на товары, которые продаются. Видео и графические объявления позволят подходящим поисковым партнерам размещать видеорекламу. Есть возможность удалить и включить партнеров по поиску. Существуют варианты добавить SEO инструменты для определенных демографических групп, чтобы они могли заметить бренд. Google Adwords позволяет действовать активно, а не реагировать на все действия. С инструментами для измерения результатов рекламы и определения местоположения можно повременить. Однако важно знать, какая аудитория и целевой рынок более отзывчивы. Если пытаться получить больше кликов на определенной веб-странице или увеличить продажи определенного продукта, Google Adwords позволяет измерять эффективность кампании. Так, получается внести соответствующие корректировки. Рекламодатели используют SEO инструменты для повышения цены за конверсию. Цена за приобретение, также называемая CPA, представляет собой стратегию назначения ключей, при которой якоря устанавливаются с целью получения конверсий. Это позволяет рекламодателям делать ориентир того, сколько они готовы платить за каждую конверсию. Google предоставляет рекомендуемую целевую цену за конверсию на основе того, что он считает разумной стоимостью конверсии, полученной на основе информации.

Оптимизация сайта для интернет-магазинов

Для интернет-магазина важно всегда закупать новые ссылки. Существует множество ресурсов, которые предлагают собственные услуги. Их преимущество кроется в том, что подобный сайт сложно отследить, и он не попадет под блокировку. Другие способы раскрутки интернет-магазина: – новые описания для статей; – использование уникальных изображений; – загрузка видео контента. Как только найдется успешная комбинация объявлений и ключевых слов, можно масштабировать бюджет всего за пару кликов, превратив кампанию из стороннего проекта в потенциальный источник для новых активных клиентов. Для многих предприятий, особенно небольших и стартапов, Google Adwords рассматривается как аспект маркетинга, которого следует избегать из-за опасений, что это будет слишком дорого или сложно маневрировать. Хотя Google Adwords существует уже несколько лет на данный момент, все еще есть некоторые опасения. Когда дело доходит до его полного использования, особенно с учетом того, что SEO рассматривается как бесплатный метод привлечения трафика. Несмотря на свою репутацию, Google Adwords на удивление доступен по малой цене. Если оптимизировать кампанию и стратегически начать экономичную кампанию Google Adwords, все получиться. Прежде чем будет предоставлена возможность создавать собственные объявления и выбирать, сколько инвестируется, необходимо настроить кампанию.

Google Adwords фактически делится на две сети:

– поисковую;

– контекстно-медийную.

Также есть другие типы кампаний, такие как торговые, видео и установки приложений. Поисковая сеть будет представлять веб-сайт, на котором объявление может появляться в поисковых системах. К ним относятся сайты Google и сайты, не связанные с Google, которые являются партнерами платформы.

Robots.txt и SEO: Полное руководство (2023)

Robots.txt — это простой, но важный файл, который может определить судьбу вашего веб-сайта на страницах результатов поисковой системы (SERP).

Ошибки Robots.txt являются одними из наиболее распространенных ошибок SEO, которые вы обычно обнаруживаете в отчете аудита SEO. На самом деле, даже самые опытные SEO-специалисты подвержены ошибкам robots.txt.

Вот почему важно глубже понять, как работает robots. txt.

Поняв основы, вы сможете создать идеальный файл robots.txt, облегчающий поисковым системам сканирование и индексирование ваших страниц.

В этом руководстве мы рассмотрим:

• Что такое robots.txt
• Почему файл robots.txt важен
• Как найти файл robots.txt
• Синтаксис файла robots.txt
• Как создать файл robots.txt
• Как проверить, работает ли ваш robots.txt
• Лучшие практики для robots.txt

К концу этого поста у вас будет SEO-оптимизированный файл robots.txt для вашего веб-сайта.

Начнем.

Что такое Robots.txt?

Robots.txt — это текстовый файл, созданный владельцами веб-сайтов, который инструктирует поисковые системы о том, как сканировать страницы вашего веб-сайта. Иными словами, файл robots.txt сообщает поисковым системам, где они могут и не могут находиться на вашем сайте.

По данным Google:

Robots.txt используется в основном для управления трафиком поисковых роботов на вашем сайте и обычно для защиты страницы от Google, в зависимости от типа файла.

Например, если на вашем сайте есть определенная страница, которую вы не хотите индексировать Google, вы можете использовать robots.txt, чтобы заблокировать Googlebot (веб-сканер Google) от сканирования этой страницы.

Почему файл robots.txt важен?

Вопреки распространенному мнению, файл robots.txt необходим не для всех веб-сайтов.

Если на вашем сайте очень мало страниц, вам не нужно создавать файл robots.txt для вашего сайта.

Google достаточно развился, чтобы узнать, какие страницы индексировать, а какие игнорировать на вашем сайте.

Тем не менее, лучше всего использовать файл robots.txt, даже если у вас небольшой веб-сайт.

Почему?

Потому что это дает вам больше контроля над тем, какие страницы вы хотите, чтобы поисковые роботы проиндексировали.

Давайте подробнее рассмотрим 5 основных причин, по которым вы хотите создать файл robots.txt для своего веб-сайта:

• Блокировка частных страниц от сканеров поисковых систем: Вы можете использовать robots. txt для блокировки частных страниц на своем веб-сайте. Ваша страница входа или промежуточные версии страниц на вашем сайте должны быть недоступны для широкой публики. Здесь вы можете использовать robots.txt, чтобы другие люди не попадали на эти страницы.
• Оптимизируйте бюджет сканирования: Бюджет сканирования — это количество страниц, которые робот Googlebot будет сканировать в любой день. Если у вас возникли проблемы с индексацией всех важных страниц, возможно, вы столкнулись с проблемой краулингового бюджета. Это тот случай, когда вы можете использовать robots.txt, чтобы оптимизировать свой краулинговый бюджет, заблокировав доступ к неважным страницам.
• Предотвратить сканирование дублированного контента: Если у вас есть один и тот же контент, отображаемый на нескольких страницах, вы можете использовать robots.txt, чтобы предотвратить ранжирование повторяющихся страниц в поисковой выдаче. Это распространенная проблема, с которой сталкиваются веб-сайты электронной коммерции, и ее можно легко предотвратить, добавив простые директивы в файл robots. txt.
• Предотвращение появления файлов ресурсов в поисковой выдаче: Robots.txt может помочь вам предотвратить индексирование файлов ресурсов, таких как PDF-файлы, изображения и видео.
• Предотвратить перегрузку сервера: Вы можете использовать файл robots.txt, чтобы указать задержку сканирования, чтобы избежать перегрузки сайта запросами.

Как найти файл robots.txt

Если у вас уже есть файл robots.txt, найти его очень просто.

Просто введите yoursitename.com/robots.txt в вашем браузере, и если на вашем сайте есть файл robots.txt, он должен выглядеть примерно так:

Если на вашем сайте нет файла robots.txt, вы найдете пустую страницу.

Синтаксис файла robots.txt

Перед созданием файла robots.txt необходимо ознакомиться с синтаксисом, используемым в файле robots.txt. Вот 4 наиболее часто встречающихся компонента в файле robots. txt:

• User-agent: Это имя поискового робота, которому вы даете инструкции по сканированию. У каждой поисковой системы свое имя пользовательского агента. Пример: Googlebot — это имя пользовательского агента Google.
• Disallow: Это директива, используемая для указания агенту пользователя не сканировать определенный URL-адрес.
• Разрешить: Эта директива используется для указания агенту пользователя сканировать страницу, даже если ее родительская страница запрещена.
• Карта сайта: Эта директива используется для указания местоположения вашей карты сайта XML для поисковых систем.

Как создать файл robots.txt

Если на вашем сайте нет файла robots.txt, его легко создать. Вы можете использовать любой текстовый редактор для создания файла robots.txt.

Если вы используете Mac, вы можете создать файл robots.txt с помощью приложения TextEdit.

Откройте текстовый документ и начните вводить директивы.

Например, если вы хотите, чтобы Google проиндексировал все ваши страницы и просто скрыл страницу администратора, создайте файл robots.txt, который выглядит следующим образом:

 User-agent: *
Disallow: /wp-admin/ 

Когда вы закончите вводить все директивы, сохраните файл как «robots.txt».

Вы также можете использовать этот бесплатный генератор robots.txt от SEOptimer для создания файла robots.txt.

Если вы хотите избежать синтаксических ошибок при создании файла robots.txt, я настоятельно рекомендую вам использовать генератор robots.txt. Даже небольшая синтаксическая ошибка может привести к деиндексации вашего сайта, поэтому убедитесь, что файл robots.txt настроен правильно.

Когда файл robots.txt будет готов, загрузите его в корневой каталог вашего веб-сайта.

Используйте FTP-клиент, например Filezilla, чтобы поместить текстовый файл в корневой каталог домена. Например, файл robots.txt из yoursitename.com должен быть доступен по адресу yoursitename.com/robots.txt .

Как проверить, работает ли ваш файл robots.txt

После загрузки файла robots.txt в корневой каталог вы можете проверить его с помощью средства проверки robots.txt в Google Search Console.

Средство проверки robots.txt проверит правильность работы файла robots.txt. Если вы заблокировали сканирование каких-либо URL-адресов в файле robots.txt, инструмент Tester проверит, действительно ли определенные URL-адреса блокируются поисковыми роботами.

То, что ваш файл robots.txt проверен один раз, не означает, что он всегда будет безошибочным.

Ошибки robots.txt встречаются довольно часто. Плохо настроенный файл robots.txt может повлиять на возможность сканирования вашего сайта. Поэтому вам нужно следить за проблемами и убедиться, что ваш файл robots.txt не содержит ошибок.

Самый эффективный способ проверить файл robots. txt на наличие проблем — использовать Google Search Console. Войдите в свою учетную запись Google Search Console и перейдите к отчету «Покрытие» в разделе «Индекс».

Если есть какие-либо ошибки и предупреждения, связанные с вашим файлом robots.txt, вы найдете их в отчете «Покрытие».

Вы также можете использовать такой инструмент, как SEMrush, для проверки файла robots.txt на наличие ошибок.

Если у вас есть действующая подписка на SEMrush, регулярно проводите аудит своего сайта, чтобы поддерживать его техническое SEO-здоровье, а также выявлять и исправлять ошибки robots.txt.

Чтобы проверить файл robots.txt на наличие ошибок, откройте последний обзорный отчет об аудите сайта и найдите « 9Виджет «0041 Robots.txt Updates» . Вы увидите, смог ли SEMrushBot просканировать ваш файл robots.txt.

Если вы внесли какие-либо изменения в файл robots.txt, SEMrush отобразит количество изменений, внесенных в него с момента последнего сканирования.

Что еще более важно, SEMrush также выявит проблемы с вашими файлами robots. txt и предоставит рекомендации по их устранению, чтобы улучшить возможности сканирования и индексации вашего веб-сайта.

Примечание: SEMrush — мощное программное обеспечение для SEO, которое может помочь вам не только в техническом SEO-анализе. Вы можете использовать его для исследования ключевых слов, анализа обратных ссылок, изучения конкурентов и многого другого. Попробуйте SEMrush Pro бесплатно в течение 30 дней.

Передовые методы работы с robots.txt

Теперь, когда вы знакомы с основами robots.txt, давайте кратко рассмотрим некоторые рекомендации, которым необходимо следовать:

1. Robots.txt чувствителен к регистру

Имя файла robots.txt чувствительно к регистру. Поэтому убедитесь, что файл называется robots.txt (а не robots.TXT, ROBOTS.TXT, Robots.Txt и т. д.)

2. Поместите файл Robots.txt в основной каталог

Файл robots.txt должен быть помещен в основной каталог вашего сайта. Если ваш файл robots.txt находится в подкаталоге, он не будет найден.

Плохой:

yoursitename.com/page/robots.txt

Хороший:

yoursitename.com/robots.txt

3. Используйте подстановочные знаки для управления тем, как поисковые системы сканируют ваш веб-сайт

В файле robots.txt можно использовать два подстановочных знака — подстановочный знак (*) и подстановочный знак ($). Использование этих подстановочных знаков robots.txt помогает вам контролировать, как поисковые системы сканируют ваш сайт. Давайте рассмотрим каждый из этих подстановочных знаков:

(*) Подстановочный знак

Вы можете использовать подстановочный знак (*) в файле robots.txt для обращения ко всем агентам пользователя (поисковым системам). Например, если вы хотите запретить всем поисковым роботам сканировать вашу страницу администратора, ваш файл robots.txt должен выглядеть примерно так:

 User-agent: *
Запретить: /wp-admin/ 

($) Подстановочный знак

Подстановочный знак ($) указывает на конец URL-адреса. Например, если вы хотите запретить поисковым роботам индексировать все PDF-файлы на вашем сайте, ваш файл robots.txt должен выглядеть примерно так:

 Агент пользователя: *
Disallow: /*.pdf$ 

4. Используйте комментарии для дальнейшего использования

Комментарии в файле robots.txt могут быть полезны разработчикам и другим членам команды, имеющим доступ к файлу. Их также можно использовать для дальнейшего использования.

Чтобы добавить комментарии к файлу robots.txt, введите решетку (#) и введите свой комментарий.

Вот пример:

 # Это блокирует роботу Googlebot сканирование yoursitename.com/directory1/
Агент пользователя: googlebot
Запретить: /directory1/ 

Поисковые роботы игнорируют строки, содержащие хэш.

5. Создайте отдельный файл robots.txt для каждого субдомена

Для каждого субдомена требуется свой файл robots.txt. Таким образом, если у вас есть раздел вашего сайта, размещенный на другом субдомене, вам необходимо создать два отдельных файла robots. txt.

Например, блог HubSpot размещен на поддомене и имеет собственный файл robots.txt:

Заключительные мысли

Robots.txt может быть простым текстовым файлом, но это мощный инструмент SEO. Оптимизированный файл robots.txt может улучшить индексируемость ваших страниц и повысить видимость вашего сайта в результатах поиска.

Для получения дополнительной информации о том, как создать идеальный файл robots.txt, вы можете обратиться к этому руководству robots.txt от Google.

Если вы нашли эту статью полезной, поделитесь ею в Твиттере, используя ссылку ниже:

Примечание редактора: Эта статья была впервые опубликована 3 декабря 2020 года и с тех пор регулярно обновляется для обеспечения актуальности и полноты.

Статьи по теме

• Как создать XML-карту сайта для вашего веб-сайта (и отправить ее в Google)
• Контрольный список технического SEO: 10 советов по техническому SEO для мгновенного увеличения трафика
• Semrush Site Audit: 10 самых недооцененных функций

Что такое Robots.

txt и как он влияет на SEO?

Является ли robots.txt соломинкой, которая сломает хребет вашему SEO-верблюду? Поисковая оптимизация (SEO) включает в себя большие и малые изменения сайта. Файл robots.txt может показаться второстепенным техническим элементом SEO, но он может сильно повлиять на видимость и рейтинг вашего сайта.

После объяснения файла robots.txt вы можете увидеть важность этого файла для функциональности и структуры вашего сайта. Продолжайте читать, чтобы узнать о лучших методах robots.txt для улучшения вашего рейтинга на странице результатов поисковой системы (SERP). Хотите эффективные SEO-стратегии с полным спектром услуг от ведущего агентства?

WebFX предлагает надежные услуги и команду из более чем 500 человек, которые добавляют опыт в вашу кампанию. Свяжитесь с нами онлайн или позвоните нам по телефону 888-601-5359 прямо сейчас.

Что такое файл robots.txt?

Файл robots.txt — это директива, которая сообщает роботам поисковых систем или поисковым роботам, как продвигаться по сайту. В процессах сканирования и индексирования директивы действуют как приказы, чтобы направлять роботов поисковых систем, таких как Googlebot, на нужные страницы.

Файлы robots.txt также относятся к категории обычных текстовых файлов и находятся в корневом каталоге сайтов. Если ваш домен «www.robotsrock.com», файл robots.txt находится по адресу «www.robotsrock.com/robots.txt». Файлы robots.txt выполняют две основные функции для ботов:

• Запретить  (заблокировать) сканирование URL-пути. Однако файл robots.txt — это не то же самое, что метадирективы noindex, которые препятствуют индексации страниц.
• Разрешить сканирование определенной страницы или подпапки, если ее родительский элемент запрещен.

Robots.txt больше похожи на предложения, чем на нерушимые правила для ботов — и ваши страницы все равно могут оказаться в индексе и в результатах поиска по выбранным ключевым словам. В основном файлы контролируют нагрузку на ваш сервер и управляют частотой и глубиной сканирования. Файл определяет пользовательские агенты, которые либо применяются к конкретному боту поисковой системы, либо распространяют порядок на всех ботов.

Например, если вы хотите, чтобы только Google сканировал страницы, а не Bing, вы можете отправить им директиву в качестве пользовательского агента. Разработчики или владельцы веб-сайтов могут запретить ботам сканировать определенные страницы или разделы сайта с помощью файла robots.txt.

Зачем использовать файлы robots.txt?

Вы хотите, чтобы Google и его пользователи легко находили страницы на вашем веб-сайте — в этом весь смысл SEO, верно? Ну, это не обязательно правда.

Вы хотите, чтобы Google и его пользователи легко находили нужных страниц на вашем сайте. Как и на большинстве сайтов, у вас, вероятно, есть страницы благодарности, которые отслеживают конверсии или транзакции. Можно ли считать страницы благодарности идеальным выбором для ранжирования и регулярного сканирования?

Маловероятно. Также часто промежуточные сайты и страницы входа запрещены в файле robots.txt. Постоянное сканирование второстепенных страниц может замедлить работу вашего сервера и создать другие проблемы, которые мешают вашим усилиям по SEO.

Robots.txt — это решение для модерации того, что и когда сканируют боты. Одна из причин, по которой файлы robots.txt помогают SEO, заключается в обработке новых действий по оптимизации. Их проверки сканирования регистрируются, когда вы меняете теги заголовков, метаописания и использование ключевых слов, и эффективные сканеры поисковых систем ранжируют ваш сайт в соответствии с положительными изменениями как можно скорее.

Когда вы реализуете свою SEO-стратегию или публикуете новый контент, вы хотите, чтобы поисковые системы распознавали вносимые вами изменения и чтобы результаты отражали эти изменения. Если у вас низкая скорость сканирования сайта, свидетельства улучшения вашего сайта могут отставать. Robots.txt может сделать ваш сайт аккуратным и эффективным, хотя они напрямую не поднимают вашу страницу выше в поисковой выдаче.

Они косвенно оптимизируют ваш сайт, чтобы он не налагал штрафов, не истощал ваш краулинговый бюджет, не замедлял работу вашего сервера и не загружал неправильные страницы, полные ссылочного веса.

4 способа улучшить поисковую оптимизацию с помощью файлов robots.txt

Хотя использование файлов robots.txt не гарантирует высокий рейтинг, это имеет значение для поисковой оптимизации. Они являются неотъемлемым техническим компонентом SEO, который обеспечивает бесперебойную работу вашего сайта и удовлетворяет посетителей. SEO направлено на быструю загрузку вашей страницы для пользователей, доставку оригинального контента и повышение релевантности ваших страниц.

Robots.txt помогает сделать ваш сайт доступным и полезным. Вот четыре способа улучшить SEO с помощью файлов robots.txt.

1. Сохраняйте свой краулинговый бюджет

Сканирование ботами поисковых систем ценно, но сканирование может привести к перегрузке сайтов, которые не в состоянии справиться с посещениями ботов и пользователей. Робот Googlebot выделяет часть бюджета для каждого сайта, которая соответствует его желательности и характеру. Некоторые сайты крупнее, другие обладают огромным авторитетом, поэтому они получают больше от Googlebot.

Google не дает четкого определения краулингового бюджета, но они говорят, что цель состоит в том, чтобы расставить приоритеты, что сканировать, когда сканировать и насколько тщательно это сканировать. По сути, «краулинговый бюджет» — это выделенное количество страниц, которые робот Googlebot просматривает и индексирует на сайте в течение определенного периода времени. У краулингового бюджета есть два движущих фактора: 9.0003

• Ограничение скорости сканирования ограничивает поведение поисковой системы при сканировании, чтобы не перегружать ваш сервер.
• Спрос на сканирование , популярность и актуальность определяют потребность сайта в большем или меньшем сканировании.

Поскольку у вас нет неограниченных возможностей сканирования, вы можете установить robots. txt, чтобы Googlebot не открывал лишние страницы и направлял их на значимые. Это устраняет потери вашего краулингового бюджета и избавляет вас и Google от беспокойства о нерелевантных страницах.

2. Предотвратить следы дублированного контента

Поисковые системы, как правило, осуждают дублированный контент, хотя они специально не хотят манипулятивного дублирующегося контента. Дублированный контент, такой как PDF или версии для печати ваших страниц, не наказывает ваш сайт. Однако вам не нужны боты для сканирования повторяющихся страниц контента и отображения их в поисковой выдаче.

Robots.txt — это один из способов свести к минимуму доступный для сканирования дублированный контент. Существуют и другие методы информирования Google о дублирующемся контенте, такие как канонизация — что является рекомендацией Google — но вы также можете отключить дублированный контент с помощью файлов robots.txt, чтобы сэкономить свой краулинговый бюджет.

3. Направляйте ссылочный вес на нужные страницы

Ссылочный вес от внутренних ссылок — это специальный инструмент для повышения вашего SEO. Ваши самые эффективные страницы могут повысить доверие к плохим и средним страницам в глазах Google. Тем не менее, файлы robots.txt сообщают ботам о том, что они должны отправиться в поход, как только они перейдут на страницу с директивой.

Это означает, что они не следуют связанным путям и не приписывают ранжирование этим страницам, если подчиняются вашему приказу. Ваш ссылочный вес является мощным, и когда вы правильно используете robots.txt, ссылочный вес переходит на страницы, которые вы действительно хотите повысить, а не на те, которые должны оставаться в фоновом режиме. Используйте файлы robots.txt только для страниц, которым не нужны ссылки на страницы.

4. Назначение инструкций по сканированию для выбранных ботов

Даже в рамках одной и той же поисковой системы существуют разные боты. У Google есть сканеры помимо основного «Googlebot», в том числе Googlebot Images, Googlebot Videos, AdsBot и другие. С помощью файла robots.txt вы можете запретить поисковым роботам файлы, которые вы не хотите отображать в результатах поиска. Например, если вы хотите, чтобы файлы не отображались при поиске в Google Картинках, вы можете поместить директивы disallow в свои файлы изображений.

В личных каталогах файл robots.txt может сдерживать роботов поисковых систем, но помните, что он не защищает конфиденциальную и личную информацию.

Где найти файл robots.txt?

Теперь, когда вы знаете основы файла robots.txt и знаете, как его использовать в поисковой оптимизации, важно знать, как найти файл robots.txt. Простой метод просмотра, который работает для любого сайта, заключается в том, чтобы ввести URL-адрес домена в строку поиска вашего браузера и добавить /robots.txt в конце. Это работает, потому что файл robots.txt всегда должен находиться в корневом каталоге веб-сайта.

Что делать, если вы не видите файл robots.txt?

Если файл robots.txt веб-сайта не отображается, возможно, он пуст или отсутствует в корневом каталоге (вместо этого возвращается ошибка 404).

Время от времени проверяйте, можно ли найти файл robots.