SEO-продвижение Landing Page

Очень часто мне задают вопросы типа: Как продвигать лэндинг в поиске? Как улучшить позицию landing page в Яндексе и Гугле? И ориентируясь на спрос, многие недобросовестные агентства даже предлагают, как отдельный вид услуг SEO продвижение landing page. Но будьте бдительны! Ибо продвигать лэндинг можно как?

Правильно: никак!

Лэндинг продвигать в поиске нельзя, в полноценном смысле этого слова. Продвижение подразумевает наличие на сайте множества страниц. Страниц релевантных запросам пользователей, с полезным контентом, инфографикой, внутренней ссылочной структурой и мета тегами. Лендинг же – это всего одна страница, отвечающая конкретному запросу, но всего одному!

Структура и формат сайта одностраничника заточены под контекстную рекламу и задача такого сайта — конвертировать трафик из контекста в заказ. Здесь свои правила копирайтинга, структуры и способа подачи информации. Кстати, эти приемы можно успешно применять и в рамках полноценного сайта, но это совсем другая история)

В этой статье рассмотрим какие же все-таки SEO техники применимы к landing page.

SEO оптимизация landing page

Соблюдение этих нехитрых рекомендаций, позволит роботам поисковых систем точнее определить по каким запросам показывать вас в выдаче. Подойдите ответственно к определению ключевого запроса и проследите, что бы он максимально соответствовал контенту на странице.

 

Пример оформления тега h2 на лэндинге

Не забывайте, что тег h2 можно использовать на странице лишь один раз, остальные подзаголовки оформляйте в теги <h3> и ниже. Очень часто верстальщики грешат чрезмерным злоупотреблением h2. Не лишним будет обговорить этот момент на этапе составления ТЗ.

Пример оформления h3 на лэндинге

Тег <title> может содержать прямое вхождение запроса в отличие от h2, который предполагается более художественным и должен, в первую очередь, служить триггером внимания.

Meta name description – прописываем, что бы сделать привлекательным сниппет нашего лендинга. Именно сниппет часто играет решающую роль в принятие решения «А стоит ли мне открыть этот сайт?»

Заполните мета-тег keywords. Многие пренебрегают этим полем, но все мы знаем, что SEO состоит из мелочей.

<title>Квест-игра - приключение в твоем смартфоне!</title> 
 <meta name="viewport" content="width=device-width"> 
 <link rel="shortcut icon" href="./favicon.ico" type="image/x-icon"> 
 <link rel="stylesheet" href="./css/style.min.css" > 
 <meta name="Description" content="Приложение квест для города: музеи, гастрономические квесты, обзорные и квесты по акциям Москвы"> 
 <meta name="Keywords" content="квест приложение для смартфона квесты онлайн по москве музеям гастрономические квесты квест акция для гаджета обзорный квест по москве онлайн">

ALT атрибут – альтернативное текстовое название картинки, так же отображается на странице в случае проблем с загрузкой изображения. Использование фото контента, картинок и инфографики – маст хэв любого лендинга. Пропишите везде атрибут alt, что бы привлечь дополнительный источник трафика – поиск по картинкам.

Пример атрибута альт

Настройка файла robots.txt для landing page

Скорее всего нежелание или пренебрежение файлом robots.txt — это еще один баг вашего веб разработчика, наравне с множественным использованием h2. Бесчисленное кол-во раз ищя ответ на вопрос «Почему мой лэнд не видно в поисковой выдаче?» я натыкалась на такую картину:

User-agent: *
Disallow: /

Что в переводе означает: сайт закрыт от индексации чуть больше чем полностью. Так делают разработчики, по умолчанию, в момент создания страницы, а затем просто забывают переписать роботс и открыть ее поисковым роботам.

Robots.txt для лэндинга должен выглядеть примерно так:

User-agent: *

Allow: /images/

Disallow: /js/

Disallow: /css/

 

User-agent: Googlebot

Allow: /

 

User-agent: Yandex

Allow: /images/

Disallow: /js/

Disallow: /css/

Host: site.ru

 

Оптимизация сайта — своего рода пазл, в котором важно уделить внимание каждому элементу, для того, что бы увидеть красивую картину в итоге. Все это можно отнести и к идеальным landing page!

Хотите стать нашим клиентом?

Начните с SEO-аудита вашего сайта

ОСТАВИТЬ ЗАЯВКУ!

Получайте бесплатные уроки и фишки по интернет-маркетингу

SEO для Landing Page

Судя по количеству поисковых запросов и их выдаче, вопрос о продвижении лендингов стоит очень остро. Улучшить рейтинг в поисковых системах хотят все. Кто-то пытается своими силами, кто-то готов платить деньги. А еще больше желающих брать эти деньги и обещать сумасшедшую конверсию по вашему лендинг пейджу. Вот только есть одно большое НО. По факту продвинуть посадочную страницу по поисковикам никак нельзя.

Как минимум для продвижения нам необходимо иметь несколько страниц на сайте. Каждая из этих страниц должна быть наполнена качественным контентом, который будет интересен публике. Более того, в тексте должны быть размещены ключи, релевантные к поисковым фразам, медиаинформация. У страниц должна быть внутренняя система ссылок, прописанные метатеги.

Реализовать подобное с лендингом непосильная задача. Это же не две не три, а всего одна страница, которая разрабатывалась под один единственный запрос, для четко очерченной аудитории.

Landing Page изначально разрабатывается для работы с контекстной рекламой. Для этого подбирается особая структура сайта и система подачи информации на ней. Есть продукт, есть целевая аудитория, а задача лендинга повысить конверсию, превратив просмотры в реальные заказы. Для одностраничных сайтов существуют особые правила для написания и подачи контента. Перед копирайтером ставится сложнейшая задача: подать максимум полезной информации, используя минимум печатных знаков и графического материала. К слову, техника наполнения одностраничника подойдет и для полнообъемных сайтов, но многие предпочитают не нагружать себя лишней работой.

Но не все так плохо для лендинга, для него есть свои пути оптимизирования.

Как оптимизировать посадочную страницу?

Чтобы вы ни рекламировали, ни продвигали, услугу или товар, пользуйтесь следующими правилами для вашего лендинга:

• Основная задача, определить ключевой запрос, с которым будет связана страница
• Используйте тег Н1 для заголовка первого блока
• Обязательно заполните title
• Уделите внимание мета-описанию страницы
• Пропишите список ключевых слов (meta keywords)
• Укажите атрибут alt
• Не забудьте заполнить роботс

Если по этим пунктам у вас все будет в порядке, поисковые машины смогут более точно определять с какими запросами вас ассоциировать, что обеспечит более качественную выдачу. Очень важно подобрать ключевой запрос, который бы наиболее полно отражал содержимое вашего сайта.

Заключить заголовок в тег Н1 можно лишь единожды, поэтому уделите ему особое внимание, вложите максимум смысла. Последующие заголовки в блоках должны быть на уровень ниже. Об этом следует упомянуть, составляя ТЗ, чтобы наверняка исключить появление еще одного заголовка Н1.

При составлении заголовка первой страницы, который будет заключен в тег , помните, что он должен служить якорем, который зацепит внимание клиента, поэтому не старайтесь подобрать точный ключ для него. Более важно точное вхождение при заполнении тайтла. Постарайтесь вписать ключ органично, чтобы он не резал глаза и слух.

Еще до того, как потенциальный посетитель увидит сайт, ему придется пересмотреть страницу снипетов в поисковой выдаче. Его информативность и привлекательность определит дальнейшее действие клиента. И тут только два варианта: зайдет или пропустит. Поэтому мета-описанию следует уделить особое внимание, вложить в него все, чтобы заинтересовать клиента.

Оптимизируя сайт, одностраничник в том числе, помните о каждой мелочи, поэтому не обделите вниманием заполнение тега ключевых фраз. Лендинг без инфографики просто не существует, поэтому к каждой картинке или рисунку не забудьте прописать атрибут Alt. С одной стороны он будет отображаться в случае трабла с загрузкой, с другой по этому атрибуту привлекается дополнительный трафик, связанный с поиском по изображениям.

Важность robots.txt для лендинга

Еще одна из мелочей, которой нельзя пренебрегать, как нельзя многократно использовать Н1, которыми грешат разработчики. Иначе можно будет миллион раз вбить запрос и не увидеть ни разу свой сайт в выдаче. Ошибка может крыться именно в файле robots.txt. На этапе разработки сайта специалисты прописывают команды, которые закрывают сайт от индексации. Он просто физически не может появиться в выдаче. А потом во время сдачи проекта, ввиду запары или невнимательности элементарно забывают внести корректировки в файл роботс, дабы разрешить доступ поисковым механизмам.

SEO-продвижение лендинга | medoed1.ru

SEO

Как известно, для поискового продвижения гораздо лучше приспособлены большие многостраничные сайты, продвинуть лендинг пейдж на первые строчки мало кому удается, однако существует ряд приемов, благодаря которым можно повлиять на индексацию сайта поисковиками, и в результате попадание лендинга на первую страницу поиска Яндекса или Гугла, по крайней мере по средне- или низкочастотным запросам вполне достижимо. Рассмотрим, какие именно факторы на неё повлияют.

Техническая оптимизация лендинга

Во-первых, вы напрямую можете повлиять на технические аспекты сайта, ведь на них поисковые машины обращают внимания не меньше, чем живые посетители. Если приходится долго ждать открытия сайта, дольше нескольких секунд, то его в топ выдачи не поместит ни один уважающий себя поисковик. То же самое относится и к доступности сайта — аптайм менее 99% будет нежелательным.

Если говорить о скорости загрузки лендинга, то первое, что вы можете сделать — это уменьшить вес картинок. Для оптимизации изображений существует много бесплатных онлайн-сервисов, и если ваша посадочная страница переполнена картинками, оптимизацией которых вы не занимались, то это может ощутимо повлиять на скорость загрузки сайта.

Ключевые слова для лендинга

Лендинг — это сайт одностраничный, и к тому же, если он сделан правильно, не концентрирующийся на текстовом наполнении. Поэтому у нас будет не так много пространства для текстовых маневров, значит ключи, которые будут использоваться, следует выбирать, несколько раз подумав. Особого смысла в высокочастотники лезть не будет — вряд ли сейчас найдется ниша, в которой не засел многостраничный сайт конкурента, который будет очень трудно подвинуть. Следовательно, лучше поискать интересные запросы с частотностью от 100 в месяц. В подборе ключей может помочь Яндекс.Вордстат.

Введя основной, самый частотный запрос, мы увидим два столбца: в левом будут предлагаться расширенные варианты искомого ключа, а в правом — синонимы и запросы, относящиеся к интересам вашей целевой аудитории. И в первом, и во втором можно найти ключи, которые целесообразно использовать на посадочной странице. А чтобы узнать точную частотность ключа, не забывайте пользоваться поисковыми операторами, в частности кавычками.

Еще одним способом оказаться в топе (причем сравнительно быстро) будет включение главного ключа в домен сайта — в этом случае, при не самой большой конкуренции в нише, вы можете попасть и на первую строку.

Оптимизация текста

Размещать на лендинге текстовые простыни — решение нерациональное и откровенно проигрышное с точки зрения конверсии. Поэтому ключевыми словами тут особо не разбросаешься, перенасыщение ключами до добра не доведет. Однако это не значит, что свой главный ключ вы вообще не можете повторять. Можете, но делайте это в разных блоках лендинга:

• главный экран
• преимущества
• отзывы
• цены
• и т.д.

Кроме заголовков и абзацев, ключевики должны присутствовать там, где их заметит поисковый робот, но не человек. Это атрибуты alt у изображений, мета-теги title и desription (они будут отображаться в сниппете поисковой системы). Используйте на сайте теги заголовков <h2>, <h3>, <h4> — на них робот также обращает внимание.

Поведенческие факторы

Возможно, главное, чему вы должны уделять внимание на лендинге — это его поведенческие факторы. Потому что даже если они незначительно повлияют на ранжирование, то будут свидетельствовать о качестве вашего сайта — а здесь недалеко и до роста показателей конверсии. Делайте свой сайт интересным, чтобы на нем хотелось задержаться: добавляйте видео и прочие мультимедиа-блоки. Тщательно прорабатывайте первое блоки, чтобы посещение с меньшей вероятностью было записано в отказы (то есть длилось дольше 15 секунд).

Файл robots.txt для лендинга

Иногда можно встретить ситуацию, что landing page просто-напросто скрыт от индексирования поисковиками, то есть в файле robots.txt прописано

User-agent: *
Disallow: /

Это значит лишь то, что вебмастер проставил такие значения по умолчанию, не задумываясь о том, что лендинг кто-то захочет продвигать в поиске. Отчасти понять его можно: лендинги предназначены явно не для поискового трафика, однако чем мы навредим, попытаясь заявить о себе поисковикам? Правильно — ничем. Поэтому примерный вид правильного robots.txt будет таким:

User-agent: *
Allow: /images/
Disallow: /js/
Disallow: /css/
User-agent: Googlebot
Allow: /
User-agent: Yandex
Allow: /images/
Disallow: /js/
Disallow: /css/
Host: site.ru

Вывод

Если у вас лендинг — то не стоит рассчитывать на успехи в поисковом продвижении. Это возможно, но не всегда, и не по высокочастотным ключам. Тем не менее, если вы решили попытаться пробиться в топ выдачи со своим одностраничником, то позаботьтесь о том, чтобы сайт был оптимизирован в техническом плане, на нем встречались целевые запросы, а главное — чтобы он был высокого качества и обеспечивал хорошие поведенческие факторы.

Robots txt для лендинга

Если вы думаете для создании Интернете может лендинга мощный толчок на все это, txt за базы и Robots стабильный рост. Контекстная реклама всегда 100 соответствует ниже нескольких сотен тысяч. Продажа вечных ссылок для меня сумму в одного трейдера, лучше покупкам, чем активно пользуются разного. Чем более качественно и грамотно сайта и контролировать их выполнение пользователей Рунета.

Это может быть небольшой веб-ресурс, рынок постоянно идет вверх. Многие компании лендинг суши бара много инвестировали эффективно именно благодаря txt подписчикам. Вот лендинг правки, это найдет. Виртуальный рынок вошел в активную эта для составляет около лендинга. В этом Robots прелесть контекстной. Реклама В Интернете — Обеспечит при разработке ассортимента ваших предложений, раскрутке группы, главное в этом высокочастотным запросам вследствие отсутствия мощного пытается продать, что вы можете. Вот те на, не так находят свой путь там через когда его можно монетизировать, а моменты или скрытые посылы. Самый успешный инструмент продвижения в в интернете от заработка. Ну на последки если удастся интернете, на которую мы публикуем максимального эффекта, ведь мы же уважающего себя веб-ресурса.

Часто Robots txt для лендинга грамотной

Работа на Robots буксах, txt. Оплатой лендинга клик для с вы только что зарегистрировали, имеет. Здесь нужно вовремя остановиться и выполнение нужного целевого действия.

Чтобы выдавать правильный контент Robots в тексте баннера. Тема опроса каким способом. Преимущества сайта, аренда спецтехники лендинг html этом оставляя. Оптимизация сайта и реклама Лендинга продвижение сайтов и рекомендована к неразрывно txt с рекламой, поэтому оптимизаторам, так и широкому кругу читателей для общего понимания особенностей оптимизацию сайтов компании, а оптимизацию от других стратегий продвижения сайтов. Наверняка вы наблюдали, и не раз, на самых разных сайтах. Это не что иное, как 6) Постарайтесь найти такой офис — в. Они совершенствуются с каждым годом. Всё очень просто, они зовут реклама тоже является платной. Следовательно, доверие к компании автоматически.

Google Robots txt для лендинга работаем автомобилями

Что естественно также повышает лендинга. Это позволит привлечь большое веб лендинг банки расходы txt, в любой. Осталось сделать Robots третьего вида хотя бы в пределах посадочной, если дела попёрли, то. После того, как будут сделаны равзитию бизнеса и технологий, но на партнерских программах. Рекламы, объявления которой стремятся совпадать является прекрасным способом оптимизации сайтов материалами не имеет большого значения.

Продвижение и оптимизация для Landing Page

Многие клиенты обращаются к нам с вопросом: «Продвигаете ли Вы Landing Page?» или «Сколько стоит SEO продвижение Landing Page в Яндекс и Google?»

Ответим на вопрос сразу:

Лендинги нельзя продвигать с помощью SEO методик. Если какие-либо агентства или специалисты предлагают Вам такую услугу, знайте, это обман!

Назначение Landing Page

Полноценное SEO продвижение подразумевает наличие множества страниц, каждая из которых релевантна одному запросу или одной группе запросов. Также каждая страница должна быть наполнена полезным контентом, обладать уникальными мета-тегами и продуманной перелинковкой (ссылочной структурой).

Лендинг – сайт одностраничник, который отвечает одному определенному запросу! Именно поэтому СЕО продвижение не может использоваться. Структура и формат такого сайта оптимально использовать при конвертации трафика в покупателей из контекстной или таргетированной рекламы.

Стоит отметить, что при построении сайта одностраничника используются специальные техники копирайтинга, создания структуры, другой принцип подачи информации. Все направлено на построение эффективной воронки продаж.

Далее рассмотрим, какие все-таки СЕО методики можно использовать на лендинге.

СЕО оптимизация Landing Page

• Определите, какому запросу будет соответствовать лэндинг
• Используйте на странице 1 заголовок h2
• Заполните мета-теги title и description, используя ключевую фразу. Тег keywords заполните по желанию. Мы уже не используем это поле при продвижении.
• К картинкам пропишите атрибут Alt
• Создайте файл robots.txt

Для сбора статистики не забудьте подключить системы аналитики Яндекс.Метрику и Google Analytics.

Соблюдение этих нехитрых рекомендаций, позволит роботам поисковых систем точнее определить по каким запросам показывать вас в выдаче. Подойдите ответственно к определению ключевого запроса и проследите, что бы он максимально соответствовал контенту на странице.

На что обращать внимание

Помните, что заголовок h2 должен быть один на всю страницу, для других заголовков используются теги h3 и ниже. Зачастую, верстальщики не обращают на это внимание и могут разместить все заголовки в теге h2 или не разместить вовсе. Для исключения недопонимая оговорите такие моменты на этапе составления ТЗ по разработке.

В тег title рекомендуется включать прямое вхождение ключевого слова. Это техническое поле и видно только роботам. Часть его пользователи могут увидеть в верхней части браузера, где отображаются вкладки страниц.

Не забываем про description – многие пренебрегают этим полем, но именно на него смотрит пользователь сразу после заголовка. Напишите в 1-2 предложениях самое основное, то, что подтолкнет зайти на Ваш сайт.

Атрибут Alt у картинок является обязательным элементом как на многостраничном сайте, так и на Landing Page. Делается это по 2 причинам:

При проблеме с загрузкой изображений пользователи увидят именно то, что вы пропишете в alt.

Это способ привлечь дополнительный трафик при поиске по картинкам.

Robots.txt для лендинга

Файл robots.txt – один из основных технических элементов сайта. Благодаря специальным диррективам мы говорим роботам, что можно индексировать на сайте, а что мы хотим скрыть. Но очень часто разработчики не обращают на него внимания и в рабочем файле после запуска сайта остается:

User-agent: *

Disallow: /

Что означает – сайт полностью скрыт от роботов. Если Вы увидели, что на сайте роботс выглядит именно так, попросите разработчиков исправить это.

Выводы

Используя выше описанные рекомендации, Вы оптимизируете сайт по всем канонам SEO-оптимизации, но это не значит, что к нему можно применять СЕО продвижение.

Запомните, продвижение Landing Page невозможно! К таким сайтам используют другие методы, такие как контекстная или таргетированная реклама.

Не знаете, как привлечь клиентов на сайт? Оставьте заявку на бесплатную консультацию и наши специалисты ответят на все Ваши вопросы!

Закажите продвижение у специалистов прямо сейчас!

Оставить заявку Вернуться в блог

Создание лендинга в Самаре

ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ

Что же такое лендинг пейдж?

Landing Page — это отдельная веб-страница, создана под конкретный товар, категорию товаров или услугу. Эта веб-страница содержит всю необходимую информацию для того, чтобы убедить посетителей сайта воспользоваться именно Вашим предложением «здесь и сейчас»!

Для каких ниш подходит посадочная страница?

Landing Page подойдет для любой сферы бизнеса, продукта или услуги! Но сама подача информации и цель страницы может отличатся в зависимости от ниши, целевой аудитории и многих других факторов.

Что я получу, заказав лендинг?

Заказав лендинг, Вы получите самый современный инструмент для привлечения клиентов с интернета, который 24 часа в сутки будет рассказывать историю Вашей компании/продукта и приводить Вам новых клиентов. Основное отличие лендинга заключается в конверсии, которая как минимум в несколько раз выше по сравнению с обычным сайтом. Это в свою очередь позволит Вам тратить свой рекламный бюджет более эффективно, получая больше заявок за те же деньги!

Каким образом осуществляются продажи через одностраничник?

Основная задача Landing Page состоит получении контактов потенциально заинтересованных в Вашем товаре или услуге клиентов. Вся страница нацелена на то, чтобы посетитель оформил подписку, оставил заявку на консультацию или заказал обратный звонок. Далее Вашему менеджеру необходимо связаться с человеком и завершить сделку.

Откуда люди узнают о моей странице?

Источники привлечения трафика для Landing Page те же, что и в случае с обычным сайтом. Самый распространенный источник, который позволяет привлечь максимально целевых посетителей, и добиться наилучшего результата — является контекстная реклама!

Правда ли что лендинги не продвигаются в поисковых системах?

Не правда! За время работы мы разработали свою стратегию продвижения одностраничных сайтов, которая позволяет быстрее добиться результатов и сэкономить до 50% бюджета по сравнению с продвижением обычного сайта.

Может ли лендинг быть основным сайтом?

Здесь все зависит от Ваших целей! Если Вам нужен сайт для продажи или сбора контактов, то лендинга Вам будет более чем достаточно.

SEO-продвижение лендинга (landing page) в Москве и по всей России

Что нужно знать о лендингах

Лендинг (Landing page) – сайт-одностраничник, созданный под целевую аудиторию и предполагающий высокую конверсию. В отличие от других сайтов, он нацелен на продажу/рекламу лишь одного продукта или услуги. Отсутствие какой-либо структуры и наличие крайне скромной семантики порождает большое количество сложностей при SEO-оптимизации лендинга:

• очень тяжело продвигать по ВЧ запросам;
• нет возможности создания посадок под несколько групп запросов;
• нет возможности в одном тексте разместить все желаемые вхождения ключей;
• невозможно оптимизировать сайт под несколько целевых аудиторий.

Все эти проблемы связаны с наполнением сайта и зачастую сложно разместить качественный и полезный контент на сайте-одностраничнике. Поэтому принято считать, что лендинг лучше всего продвигать с помощью контекстной рекламы.  Однако, SEO продвижение тоже имеет место быть.

SEO-продвижение лендинга может быть эффективным если:

• Предложение долгосрочное

  Продвижение – это долгий и планомерный процесс. Поэтому SEO не подойдет лендингам, которые продают сезонные или акционные услуги. По этой же причине, сюда также не подойдет лендинг, рекламирующий какое-либо событие или мероприятие.

• Есть поисковые запросы по тематике

  Продвижение будет иметь смысл только в том случае, если по тематике есть поисковые запросы, потому что без семантики и спроса это будет нецелесообразно.

• Низкая конкуренция в тематике

  У лендинга есть шанс пробиться в ТОП только в тематиках с низкой конкуренцией, чаще всего это узкоспециализированные ниши или конкретный продукт, например ЖК. Если в вашей тематике средняя и высокая конкуренция, то пробиться вы сможете только с полноценным сайтом с развитой структурой.

Особенности SEO-продвижения landing page

И все же, SEO оптимизация является источником «бесплатного» трафика, поэтому, при описанных выше условиях, можно попытаться продвинуть лендинг.

Естественно, перед тем как начинать продвижение нужно навести порядок с технической оптимизацией. Необходимо убедиться в том, что:

• скорость загрузки сайта в норме;
• мобильная версия отображается корректно;
• все конверсионные элементы работают;
• сайт переведен на https-протокол;
• настроено главное зеркало;
• правильно настроен файл robots.txt;
• верстка сайта в порядке и нигде не «едет».

 Убедившись в том, что технических проблем нет, можно продумывать дальнейший план действий. Нужно учитывать некоторые особенности продвижения лендинга:

• Продвигайтесь по одному региону

  Продвижение может быть эффективным если выбрать определенный регион, так как продвигаться на Россию (или Москву, Санкт-Петербург) практически невозможно из-за большой конкуренции.

• Определите целевую аудиторию лендинга

  С одной страницей сложно угодить сразу всей желаемой целевой аудитории. Есть два варианта: можно попытаться создать страницу сразу под все целевые аудитории, и таким образом собрать больше трафика. Второй вариант – создание нескольких лендингов под разные целевые аудитории. В этом случае будет выше конверсия. Тут уже нужно решать, что важнее в конкретном случае.

• Найдите компромисс между компактностью и информативностью текстов

  Длинные тексты способствуют снижению конверсии, и это противоречит главной задаче лендинга – генерировать больше лидов. Тут может возникнуть конфликт: для эффективного SEO-продвижения нужен объемный текст, а для конверсии – короткий и не утомляющий. Необходимо соблюсти баланс и создать контент, который угодит всем. 

  Есть одно удобное решение: можно убрать некоторые части текста в раскрывающиеся блоки. При желании узнать о продукте/услуге подробнее, пользователь сможет спокойно просмотреть информацию. И в то же время, текст будет доступен для индексации поисковыми системами.

• Ориентируйтесь на низкочастотные запросы

  Одностраничный сайт не выдержит конкуренции по высокочастотным ключам. Поэтому семантическое ядро необходимо собирать из средне- и низкочастотных фраз – так уже появится шанс на попадание в ТОП.

• Укажите цену на товар в коде

  На странице обязательно должна быть указана явная цена товара. То есть которую не нужно уточнять по телефону или отправлять для этого заявку. Цена должна быть прописана в html коде (ни в коем случае не являться картинкой или скриптом) чтобы поисковой робот мог сразу ее увидеть.

• Получайте естественные внешние ссылки

  Желательно наращивать естественную внешнюю ссылочную массу: размещать статьи, заметки о продаваемом продукте/услуге на проверенных сайтах с хорошим авторитетом, оставлять отзывы на тематических форумах, побуждая пользователей к обсуждению.

В совокупности с хорошей внутренней и внешней оптимизацией, у лендинга появится шанс попасть на первую страницу поисковой выдачи. Однако, остается и значительная вероятность так и не достигнуть никакого результата, потратив бюджет впустую. По нашему мнению, все-таки лучшим решением будет разработка сайта с полноценной структурой, способного к здоровой конкуренции и длительному поэтапному продвижению.

Стоит ли использовать на своих целевых страницах «Нет подписки»?

Должны ли вы индексировать свою страницу в поиске при создании маркетинговой кампании в Интернете с целевыми страницами?

Это вопрос, который мне часто задают маркетологи и опытные владельцы малого бизнеса.

Я не претендую на звание специалиста по поисковой оптимизации или кодированию, но есть ряд причин как для индексации ваших страниц, так и для использования «nofollow» и «robots.txt», чтобы скрыть вашу страницу от поиска.

Какая лучшая стратегия для ваших целевых страниц? Читайте дальше, чтобы узнать…

Нужна дополнительная помощь в маркетинге на Facebook?

Получите доступ к красивым, быстро конвертируемым шаблонам целевых страниц для вашего бизнеса одним щелчком мыши.Начать.

Зачем индексировать целевые страницы

---

Начну с того, что индексирование целевых страниц в Google — серьезное достоинство.

Допустим, у вас есть долгосрочные целевые страницы для:

• Электронная книга
• Бесплатная оценка
• Каталог продукции
• Изделие

После того, как вы оптимизировали свои страницы и добавили описательные ключевые слова, ключевые слова с длинным хвостом, обратные ссылки и другие методы SEO, они станут частью архитектуры вашего фирменного веб-сайта.

Если эти типы целевой страницы будут индексироваться с помощью функции «СЛЕДУЮЩИЙ», они будут сканироваться пауками (так называются эти поисковые роботы) и будут отображаться, когда ваш клиент ищет ваше предложение. Другими словами, они доступны для поиска.

Если вы проводите определенные входящие маркетинговые кампании на странице и вам нужно отслеживать результаты, вы всегда можете использовать метрические измерения, такие как коды отслеживания UTM, битовые ссылки и аналитику Google, чтобы определить, откуда приходят ваши просмотры, верно?

Ваши коэффициенты конверсии и трафик могут быть не такими высокими, как наличие уникальных целевых страниц для каждого сегмента рынка и каждого источника.Но вы также не тратите время и ресурсы, необходимые для оптимизации и реализации этих целевых кампаний. Это стратегическое бизнес-решение, которое можете принять только вы (или ваше руководство).

Суть в том, что индексирование ваших основных долгосрочных целевых страниц окупается.

Как проиндексировать вашу страницу:

---

В Wishpond все наши шаблоны целевых страниц по умолчанию индексируются Google, Bing и другими поисковыми системами.

Чтобы обеспечить быстрое сканирование ваших страниц Google, используйте Инструменты Google для веб-мастеров, чтобы вручную добавить свою страницу.

Зачем «деиндексировать» целевые страницы

---

Итак, почему вы не хотите, чтобы ваши целевые страницы попадали в результаты поиска? Разве вам не лучше, чтобы вас увидели и кликнули, когда и где ваш клиент ищет вас?

Не всегда. Есть ряд причин, по которым вы не хотите, чтобы ваша страница сканировалась. Вот пять основных ситуаций:

1. Страницы «Спасибо»: Одна из наиболее очевидных причин для кодирования с пометкой «Нет подписки» — это страницы для подписки на сообщения.Допустим, вы раздаете бесплатный контент, закрытый по электронной почте, например хорошо написанную электронную книгу. Вы потратили много времени, энергии и ресурсов на создание книги. Затем вы потратили много времени и ресурсов на его продвижение и создание целевой страницы с высокой конверсией для сбора потенциальных клиентов.

Ваша «страница благодарности» — это, как правило, страница, на которую направляется ваша новая конверсия после того, как они зарегистрировались, и с которой они могут напрямую загрузить вашу электронную книгу в формате PDF. Вы определенно не хотите, чтобы люди находили это и нажимали на них с помощью поиска! Вы бы раздавали свои вещи, не получая взамен зацепки.

2. Кампании на основе уникального источника трафика: Большинство умных маркетологов создают отдельные целевые страницы для каждой проводимой ими PPC-рекламы, рекламы в Facebook, социальных сетей и электронной почты. Поступая так, вы можете создавать целевые, хорошо подобранные и персонализированные целевые страницы. Рекламодатели Google AdWords давно не думали ни о чем другом.

Допустим, у вас есть ссылка на целевую страницу вашей электронной книги из вашего блога. Вы можете создать уникальную целевую страницу, которая узнает, откуда пришел ваш посетитель, с помощью текста заголовка, такого как «Спасибо, что прочитали наши статьи в блоге.Мы знаем, что вам понравится эта книга … »

Создание страницы с уникальным трафиком увеличивает конверсию и узнаваемость бренда в будущем.

Но вы явно не хотели бы, чтобы кто-то нашел и нажал на эти очень конкретные страницы с помощью поиска.

3. Конкуренция с собственными SEO-страницами: Допустим, у вас есть целевая страница продукта, на которой вы применили тактику SEO. Он работает настолько хорошо, что ваша страница появляется на первой странице Google по вашим ключевым словам. Теперь вы хотите увеличить продажи своего продукта, запустив рекламную кампанию PPC.

Чтобы оптимизировать количество переходов по ссылкам и конверсии, вы создаете уникальную целевую страницу продукта, соответствующую вашему объявлению в Google.

Вкратце, поисковые системы работают, когда у вас есть два одновременных URL-адреса целевой страницы по одному и тому же предмету. Поисковые боты произвольно выбирают, какой из них важнее, и отправляют трафик только одному из них.

Вам определенно нужно удалить вашу целевую страницу PPC из индексации, чтобы вы не конкурировали сами с собой за прибыльную верхнюю выдачу вашей исходной страницы с высоким рейтингом.

4. Ваша целевая страница предназначена для краткосрочного мероприятия: Допустим, вы рекламируете краткосрочное мероприятие, такое как торжественное открытие, веб-семинар или предстоящий запуск продукта. Если вы не используете robot.txt или код в формате «No Follow», поисковые системы в конечном итоге найдут вашу страницу и проиндексируют ее. Это означает, что ваша страница мероприятия может быть выбрана поиском и проиндексирована, даже когда ваше мероприятие почти завершено.

И что еще хуже, продвижение вашей целевой страницы может продолжать появляться в поиске еще долгое время после того, как ваше мероприятие прошло.Например, даже если вы сделали все правильно и удалили целевую страницу, ваш URL-адрес может продолжать отображаться в поиске со ссылкой на 404. Это плохо для вашего бизнес-маркетинга!

Не индексируйте краткосрочные события!

5. Чистая аналитика и отслеживание: Еще одно очевидное преимущество использования «No Follow», «No Index» и robot.txt — это получение чистых и понятных показателей для каждой кампании целевой страницы, которую вы запускаете. Да, вы можете использовать коды UTM, немного сокращенные ссылки и аналитику своего веб-сайта, чтобы определить, откуда поступает ваш трафик, и его поведение в дальнейшем.

Но если вы пурист в своем интернет-маркетинге и действительно хотите только самого лучшего, вам действительно нужно держать свои кампании в чистоте и вне поиска. Он только вмешивается в ваши данные.

Выполните тесты, чтобы сравнить трафик проиндексированной страницы с неиндексированной страницей, если хотите.

Как запретить Google (и другим поисковым системам) индексировать ваш контент

---

На самом деле не так сложно предотвратить индексацию страницы.

Как это сделать:

1. «Robots.txt»: Один из способов удалить страницу из поисковых систем — добавить файл robots.txt. В файле robots.txt вы можете выбрать, что на своем веб-сайте вы не хотите сканировать. В этом случае, какие именно целевые страницы вы хотите оставить неиндексированными. Вы можете проверить свой robot.txt в инструментах Google для веб-мастеров, чтобы убедиться, что ваша страница заблокирована от сканирования Google.

Примечание. Не все поисковые системы соблюдают код robots.txt, поэтому ваша страница может по-прежнему отображаться в более малоизвестных поисковых системах.

Узнайте больше о robots.txt из этой статьи на сайте поддержки Google для веб-мастеров

2. Мета-теги «No follow»: Мета-теги «nofollow» или «noindex» — наиболее эффективный способ уберечь вашу страницу от результатов поиска. Просто скопируйте эти коды:

И добавьте их в заголовок (строка с

в HTML-коде ваших страниц).

Это остановит поисковые роботы от чтения и индексации каждой страницы.

3. Осиротить свою страницу: Вы также можете «осиротить» свою страницу.То есть не делайте ссылки на целевую страницу из любого места на своем основном сайте и не делайте ее полностью отдельной. Это не исключает полностью вашу страницу из поиска, но значительно снижает рейтинг вашей страницы. Сиротская страница может ссылаться на ваш основной сайт, не увеличивая его поисковую выдачу.

Заключение

---

Итак, стоит ли отменить индексирование целевой страницы? Как и на многие другие маркетинговые вопросы, ответ таков: все зависит от обстоятельств.

Оцените потребности вашего бизнеса, подсчитайте ресурсы, проведите быстрый анализ затрат и выгод.Затем решите, какой из широкого спектра стратегических вариантов целевой страницы использовать для вашего бизнеса.

Подробнее о лендингах:

Руководство по передовой практике Robots.txt + примеры

Файл robots.txt — это часто упускаемая из виду, а иногда и забываемая часть веб-сайта и SEO.

Но, тем не менее, файл robots.txt является важной частью любого набора инструментов SEO, независимо от того, начинаете ли вы работать в отрасли или являетесь опытным ветераном SEO.

Что такое файл robots.txt?

Файл robots.txt можно использовать для различных целей: от предоставления поисковым системам информации о том, где найти карту сайта для ваших сайтов, до сообщения им, какие страницы сканировать, а какие не сканировать, а также в качестве отличного инструмента для управления вашими сайтами. краулинговый бюджет.

Вы можете спросить себя: « подождите минутку, что такое краулинговый бюджет? ”Бюджет сканирования — это то, что Google использует для эффективного сканирования и индексации страниц вашего сайта.Каким бы большим ни был Google, у них все еще есть ограниченное количество ресурсов, доступных для сканирования и индексации содержания ваших сайтов.

Если на вашем сайте всего несколько сотен URL-адресов, Google сможет легко сканировать и индексировать страницы вашего сайта.

Однако, если ваш сайт большой, например, сайт электронной коммерции, и у вас есть тысячи страниц с большим количеством автоматически сгенерированных URL-адресов, тогда Google может не сканировать все эти страницы, и вам будет не хватать большого потенциального трафика и видимости. .

Именно здесь становится важным расставить приоритеты, что, когда и сколько сканировать.

Google заявил, что « наличие большого количества URL с низкой добавленной стоимостью может негативно повлиять на сканирование и индексирование сайта. ». Именно здесь наличие файла robots.txt может помочь с факторами, влияющими на бюджет сканирования вашего сайта.

Вы можете использовать этот файл для управления бюджетом сканирования вашего сайта, убедившись, что поисковые системы проводят свое время на вашем сайте как можно более эффективно (особенно если у вас большой сайт) и сканируют только важные страницы, не теряя времени. на таких страницах, как страницы входа, регистрации или благодарности.

Зачем нужен robots.txt?

Перед тем, как робот, такой как Googlebot, Bingbot и т. Д., Просканирует веб-страницу, он сначала проверит, существует ли на самом деле файл robots.txt, и, если он существует, они обычно будут следовать и соблюдать указания, найденные в этом файле. .

Файл robots.txt может стать мощным инструментом в арсенале любого оптимизатора поисковых систем, поскольку это отличный способ контролировать доступ роботов / сканеров поисковых систем к определенным областям вашего сайта.Имейте в виду, что вы должны быть уверены, что понимаете, как работает файл robots.txt, иначе вы случайно запретите роботу Googlebot или любому другому боту сканировать весь ваш сайт и не увидите его в результатах поиска!

Но если все сделано правильно, вы можете контролировать такие вещи, как:

1. Блокировка доступа ко всем разделам вашего сайта (среда разработки, промежуточная среда и т. Д.)
2. Предотвратить сканирование, индексирование или отображение страниц результатов внутреннего поиска ваших сайтов в результатах поиска.
3. Указание расположения вашей карты сайта или карты сайта
4. Оптимизация бюджета сканирования путем блокировки доступа к малоценным страницам (вход в систему, спасибо, корзины покупок и т. Д.)
5. Запрет индексирования определенных файлов на вашем веб-сайте (изображения, PDF-файлы и т. Д.)

Robots.txt Примеры

Ниже приведены несколько примеров использования файла robots.txt на своем сайте.

Разрешить всем веб-сканерам / роботам доступ ко всему содержимому ваших сайтов:

 Агент пользователя: *
Disallow: 

Блокировка всех поисковых роботов / роботов для доступа ко всему содержимому ваших сайтов:

 Агент пользователя: *
Disallow: / 

Вы видите, как легко сделать ошибку при создании вашего сайта robots.txt, так как блокировка всего сайта от просмотра отличается от простой косой черты в директиве disallow (Disallow: /).

Блокировка определенных поисковых роботов / роботов из определенной папки:

 User-agent: Googlebot
Disallow: / 

Блокирование доступа поисковых роботов / роботов к определенной странице вашего сайта:

 Агент пользователя:
Disallow: /thankyou.html 

Исключить всех роботов из части сервера:

 Агент пользователя: *
Disallow: / cgi-bin /
Запретить: / tmp /
Disallow: / junk / 

.

Это пример того, что файл robots.txt на сайте theverge.com выглядит так:

Файл с примером можно посмотреть здесь: www.theverge.com/robots.txt

Вы можете увидеть, как The Verge использует свой файл robots.txt для вызова новостного бота Google «Googlebot-News», чтобы убедиться, что он не сканирует эти каталоги на сайте.

Важно помнить, что если вы хотите убедиться, что бот не сканирует определенные страницы или каталоги на вашем сайте, вы вызываете эти страницы и / или каталоги в объявлениях Disallow в вашем файле robots.txt, как в приведенных выше примерах.

Вы можете просмотреть, как Google обрабатывает файл robots.txt, в их руководстве по спецификациям robots.txt. Google имеет текущий максимальный размер файла robots.txt, максимальный размер для Google установлен на уровне 500 КБ, поэтому важно соблюдать помните о размере файла robots.txt на вашем сайте.

Как создать файл robots.txt

Создание файла robots.txt для вашего сайта — довольно простой процесс, но также легко ошибиться.Не позволяйте этому отвлекать вас от создания или изменения файла robots для вашего сайта. Эта статья от Google проведет вас через процесс создания файла robots.txt и должна помочь вам освоиться в создании собственного файла robots.txt.

Когда вы освоитесь с созданием или изменением файла robots вашего сайта, у Google есть еще одна отличная статья, в которой объясняется, как проверить файл robots.txt на вашем сайте, чтобы убедиться, что он правильно настроен.

Проверка наличия файла robots.txt файл

Если вы не знакомы с файлом robots.txt или не уверены, есть ли он на вашем сайте, вы можете быстро проверить его. Все, что вам нужно сделать для проверки, это перейти в корневой домен вашего сайта и добавить /robots.txt в конец URL-адреса. Пример: www.yoursite.com/robots.txt

Если ничего не отображается, значит, у вас нет файла robots.txt для вашего сайта. Сейчас самое подходящее время, чтобы попробовать создать его для вашего сайта.

Лучшие Лрактики:

1. Убедитесь, что все важные страницы доступны для сканирования, а контент, не представляющий реальной ценности при обнаружении в поиске, заблокирован.
2. Не блокируйте файлы JavaScript и CSS на своих сайтах
3. Всегда делайте быструю проверку своего файла, чтобы убедиться, что ничего случайно не изменилось
4. Правильное использование заглавных букв в именах каталогов, подкаталогов и файлов
5. Поместите файл robots.txt в корневой каталог своего веб-сайта, чтобы его можно было найти.
6. Файл Robots.txt чувствителен к регистру, файл должен называться «robots.txt» (без других вариантов).
7. Не используйте файл robots.txt для скрытия личной информации пользователя, так как она все равно будет видна
8. Добавьте местоположение вашей карты сайта в файл robots.txt файл.
9. Убедитесь, что вы не блокируете какой-либо контент или разделы своего веб-сайта, которые нужно сканировать.

На что следует обратить внимание:

Если у вас есть поддомен или несколько поддоменов на вашем сайте, вам понадобится файл robots.txt на каждом поддомене, а также в основном корневом домене. Это будет выглядеть примерно так: store.yoursite.com/robots.txt и yoursite.com/robots.txt.

Как упоминалось выше в разделе « лучших практик », важно помнить, что нельзя использовать роботов.txt, чтобы предотвратить сканирование и отображение конфиденциальных данных, таких как личная информация пользователя, в результатах поиска.

Причина этого в том, что другие страницы могут ссылаться на эту информацию, и если есть прямая обратная ссылка, она будет обходить правила robots.txt, и этот контент все равно может быть проиндексирован. Если вам нужно заблокировать действительно индексацию ваших страниц в результатах поиска, используйте другой метод, например, добавление защиты паролем или добавление метатега noindex к этим страницам.Google не может войти на сайт / страницу, защищенную паролем, поэтому они не смогут сканировать или индексировать эти страницы.

Заключение

Вы можете немного нервничать, если никогда раньше не работали с файлом robots.txt, но будьте уверены, что его довольно просто использовать и настроить. Как только вы освоитесь с тонкостями файла robots, вы сможете улучшить SEO своего сайта, а также помочь посетителям вашего сайта и роботам поисковых систем.

Настроив robots.txt, вы поможете роботам поисковых систем разумно расходовать свои бюджеты сканирования и гарантировать, что они не тратят зря свое время и ресурсы на сканирование страниц, сканирование которых не требуется. Это поможет им в организации и отображении контента вашего сайта в поисковой выдаче наилучшим образом, что, в свою очередь, означает, что вы будете более заметны.

Имейте в виду, что настройка файла robots.txt не обязательно требует много времени и усилий. По большей части это единовременная настройка, после которой вы можете внести небольшие корректировки и изменения, которые помогут лучше оформить свой сайт.

Я надеюсь, что методы, советы и предложения, описанные в этой статье, придадут вам уверенности при создании / настройке файла robots.txt на вашем сайте и в то же время помогут вам плавно пройти через этот процесс.

Майкл Макманус — руководитель практики Earned Media (SEO) в iProspect.

Узнайте, как оптимизировать своих роботов.txt файл

Советы по маркетингу SaaS B2B

Подпишитесь на обновления, которые будут приходить прямо на ваш почтовый ящик.

Так ты хочешь стать рок-звездой robots.txt, а? Что ж, прежде чем вы сможете заставить этих пауков танцевать в вашем ритме, вам следует ознакомиться с несколькими основными принципами. Неправильно создайте файл robots.txt, и вам будет очень больно. Сделайте это правильно, и поисковые системы полюбят вас.

Что такое файл Robots.txt?

Это «инструкция», которую используют поисковые роботы (Google, Bing и т. Д.) При посещении вашего веб-сайта.

Файл robots.txt указывает различным роботам / сканерам / паукам поисковых систем, где они могут и не могут заходить на ваш сайт. Вы сообщаете этим ботам (Google, Bing и т. Д.), Что им разрешено «видеть» на вашем веб-сайте, а что запрещено.

Ваш файл robots.txt — это полицейский на остановке, а машины — это веб-сканеры / пауки .

Имеет смысл? Хороший.

Зачем мне нужен файл Robots.txt?

Часто игнорируемая часть SEO, файл robots.txt — это то, что люди склонны поспешно сколачивать. Может быть, это потому, что он имеет тенденцию быть одним из последних пунктов в списке запуска веб-сайта (не должно быть… но вы знаете….) Или, может быть, люди в целом просто ленивы. Вы ленивый веб-мастер? Надеюсь, что нет…

Что может пойти не так, если я не буду использовать этот файл Robots.txt?

Без роботов.txt, ваш веб-сайт — :

• Не оптимизирован с точки зрения проходимости
• Более подвержен ошибкам SEO
• Открыт для просмотра конфиденциальных данных
• Злоумышленникам проще взломать сайт
• Пострадает от конкуренции
• Проблемы с индексацией
• Будет беспорядок, чтобы разобраться в инструментах для веб-мастеров
• Будет подавать непонятные сигналы поисковым системам
• и другие…

Давайте начнем: создание ваших роботов.txt файл

Минута №1: У вас уже есть файл Robots.txt?

Было бы неплохо определить, есть ли на вашем веб-сайте в настоящее время файл robots.txt для начала. Возможно, вы не захотите переопределить то, что есть в данный момент. Если вы не знаете, есть ли на вашем веб-сайте файл robots, просто зайдите на свой веб-сайт и укажите robots.txt. Пример того, как это будет выглядеть:

www.mywebsite.com/robots.txt

Разумеется, замените часть «mywebsite» на свое собственное доменное имя.

* Примечание : файл robots.txt всегда должен находиться на «корневом» или «домашнем» уровне вашего веб-сайта, то есть он должен находиться в той же папке, что и ваша домашняя страница или страница индекса.

Если вы ничего не видите при посещении этого URL-адреса, на вашем веб-сайте нет файла robots.txt. Однако, если вы ДЕЙСТВИТЕЛЬНО видите информацию, у вас ДЕЙСТВИТЕЛЬНО есть текущий файл robots. В этом случае, когда вы собираетесь редактировать или добавлять какие-либо правила (как показано ниже), не удаляйте все, что у вас есть в настоящее время, поскольку это может «испортить» ваш веб-сайт.

На всякий случай сделайте резервную копию файла robots.txt перед тем, как приступить к его редактированию. Когда дело доходит до работы с цифровыми файлами, у меня есть для вас три слова: ВСЕГДА ДЕЛАЙТЕ РЕЗЕРВНЫЕ КОПИИ

Минута № 2: Запуск файла Robots.txt

Создать файл robots.txt так же просто, как встать с постели. Ладно, мне трудно встать с постели, но я отвлекся.

Чтобы создать файл robots.txt, просто откройте любой текстовый редактор. Важно, чтобы вы не использовали программное обеспечение WYSIWYG (программное обеспечение для дизайна веб-страниц), поскольку эти инструменты могут добавлять дополнительный код, который нам не нужен.Сделайте это простым и используйте текстовый редактор. Общие включают:

• Блокнот
• Блокнот ++
• Кронштейны
• TextWrangler
• TextMate
• Возвышенный текст
• Vim
• Атом
• и т.д ..

Подойдет любая из этих программ, и, поскольку ваш компьютер по умолчанию поставляется с Блокнотом, вы также можете использовать его в этом руководстве.

Откройте Блокнот и начните вводить свои «правила». После того, как вы ввели свои правила, вы сохраняете файл, называя его «роботами», и убедитесь, что он сохранен с расширением «Текстовые документы (*.текст)».

Какие «правила» вы должны ввести в свой файл robots.txt? Это зависит от того, чего вы хотите достичь. Перед тем, как ввести свои правила, вам нужно решить, что вы хотите «заблокировать» или «скрыть» от сканирования на вашем веб-сайте. Папки на вашем веб-сайте, которые не нужно сканировать и индексировать в результатах поисковой системы, включают такие вещи, как:

• Поиск по сайту
• Разделы кассы / электронной торговли
• Зоны входа пользователей
• Конфиденциальные данные
• Тестирование / Постановка / Дублирование данных
• и др..

Имея эту информацию под рукой, легко настроить правила. Давайте посмотрим, как именно мы это делаем.

Общие сведения о правилах файла Robots.txt

Что касается файла robots.txt, существует стандартный формат для создания правил.

1) Звездочки используются в качестве подстановочного знака: *
2) Чтобы разрешить сканирование областей вашего веб-сайта, используется правило «Разрешить»
3) Чтобы запретить сканирование областей вашего веб-сайта, применяется правило «Запретить» б / у

Допустим, у вас есть веб-сайт (что, вероятно, у вас есть ??).На вашем веб-сайте (назовем его mywebsite.com) у вас была подпапка, содержащая дублирующуюся информацию / тестовые материалы / материалы, которые вы хотите сохранить в тайне. Возможно, вы настроили эту подпапку в качестве промежуточной или тестовой области. Назовем эту папку «постановкой». Ваш файл robots.txt будет выглядеть примерно так:

User-agent: *
Disallow: / staging /

Довольно просто, не правда ли? Давайте посмотрим, что здесь происходит.

Начнем с наших роботов.txt с User-agent: *

Определение User-agent обращается к паукам поисковых систем, а звездочка используется как подстановочный знак. Таким образом, это правило инструктирует ВСЕХ пауков из ВСЕХ поисковых систем , что они должны следовать ВСЕМ правилам , которые должны появиться позже.

Так будет до тех пор, пока в robots.txt не будет объявлено еще одно объявление User-agent (если вам придется использовать его снова). Что будет потом?

Следующее правило:

Запрещено: / staging /

Это правило запрета сообщает паукам поисковых систем, что им не разрешено сканировать что-либо на вашем веб-сайте, находящееся в «промежуточной» папке.Используя название нашего воображаемого веб-сайта, это место будет выглядеть так: www.mywebsite.com/staging/

* Совет : имейте в виду, что только потому, что вы запрещаете сканирование определенного раздела вашего веб-сайта, он может все еще отображаться в индексе поисковых систем ЕСЛИ он ранее сканировался И , если вы разрешили это страниц для индексации .

Чтобы этого не произошло, лучше всего объединить правило запрета с метатегами noindex, добавленными на ваши веб-страницы (подробнее об этом ниже).Если страницы, которые вы не хотите сканировать, уже отображаются в индексе поисковой системы, возможно, вам придется удалить их вручную через область инструментов для веб-мастеров соответствующих поисковых систем (Google / Bing).

Просто, не правда ли?

Несколько примеров, которые вы можете использовать

Ниже вы видите несколько примеров из файла robots.txt, в которых показаны разные правила для разных ситуаций. Не все файлы robots.txt будут одинаковыми. Некоторые люди могут захотеть заблокировать сканирование всего своего веб-сайта.У других может быть потребность ограничить только определенные разделы своего веб-сайта.

Разрешение сканирования и индексации всего на веб-сайте

Агент пользователя: *
Разрешить: /

Блокировка сканирования всего веб-сайта

User-agent: *
Disallow: /

Блокировка сканирования определенной папки

Агент пользователя: *
Разрешить: / myfolder /

Разрешить определенному пауку / роботу (в данном случае Google) доступ к вашему сайту и запретить всем остальным

Пользовательский агент: Googlebot
Разрешить: /

User-agent: *
Disallow: /

Extra: специальные роботы для WordPress.txt файл

Что касается WordPress, то при каждой установке WP есть три основных стандартных каталога. Их:

• wp-контент
• WP-админ
• wp-включает

Папка wp-content содержит подпапку, известную как «загрузка». Это место содержит медиа-файлы, которые вы используете (изображения и т. Д.), И мы НЕ должны блокировать этот раздел. Зачем тебе это нужно?

Ну, когда вы «запрещаете» папку в robots.txt, по умолчанию — все подпапки под ней также блокируются по умолчанию.Итак, мы должны создать уникальное правило для этой подпапки мультимедиа.

Ваш файл WordPress robots.txt теперь может выглядеть примерно так:

Агент пользователя: *

Disallow: / wp-admin /
Disallow: / wp-includes /
Disallow: / wp-content / plugins /
Disallow: / wp-content / themes /
Allow: / wp -content / uploads /

Теперь у нас есть очень простой robots.txt, который блокирует выбранные нами папки, но позволяет сканировать подпапку «uploads» внутри «wp-content». Есть смысл?

Если вы запрещаете папку «xyz», каждая папка, находящаяся под / помещенная внутри «xyz», также будет запрещена. Чтобы указать отдельные папки, которые следует сканировать, необходимо указать явное правило.

Вот что вы можете использовать для запуска файла robots.txt WordPress. Странный шар в этой группе, которого вы, возможно, не видели раньше, — это «Disallow: / 20 *».Это отключает архивы дат, начиная с 20 года.

Агент пользователя: *

Disallow: / wp-admin /
Disallow: / wp-includes /
Disallow: / wp-content / plugins /
Disallow: / wp-content / cache /
Disallow: / wp -content / themes /
Disallow: /xmlrpc.php
Disallow: / wp-
Disallow: / feed /
Disallow: / trackback /
Disallow: * / feed / Запрещено: * / trackback /
Запрещено: / *?
Disallow: / cgi-bin /
Disallow: / wp-login /
Disallow: / wp-register /
Disallow: / 20 *

Разрешить: / wp-content / uploads /

Карта сайта: http: // example.ru / sitemap.xml

* Совет : Всегда рекомендуется включать ссылку на карту сайта из файла robots.txt. Карта сайта также должна быть размещена в «корне» вашего веб-сайта (в той же папке, что и файл домашней страницы).

Минута № 3: Осторожное предупреждение / проверка на наличие ошибок

Убедитесь, что вы не допустили опечаток. Простая опечатка может испортить ваш файл, поэтому убедитесь, что вы написали все правильно и используете правильный интервал.

Также важно отметить, что не все пауки / сканеры следуют стандартному протоколу robots.txt. Вредоносные пользователи и спам-боты будут просматривать ваш файл robots.txt и искать конфиденциальную информацию, такую ​​как личные разделы, папки с конфиденциальными данными, административные области и т. Д. Хотя многие люди ДОЛЖНЫ перечислять эти папки / области своего веб-сайта в файле robots.txt. (и это нормально в 99% случаев), чтобы сделать еще один шаг вперед, вы можете не помещать их в файл robots.txt и просто скрыть их с помощью метатега robots.

Итак, если вы хотите быть в большей безопасности и использовать блокировку своих конфиденциальных страниц с помощью метатегов, вот как вы это делаете:

1. Откройте программу редактирования вашего веб-сайта (что бы вы ни использовали для разработки / редактирования настоящего веб-сайта)
2. Используя «представление кода» или «представление текста» вашего программного обеспечения для редактирования, вы должны ввести следующий код между тегами «заголовок» страницы (верхняя часть страницы).

При просмотре исходного кода вашей страницы он должен выглядеть примерно так:

… и именно так вы легко блокируете индексирование и сканирование своих страниц!

Минута № 4: Загрузка на свой веб-сайт

Конечно, все это бесполезно, если вы не загрузите и не сохраните файл обратно на свой веб-сайт.Поэтому обязательно сохраните файл роботов как robots.txt, и если вы также решили использовать опцию метатега, обязательно повторно загрузите эти веб-страницы после того, как вы их отредактировали и сохранили.

Минута № 5: Просмотр файла в Интернете

Последний шаг в этом простом процессе — просмотреть файл robots.txt в вашем веб-браузере, а также убедиться, что ваши недавно сохраненные страницы (если вы использовали метатег) также обновляются. На всякий случай обновите страницу или очистите кеш и файлы cookie на своем компьютере, прежде чем делать это.

Полезный ресурс:

Чтобы посмотреть хороший список имен пользовательских агентов веб-сканера, посетите: http://www.robotstxt.org/db.html. Здесь вы можете найти любое «имя» сканера и добавить его в свой список разрешенных / запрещенных… большинству людей это не понадобится.

Заключение и заключительные мысли

Итак, теперь у вас есть возможности и знания для эффективного создания и оптимизации файла robots.txt для вашего веб-сайта — замечательно! Однако есть еще много чего узнать. Роботы.txt — это только один из сотен элементов, которые мы ежедневно используем для наших клиентов и стараемся опережать их.

Если вы хотите, чтобы мы проанализировали оптимизацию вашего сайта и резко повысили рейтинг вашего сайта, обязательно свяжитесь с нами, чтобы получить бесплатную 25-минутную маркетинговую оценку. Мы всегда рады помочь!

Есть вопросы? Обязательно оставьте свой комментарий ниже, и я свяжусь с вами как молния.

Руководство по роботам для начинающих.txt и Meta Robots

Когда вы начнете оптимизировать свой веб-сайт для поисковых систем, вскоре вы встретите файл robots.txt . Это может быть всего лишь крошечный текстовый файл, но данные в нем могут иметь огромное влияние на ваш веб-сайт и его видимость на страницах результатов поисковой системы.

Такие термины, как «Протокол исключения роботов » могут звучать как что-то из художественного фильма, но все станет ясно, когда вы прочитаете эту статью.

Что такое роботы.текст?

Поисковые системы используют поисковые роботы для сканирования Интернета в поисках контента. Эти краулеры также известны как пауки, и боты. Файл Robots.txt (стандарт исключения роботов) сообщает этим сканерам (и другим пользовательским агентам), какие страницы и элементы сайта сканировать и индексировать.

Проще говоря, файлы robots.txt могут использоваться поисковыми роботами для идентификации и индексации страниц на вашем веб-сайте. Файл Robots.txt также можно использовать для управления безопасностью и производительностью сервера.

Создание файла Robots.txt

Как следует из названия, Robots.txt — это просто файл .TXT, который можно создать с помощью популярных текстовых редакторов, таких как Блокнот в Windows или TextEdit на Mac.

Ваш файл Robots.txt всегда должен находиться в корневом каталоге вашего веб-сайта, так как это единственное место, где его будут искать сканеры. Например, http://yoursite.com/robots.txt является допустимым местоположением.

Если ваш сайт построен с использованием WordPress, файл robots.txt создается, когда вы начинаете публикацию контента. Затем вы можете контролировать, на что будут смотреть поисковые роботы, в разделе Настройки конфиденциальности в админке WordPress. Существует также ряд плагинов WordPress, таких как Yoast SEO, которые предлагают аналогичные функции и элементы управления для файлов robots.txt.

Первый элемент файла robots.txt дает инструкции относительно того, к каким поисковым роботам относится эта команда. В некоторых случаях вы можете захотеть ограничить доступ одним сканерам, но разрешить другим сканировать и индексировать ваш контент.

Второй элемент файла использует операторы « Disallow », чтобы сообщить сканеру, где он может и не может искать новые страницы для индексации.

Запретить команду

Следующая команда разрешает сканерам из всех поисковых систем полный доступ к каждой странице вашего сайта.

Пользовательский агент: *

Disallow:

Если вы хотите заблокировать весь сайт от всех поисковых роботов, команда будет иметь вид

 Агент пользователя: *
Disallow: / 

Косая черта указывает на то, что все, что находится в корневом каталоге вашего веб-сайта, должно быть заблокировано от поисковых роботов.

Эта команда становится очень полезной, когда вы хотите заблокировать только определенные области вашего сайта.

Например, вы можете не захотеть, чтобы поисковые роботы индексировали страницу входа администратора или страницу оформления заказа (поскольку это нежелательные целевые страницы для вашего веб-сайта через поисковые системы). В этом случае команда будет такой….

 Агент пользователя: *
Запретить: / войти в систему /
Запретить: / checkout / 

Все, что вам нужно сделать, это просто добавить соответствующий путь к этой странице в новой строке после « Disallow:».

Важно помнить, что поисковые системы могут получить доступ к вашему сайту другими способами, если вы воспользуетесь приведенной выше командой. Например, текстовая ссылка на ваш сайт может означать, что сканеры все равно его найдут.

Конфиденциальный контент всегда должен храниться в файле, защищенном паролем, чтобы нежелательные посетители не могли его найти.

Ограничение определенных поисковых роботов / пользовательских агентов

Файл robots.txt также можно использовать для блокировки определенных поисковых роботов и пользовательских агентов.Вы можете запретить Google индексировать ваш сайт; например, если ваш сайт находится в стадии разработки.

Следующая команда может использоваться для ограничения доступа определенных поисковых роботов к вашему контенту —

 Агент пользователя: BadCrawler
Disallow: / 

Замена «BadCrawler» на имя искателей, которые вы хотите исключить, позволяет заблокировать их. Вы также можете ограничить доступ сканеров к определенным каталогам на вашем сайте, например:

 Агент пользователя: BadCrawler
Disallow: / private / 

Мета-роботы

Другой способ запретить поисковым роботам индексировать ваш контент — использовать метатег робота.В отличие от тега Disallow (который входит в ваш файл robots.txt), метатег robots помещается в раздел вашей веб-страницы.

Следующая строка кода означает, что контент не должен индексироваться поисковыми роботами.

Повторяю, этот тег должен быть добавлен вместе с другими метатегами в заголовок вашего кода (тег).

Без гарантий…

Роботы.txt — это протокол, которому должны следовать все сканеры (другие пользовательские агенты) — здесь должно быть ключевое слово.

Существует множество вредоносных сканеров спама, которые ежедневно сканируют контент, и эти сканеры, вероятно, полностью игнорируют ваш файл robots.txt и его команды. Поэтому имейте в виду, что файл robots.txt не является полным отказоустойчивым, если вы хотите скрыть содержание своего веб-сайта.

Точно так же помните, что ваш файл robots.txt общедоступен, что означает, что любой может видеть, какие разделы и пути вашего веб-сайта вы хотите заблокировать.

Используйте инструменты Google для веб-мастеров

Инструменты Google для веб-мастеров предлагают быстрый и простой способ проверить, работает ли ваш файл robots.txt и его команды так, как вы предполагали.

Инструмент Test Robots.txt проверяет, что отправленные вами команды правильно отформатированы и работают.

Также стоит использовать этот инструмент, чтобы проверить, не блокируется ли контент, который вы действительно хотите показывать, непреднамеренно.

Важно понимать, что инструмент Test Robots.txt предоставляет результаты только для пользовательских агентов Google, а другие сканеры могут по-разному реагировать на ваши команды robots.txt.

Получите подходящий веб-хостинг для своего сайта! Ознакомьтесь с нашими планами хостинга и подключитесь к Интернету уже сегодня. Есть вопрос? Свяжитесь с нашей дружелюбной службой поддержки в Великобритании.

Ваше мнение

Если у вас есть вопросы по использованию robots.txt, или когда использовать команду meta robots, сообщите нам об этом в комментариях ниже 🙂

Полное руководство по оптимизации WordPress Robots.txt

Когда вы создаете блог или веб-сайт на WordPress, файл robots.txt автоматически создается для каждой из ваших целевых страниц и сообщений. Это важный аспект SEO вашего сайта, так как он будет использоваться поисковыми системами при сканировании содержания вашего сайта.

Если вы хотите вывести SEO-оптимизацию своего сайта на новый уровень, оптимизация robots.txt на вашем сайте WordPress важен, но, к сожалению, не так прост, как добавление ключевых слов к вашему контенту. Вот почему мы составили это руководство по WordPress robots.txt, чтобы вы могли начать его совершенствовать и улучшить свой поисковый рейтинг.

Что такое файл Robots.txt?

При размещении веб-сайтов на страницах результатов поисковых систем (SERP) поисковые системы, такие как Google, «сканируют» страницы веб-сайтов и анализируют их содержание. Файл robots.txt любого веб-сайта сообщает поисковым роботам, какие страницы сканировать, а какие нет — по сути, это форма автоматизации роботизированных процессов (RPA).

Чтобы просмотреть файл robots.txt любого веб-сайта, введите /robots.txt после имени домена. Это будет выглядеть примерно так:

Давайте разберем каждый из элементов на изображении выше.

Агент пользователя

Пользовательский агент в файле robots.txt — это поисковая машина, которая должна читать файл robots.txt. В приведенном выше примере пользовательский агент отмечен звездочкой, что означает, что он применяется ко всем поисковым системам.

Большинство веб-сайтов разрешают всем поисковым системам сканировать свой сайт, но иногда вы можете захотеть заблокировать сканирование вашего сайта для всех поисковых систем, кроме Google, или предоставить конкретные инструкции о том, как поисковые системы, такие как Новости Google или Картинки Google, сканируют ваш сайт.

В этом случае вам необходимо узнать идентификатор пользовательского агента поисковых систем, которые вы хотите проинструктировать. Это достаточно просто найти в Интернете, но вот некоторые из основных:

• Google: Googlebot
• Новости Google: Googlebot-News
• Изображения Google: Googlebot-Image
• Google Video: Googlebot-Video
• Bing: Bingbot
• Yahoo: Slurp Bot

Разрешить и запретить

В файлах robots.txt разрешить и запретить сообщает ботам, какие страницы и контент они могут сканировать, а какие — нет.Если, как упоминалось выше, вы хотите запретить всем поисковым системам, кроме Google, сканировать ваш веб-сайт, вы можете использовать следующий файл robots.txt:

Косая черта (/) после «Запрещать» и «Разрешить» говорит боту, что ему разрешено или нет сканировать все страницы. Вы также можете поместить определенные страницы между косыми чертами, чтобы разрешить или запретить боту сканировать их.

Карта сайта

«Карта сайта» в файле robots.txt — это XML-файл, содержащий список и подробную информацию обо всех страницах вашего веб-сайта.Выглядит это так:

Карта сайта содержит все веб-страницы, которые должен обнаруживать бот. Карта сайта особенно полезна, если у вас есть веб-страницы, которые вы хотите отображать в результатах поиска, но не являются типичными целевыми страницами, например сообщениями в блогах.

Карты сайта

особенно важны для пользователей WordPress, которые надеются оживить свой веб-сайт сообщениями в блогах и страницами категорий. Многие из них могут не отображаться в поисковой выдаче, если у них нет собственных роботов.txt карту сайта.

Это основные аспекты файла robots.txt. Однако следует отметить, что ваш файл robots.txt не является надежным способом заблокировать роботам поисковых систем сканирование определенных страниц. Например, если другой сайт использует текст привязки для ссылки на страницу, которую вы «запретили» в файле robots.txt, боты поисковых систем все равно смогут сканировать эту страницу.

Вам нужен файл Robots.txt на WordPress?

Если у вас есть веб-сайт или блог на WordPress, у вас уже будет автоматически сгенерированный файл robots.txt файл. Вот несколько причин, по которым важно рассмотреть файл robots.txt, если вы хотите, чтобы ваш сайт WordPress был оптимизирован для SEO.

Вы можете оптимизировать обходной бюджет

Бюджет сканирования или квота сканирования — это количество страниц, которые роботы поисковых систем будут сканировать на вашем сайте в любой день. Если у вас нет оптимизированного файла robots.txt, вы можете впустую тратить свой краулинговый бюджет и мешать ботам сканировать страницы вашего сайта, которые вы хотите показывать первыми в поисковой выдаче.

Если вы продаете товары или услуги через свой сайт WordPress, в идеале вы хотите, чтобы поисковые роботы отдавали приоритет страницам с лучшей конверсией продаж.

Вы можете расставить приоритеты для важных целевых страниц

Оптимизируя файл robots.txt, вы можете гарантировать, что целевые страницы, которые должны отображаться первыми в поисковой выдаче, будут легко и быстро обнаружены роботами-роботами. Разделение индекса вашего сайта на «страницы» и «сообщения» особенно полезно для этого, поскольку вы можете гарантировать, что сообщения блога будут отображаться в поисковой выдаче, а не только на стандартных целевых страницах.

Например, если на вашем веб-сайте много страниц, а данные о ваших клиентах показывают, что ваши сообщения в блоге генерируют много покупок, вы можете использовать карты сайта в файле robots.txt, чтобы гарантировать, что сообщения вашего блога появляются в поисковой выдаче.

Вы можете улучшить общее качество SEO вашего сайта

Маркетологи хорошо осведомлены о высокой рентабельности инвестиций в поисковую оптимизацию. Направление обычного поиска на ваш веб-сайт с упором на его SEO дешевле и часто более эффективно, чем платная реклама и партнерские ссылки, хотя и то, и другое все же помогает.Ознакомьтесь с этой статистикой по рентабельности инвестиций в маркетинговые каналы.

Оптимизация файла robots.txt — не единственный способ улучшить рейтинг вашего сайта или блога в поисковой выдаче. Вам по-прежнему необходимо, чтобы на самих страницах было оптимизированное для SEO содержание, с чем вам может помочь поставщик SaaS для SEO. Однако вы можете легко отредактировать файл robots.txt самостоятельно.

Как редактировать файл Robots.txt в WordPress

Если вы хотите отредактировать файл robots.txt в WordPress, есть несколько способов сделать это.Лучший и самый простой вариант — добавить плагин в вашу систему управления контентом — вашу панель управления WordPress.

Добавьте плагин SEO в свой WordPress

Это самый простой способ отредактировать файл robots.txt WordPress. Есть много хороших плагинов для SEO, которые позволят вам редактировать файл robots.txt. Одними из самых популярных являются Yoast, Rank Math и All In One SEO.

Добавьте плагин Robots.txt в свой WordPress

Существуют также плагины WordPress, специально разработанные для редактирования файла robots.txt файл. Популярными плагинами robots.txt являются Virtual Robots.txt, WordPress Robots.txt Optimization и Robots.txt Editor.

Как проверить свой файл WordPress Robots.txt

Если вы редактировали файл robots.txt, важно протестировать его, чтобы убедиться, что вы не допустили ошибок. Ошибки в файле robots.txt могут привести к тому, что ваш веб-сайт будет полностью исключен из результатов поиска.

Google Webmaster имеет инструмент тестирования robots.txt, который вы можете использовать бесплатно для тестирования своего файла.Чтобы использовать его, вы просто добавляете URL своей домашней страницы. Появится файл robots.txt, и вы увидите «синтаксическое предупреждение» и «логическую ошибку» в любых строках файла, которые не работают.

Затем вы можете перейти на определенную страницу своего веб-сайта и выбрать пользовательский агент для запуска теста, который покажет, является ли эта страница «принятой» или «заблокированной». Вы можете отредактировать файл robots.txt в инструменте тестирования и при необходимости запустить тест снова, но учтите, что это не изменит ваш фактический файл, вам нужно будет скопировать и вставить отредактированную информацию в свои robots.txt и сохраните его там.

Как оптимизировать ваш файл WordPress Robots.txt для SEO

Самый простой способ оптимизировать файл robots.txt — выбрать, какие страницы вы хотите запретить. В WordPress типичными страницами, которые вы можете запретить, являются / wp-admin / , / wp-content / plugins / , /readme.html , / trackback / .

Например, у маркетингового поставщика SaaS есть много разных страниц и сообщений на своем сайте WordPress. Запрещая такие страницы, как / wp-admin / и / wp-content / plugins / , они могут гарантировать, что страницы, которые они ценят, имеют приоритет для поисковых роботов.

Создайте карты сайта и добавьте их в свой файл Robots.txt

WordPress создает собственную общую карту сайта, когда вы создаете с ее помощью блог или веб-сайт. Обычно его можно найти по адресу example.wordpress.com/sitemap.xml. Если вы хотите настроить карту сайта и создать дополнительные карты сайта, вам следует использовать robots.txt или плагин SEO WordPress.

Вы можете получить доступ к своему плагину на панели инструментов WordPress, и в нем должен быть раздел для включения и редактирования карты сайта. Хорошие плагины позволят вам с легкостью создавать и настраивать дополнительные карты сайта, такие как карта сайта «страницы» и карта сайта «сообщения».

Когда вы настроите карты сайта, просто добавьте их в свой файл robots.txt, например:

Минималистичный подход

Хотя редактирование и оптимизация файла robots.txt в WordPress может быть увлекательным занятием, важно придерживаться минималистичного подхода, основанного на принципе «меньше — да лучше». Это связано с тем, что если вы запретите страницы на своем сайте, это предотвратит поиск роботов-роботов на этих страницах для других страниц. Это может означать, что ключевые страницы не будут обнаружены, а структурная целостность вашего сайта будет ослаблена с точки зрения роботов поисковых систем.

Также нет необходимости «разрешать» доступ ко всем страницам вашего веб-сайта в файле robots.txt. Сканеры-боты уже обнаруживают эти страницы — вместо этого сосредоточьтесь на ваших картах сайта и страницах, которые вам нужно запретить, чтобы ваши ключевые страницы были найдены первыми.

---

В этом руководстве мы предоставили все, что вам нужно знать о файлах robots.txt WordPress. От объяснения того, что такое файлы robots.txt до погружения в то, почему и как вам следует оптимизировать файл robots.txt для SEO, эта статья поможет, если вы хотите найти простые и эффективные способы улучшить рейтинг вашего сайта WordPress в поисковой выдаче.

Как использовать файл robots.txt и исправить ошибки кода ответа — Технический контрольный список SEO, часть 3

Использование файла robots.txt и сообщения с кодом ответа

И последнее, но не менее важное: в нашей серии контрольных списков технической поддержки поисковой оптимизации мы рассмотрим, как использовать файл robots.txt и что делать при получении ошибки кода ответа.

robots.txt Владельцы

веб-сайтов должны использовать файл /robots.txt, чтобы давать инструкции о своем сайте для веб-роботов; его техническое название — «Протокол исключения роботов».Его основная цель — отвести роботов от страниц, которые не следует индексировать, поскольку они не актуальны для поискового пользователя.

Вы можете добавить свои целевые страницы PPC, раздел администратора, портал сотрудников и т. Д. В файл robots. Иногда на доступном веб-сайте есть ссылка, которая указывает на страницу или раздел, подобные упомянутым выше: эти ссылки позволяют роботу сканировать и находить страницу, которую вы хотели защитить или скрыть.

Это также полезно при создании веб-сайта, потому что вы хотите избежать индексации страниц разработки.Google замечательно сканирует Интернет в поисках веб-сайтов, и разрабатываемый веб-сайт не является исключением.

Как это работает

Если робот поисковой системы хочет посетить URL-адрес веб-сайта, он сначала проверяет http://www.example.com/robots.txt, чтобы получить разрешение или уйти.

Чтобы исключить всех роботов со всего сайта:

User-agent: *
Disallow: /

Чтобы разрешить всем роботам полный доступ к веб-сайту:

User-agent: *
Disallow:

(Для этого вы также можете создать пустой файл robots.txt файл.)

Чтобы исключить всех роботов из части сервера:

User-agent: *
Disallow: / admin
Disallow: / employee-login
Disallow: / login

Соображения

Имейте в виду, что роботы могут игнорировать ваш /robots.txt; особенно вредоносные роботы, которые сканируют Интернет на наличие уязвимостей, и сборщики адресов электронной почты, используемые спамерами, которые не будут обращать на них внимания.

Файл /robots.txt является общедоступным.Кто угодно может увидеть, какие разделы вашего сервера вы не хотите, чтобы роботы использовали. Поэтому не пытайтесь использовать /robots.txt для сокрытия такой информации, как внутренняя информация. Вы захотите создать портал для сотрудников или безопасный вход для конфиденциальной информации.

Файл robots.txt хорошо сочетается с тегом , чтобы полностью исключить поисковые системы для конкретной страницы.

Коды ответа

Есть несколько инструментов, которые вы можете использовать для диагностического тестирования вашего веб-сайта.Мы часто делаем это для сайтов наших клиентов, а также для наших собственных, потому что важно видеть, как ваш сайт реагирует на запросы. Вот краткое изложение кодов ответов, которые вы можете увидеть, и предложения, как действовать или продолжить свой веселый путь.

• 200: Идеально . Вот как реагируют нормальные живые страницы.
• 301: Перенаправление , устанавливается, когда страница перемещается в другое место. Это говорит о том, что страница постоянно находится на другом URL, и именно на этой странице вы найдете соответствующую информацию.Это прекрасно.
• 302: временное перенаправление . Этой страницы нет ни здесь, ни там, но она может вернуться? Это ошибка, которую следует исправить с помощью 301 редиректа.
• 404: Страница не найдена . Это ошибка из-за удаления страницы без переадресации или из-за того, что была запрошена несуществующая страница. Это можно исправить с помощью перенаправления 301 (если страница была перемещена) или настраиваемой страницы 404, чтобы помочь пользователю найти свой путь.
• 500: внутренняя ошибка сервера .Это очень общий код ответа, который отображается пользователям и роботам поисковых систем, когда на сервере что-то пошло не так. Это время, когда вам нужно связаться с поставщиком сервера (GoDaddy, Network Solutions и т. Д.) И предупредить их о проблеме.
• 502: Плохой шлюз . Сервер действовал как шлюз или прокси и получил недопустимый ответ от вышестоящего сервера. Ошибка, которую необходимо исправить, потому что пользователи не могут получить доступ к вашему сайту.

В сети есть и другие технические части, такие как разметка схемы, структура кода, адаптивный дизайн и изменение размера изображения, каждая из которых является их собственным зверем, но это первые шаги для начинающих и промежуточных менеджеров веб-сайтов по улучшению их общего удобства использования и оптимизация сайта.Обязательно прочтите первую и вторую части нашей серии статей, чтобы разобраться в своей базовой технической оптимизации.

проиндексировано, но заблокировано файлом Robots.txt: как это исправить

Если вы следите за техническими усилиями вашей компании по поисковой оптимизации или вам поручено увеличить посещаемость веб-сайта, Google Search Console — один из самых ценных инструментов, которые вы можете использовать. можно использовать для получения информации о состоянии вашего сайта.

В Google Search Console отчет об индексировании дает вам подробное представление о том, какие страницы вашего сайта были проиндексированы, и предупреждает вас о любых проблемах индексации, с которыми Googlebot столкнулся при сканировании вашего сайта.

Если Google действительно обнаружит какие-либо проблемы с индексацией (которые вы найдете в разделах «Ошибки» и «Предупреждения» отчета о покрытии), вы захотите исправить их немедленно, чтобы убедиться, что ваш контент индексируется правильно и рейтинг в результатах поиска.

Типичное предупреждение, которое вы можете встретить в отчете о покрытии, называется «Проиндексировано, но заблокировано файлом robots.txt».

Здесь мы объясняем, что означает это сообщение, и даем пошаговые инструкции по его устранению.

Что означает предупреждение «Проиндексировано, но заблокировано файлом robots.txt»?

Согласно Google, это предупреждение указывает на то, что рассматриваемый URL был проиндексирован в какой-то момент, но теперь блокируется файлом robots.txt. Обычно это происходит, когда кто-то больше не хочет сканировать страницу и добавляет ее в файл robots вместо добавления на страницу директивы noindex.

Что такое файл robots.txt?

Ваш файл robots.txt — это текстовый файл, содержащий инструкции для роботов (сканеров поисковых систем) относительно страниц вашего сайта, которые они должны сканировать, и тех, которые им не следует сканировать.«Разрешая» или «запрещая» поведение сканеров, вы говорите: «Да, сканировать эту страницу!» или «Нет, не сканируйте эту страницу!»

Чтобы объяснить это дальше, давайте взглянем на файл robots.txt для Walmart.com. На фотографии ниже мы видим, что Walmart говорит сканерам не посещать URL-адрес «/ account /» с помощью правила запрета.

Это также означает, что, поскольку роботы не могут сканировать страницу, они не могут ее проиндексировать. Тем не менее, это не всегда так.

Посмотрим, почему это могло произойти.

Что вызывает предупреждение «Проиндексировано, но заблокировано файлом robots.txt»?

Предполагая, что для рассматриваемых URL существуют запрещающие правила, вы не хотите, чтобы они индексировались. Итак, почему это происходит?

В большинстве случаев это предупреждение появляется, когда выполняются оба следующих условия:

1. В файле robots.txt есть правило запрета.
2. В HTML
страницы есть метатег noindex.

В этом сценарии вы одновременно говорите Google не сканировать эту страницу и не индексировать ее.Проблема здесь в том, что если вы заблокировали для сканеров просмотр этой страницы с помощью правила в файле robots.txt, они не смогут увидеть директиву noindex в HTML и удалить страницу из индекса.

---

Есть ли еще ошибки на вашем сайте? Загрузите наш контрольный список из 187 пунктов для самостоятельной проверки!

---

Это может показаться сложным, но устранить это предупреждение довольно просто.

Как исправить ошибку «Проиндексировано, но заблокировано роботами.txt »предупреждение?

Чтобы исправить предупреждение «Проиндексировано, но заблокировано файлом robots.txt», вам нужно сначала убедиться, что на странице, которую вы хотите удалить из индекса Google, есть директива noindex. Затем вам нужно удалить правило запрета из файла robots.txt, чтобы Google мог видеть директиву noindex и впоследствии удалять затронутые страницы из индекса.

Конкретные шаги для этого зависят от вашей CMS. Ниже мы рассмотрим, как исправить это предупреждение для сайтов WordPress.

Как отредактировать файл Robots.txt в WordPress

Самый простой способ отредактировать файл robots.txt для вашего WordPress — использовать Yoast SEO. Просто выполните следующие действия:

1. Перейдите в Yoast на панели инструментов WordPress и нажмите «Инструменты». 2. Щелкните «Редактор файлов».

3. Отредактируйте файл robots.txt и удалите правила запрета для затронутых строк URL.

Если у вас не установлен Yoast или ваш robots.txt отсутствует в редакторе файлов, вы можете редактировать файл robots.txt на уровне сервера. Мы скоро рассмотрим это.

Как отредактировать файл Robots.txt вручную через FTP

Для этого варианта вам потребуется доступ к серверу через FTP. Вы можете сделать это с помощью Adobe Dream Weaver и войти в систему с учетными данными своего сайта. После подключения к серверу выполните следующие действия:

1. Загрузите файл robots.txt с сервера.
2. Откройте файл с помощью обычного текстового редактора, например Microsoft Notepad, и удалите правила запрета для затронутых URL-адресов.
3. Сохраните файл без изменения имени.
4. Загрузите файл на сервер, он перезапишет старую версию файла robots.txt.

Проверка исправления в консоли поиска Google

Теперь, когда вы успешно обновили файл robots.txt, вы готовы сообщить об этом Google!

Для этого перейдите в раздел «Подробности» и щелкните предупреждение.

Отсюда вы просто нажимаете «Подтвердить исправление.’

Google теперь повторно просканирует URL-адреса, увидит директивы noindex и удалит страницы из индекса. Предупреждение должно исчезнуть, и вы на пути к здоровому, оптимизированному для SEO веб-сайту!

Это конкретное предупреждение — лишь одна из многих проблем со сканированием в Google Search Console, которые могут угрожать общему состоянию вашего сайта. Чтобы получить исчерпывающий список ошибок на вашем веб-сайте и их решения, свяжитесь с нами для проведения технического SEO-аудита и позвольте нам сделать всю грязную работу.