Еще по теме:

Евгений Аралов

SEO-аналитик SiteClinic.ru

Продвигаю сайты с 2009 года.

Выступал на конференциях AllInTop, Optimization

Публикую полезные статьи на различных блогах: siteclinic.ru, optimizatorsha.ru, searchengines.ru и веду Telegram-канал.

Сейчас руковожу SEO-отделом в компании SiteClinic: строю и координирую команду, обучаю специалистов.

Девиз: вперёд!

Оцените мою статью: 

Есть вопросы?

Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.

Как мне исключить страницы из поиска?

Иногда необходимо исключить страницу сайта из результатов поиска, например, если она содержит конфиденциальную информацию, является дубликатом другой страницы или была удалена с сайта.

1. Шаг 1. Запретить индексирование страницы или каталога
2. Шаг 2. Ускорить удаление страницы
3. Как вернуть страницу в результаты поиска?
4. FAQ

Есть несколько способов сделать это:

Если страница удалена с сайта

Если страница не должна отображаться в поиске

Проверить, соответствуют ли инструкции в роботы.txt верны, воспользуйтесь инструментом анализа Robots.txt.

Примечание. При сканировании сайта робот сначала обращается к файлу robots.txt, если он есть, а затем просматривает страницы сайта. Постраничное сканирование может занять некоторое время. Если вы хотите удалить много страниц из поиска, добавьте директиву Disallow для нужных страниц.

Когда робот заходит на сайт и обнаруживает, что ему запрещено индексировать, страница исчезает из результатов поиска в течение недели.URL удаленной страницы отображается в списке исключенных страниц на странице в Яндекс.Вебмастере.

Исключение из поиска страниц, нарушающих авторские права, не является приоритетной задачей робота. Чтобы исключить страницу из поиска, воспользуйтесь методами, описанными в этом разделе.

Исключенные из результатов поиска страницы могут отображаться в Яндекс.Вебмастере до следующего сканирования сайта.

Чтобы ускорить удаление страницы из поиска, попросите Яндекс удалить ее, не дожидаясь запланированного сканирования робота.

• Если ваш сайт не добавлен или не верифицирован в Яндекс.Вебмастере:

  1. Перейдите на страницу Удалить страницы из результатов поиска в Яндекс.Вебмастере.

  2. Введите URL-адрес страницы, которую нужно исключить, в поле, например http://example.com/page.html.

  3. Нажмите кнопку «Удалить».

  Чтобы исключить несколько страниц из поиска, удаляйте их по одной.

• Если ваш сайт добавлен в Яндекс.Вебмастер и вы подтвердили свои права на управление сайтом:

  1. Перейдите на страницу.

  2. Установите переключатель в положение По URL.

  3. Введите URL-адрес страницы в поле, например http://example.com/page.html.

  4. Нажмите кнопку «Удалить».

  Вы можете указать до 500 URL-адресов на сайт в день.

Вы можете удалить все страницы сайта, отдельные каталоги или страницы с указанными параметрами в URL, если ваш сайт добавлен в Яндекс.Веб-мастер и вы подтвердили свои права на управление сайтом.

1. В Яндекс.Вебмастере перейдите на страницу.

2. Установите переключатель в положение По префиксу.

3. Укажите префикс:

   Что удалить	Пример
   Каталог сайта	http://example.com/catalogue /
   Все страницы сайта	http: // example.com /
   URL с параметрами	http://example.com/page ?

   Вы можете отправлять до 20 префиксов на сайт в день.

4. Нажмите кнопку «Удалить».

Примечание. Робот удалит страницы, указанные в Яндекс.Вебмастере, только если эти страницы указаны в директиве Disallow в файле robots.txt.

После отправки URL в Яндекс.Вебмастер вы можете отслеживать изменения статусов на:

Убрать запрет на индексацию: директива Disallow в файле robots.txt или метатегом noindex. Страницы возвращаются к результатам поиска, когда робот просматривает сайт и узнает об изменениях. Это может занять до трех недель.

Я настроил перенаправление на новые страницы, но старые по-прежнему отображаются в результатах поиска.

Если вы используете перенаправление, робот будет постепенно отслеживать перенаправления, и старые страницы будут исчезать из результатов поиска по мере сканирования сайта. Чтобы робот быстрее узнал об изменениях, отправьте страницы на переиндексацию.

Если URL-адреса страниц изменились из-за изменения доменного имени сайта, обновление данных поиска может занять больше месяца. Проверьте правильность настройки зеркал.

Полное руководство по поисковой оптимизации Яндекса

Хотя Google имеет сильные позиции в России, очень важно, чтобы ваша стратегия SEO учитывала Яндекс.

Яндекс — ведущая поисковая система в России (по смешанной доле на рынке), и благодаря недавним изменениям в законодательстве (Google получил пощечину в российских судах), они также ликвидировали пробел в мобильной рекламе.

Яндекс. Помимо поисковой системы, Яндекс также предоставляет браузер (YaBrowser), электронную почту, новости, карты, платную рекламу и услуги переводчика на российском рынке, а также в Беларуси, Казахстане, Украине и Турции.

Яндекс Техническое SEO

Хотя между Google и Яндексом есть много общего, российский движок имеет свой собственный набор правил и нюансов, которые необходимо учитывать при проектировании и разработке вашего русскоязычного веб-сайта (или альтернативной версии).

Реклама

Продолжить чтение ниже

Индексирование в Яндексе

Google избаловал нас своим обновлением Caffeine и тем, как быстро они обнаруживают и индексируют свежие содержание.

Яндексу требуется немного больше времени для обнаружения новых сайтов и URL-адресов.

Для более эффективной индексации контента в Яндексе важно отправлять карты сайта через Яндекс.Вебмастер.

JavaScript и CSS

В ноябре 2015 года Яндекс сообщил в своем блоге для веб-мастеров, что они начали сканировать JavaScript и CSS, а в более поздней статье поддержки они рассказали, как Яндекс обрабатывает веб-сайты AJAX.

Короче говоря, Ирстлена Першина, активный публичный представитель Яндекса в своем блоге для веб-мастеров, в 2018 рекомендовала следующее в ответ на вопрос об Angular, AngularDart и о том, нужен ли им рендеринг на стороне сервера:

Общее правило: для робота должен быть статический контент.Ирстлена Першина, 7 мая 2018 г., 18:18

Hreflang и XML-карты сайта

Хотя реализация XML-карты сайта дает ряд преимуществ, таких как повышение скорости загрузки страницы (поскольку отдельные теги hreflang не нужно читать краулеры при загрузке страницы), они не будут работать в Яндекс.

Реклама

Читать ниже

Яндекс поддерживает только разметку , поэтому, если у вас много языковых вариаций, вам, возможно, придется пересмотреть свой подход для России.

Теги уровня страницы

В отличие от Google, Яндекс поддерживает метатег ключевые слова в качестве элемента HTML:

— Может использоваться при определении релевантность страницы поисковым запросам.

Маскировка

В 2008 году Яндекс представил алгоритм с кодовым именем Находка с целью предотвращения и выявления маскировки гораздо более агрессивным образом. Судя по многочисленным сообщениям в блогах, похоже, что это сработало.

Intrusive Pop-Ups

В 2012 году Яндекс обновил свой основной алгоритм для защиты веб-сайтов с навязчивыми (и поддельными) всплывающими окнами. Позже в 2014 году это было обновлено, чтобы еще строже относились к всплывающим окнам, которые мешали работе пользователей и доступности контента.

SEO на странице для Яндекса

В Яндексе есть ряд алгоритмов, которые гарантируют, что пользователи найдут качественный, полезный контент, соответствующий их поисковому намерению.

Этот процесс начался в 2007 году с безымянного обновления, в котором были введены новые ранжирование и переменные веса для поисковых запросов, состоящих из одного и нескольких слов.

8-SP1

За безымянным обновлением в 2008 году последовал первый официально названный алгоритм, цепляющий 8-SPI1. В течение этого времени в истории Яндекса более старые веб-сайты занимали более высокие позиции из-за своего возраста, и этот алгоритм работал, чтобы изменить это, чтобы дать более свежим (и потенциально более качественным доменам) больше шансов занять лидирующие позиции.

Этот алгоритм также изменил то, как обратные ссылки были взвешены как фактор ранжирования, в том смысле, что он уменьшил их силу.За

8-SP1 последовали некоторые более мелкие изменения в алгоритме качества, а именно Magadan (2008), которые позволили поисковой системе понимать аббревиатуры, а также начать понимать разницу между коммерческими и некоммерческими запросами и уникальность контента.

Фильтр AGS

Фильтр AGS был впервые представлен в сентябре 2008 года и обновлялся в 2009, 2013, 2014 и 2015 годах. Вы можете называть это алгоритмом Яндекс Панды.

Первая итерация алгоритма в первую очередь касалась дублированного и некачественного контента.Более поздние обновления означали, что Яндекс может понизить рейтинг веб-сайтов, созданных для привлечения трафика для показов рекламы на странице, и наказать веб-сайты, ориентированные на продажу и размещение ссылок.

Реклама

Продолжить чтение ниже

Рейкьявик и Калининград

Рейкьявик (2011 г.) и Калининград (2012 г.) были первыми шагами в персонализации поиска. История поиска, файлы cookie и поведение пользователей начали влиять на персонализированные результаты поиска и создавать их.

Яндекс использует показатель TIC для анализа воспринимаемой популярности веб-сайта, тематической релевантности и на основе этого вывода о авторитете.Здесь вы можете сделать вывод о сходстве с PageRank.

Оценка варьируется от нуля до 150 000, более высокая оценка означает, что качество веб-сайта выше. Однако, как и DA (показатель авторитета домена Moz), показатель TIC не отражает рейтинг сайта и не учитывается как фактор ранжирования.

Последние серьезные изменения в том, как они рассчитывают TIC, произошли в 2016 году (через этот пост в блоге), но недавно все страницы поддержки Яндекса, окружающие TIC, начали использовать 404 ‘и их плагин для проверки TIC (Яндекс.Element) теперь 302 перенаправляет на страницу загрузки YaBrowser.

4TIC — это метрика тщеславия, как и DA, и ее следует избегать в качестве ключевого показателя эффективности кампании.

Реклама

Продолжить чтение ниже

Однако, если вы хотите улучшить свой показатель TIC, вам необходимо убедиться, что у вас есть:

• Хорошие внутренние ссылки, которые повышают ценность для пользователя, а не случайные ссылки на первый экземпляр каждого слова на странице и т. д.
• Пишите хороший, высококачественный контент, который удовлетворяет потребности пользователей (не слишком отличается от Google).
• Убедитесь, что содержание актуально.

Yandex Local SEO

Из-за огромных размеров России локализованный поиск работает несколько иначе, чем то, к чему мы привыкли с Google, даже в таких же крупных странах, как США.

В Яндекс.Вебмастере вы можете указать регион, на который вы ориентируетесь (если применимо), и с точки зрения пользователя поиск по геотаргетингу является важной частью получения полезных и релевантных результатов.

Арзамас и Конаково

В 2006 году обновление для Арзамаса позволило пользователям вручную определять, видят ли они результаты национального или регионального поиска, а в обновлении Конаково 2009 года это было развернуто в более чем 1250 городах, включая Украину, Беларусь и Казахстан.

Яндекс проверяет IP вашего сайта, контактную информацию (убедитесь, что она структурирована и четко отображается), а также информацию о регистрации домена.

Реклама

Продолжить чтение ниже

Если все сигналы здесь указывают на регион Ненецкого автономного округа, но на самом деле вы нацелены на регион Мурманской области, то ваш рейтинг в локальном поиске может оказаться не таким высоким.

Эта функциональность была дополнительно улучшена в 2010 году с помощью алгоритма Обнинск, который также привел к тому, что веб-сайты повысили местный рейтинг, а списки спам-каталогов были наказаны.

Смена региона в Яндексе

Как уже упоминалось, вы можете указать свой регион в своем аккаунте Яндекс.Вебмастера. Однако это всего лишь просьба, и поисковая система не воспринимает это как евангелие.

Если вы не ориентируетесь на конкретный регион (например, вы являетесь интернет-магазином, который может доставлять товары куда угодно), локализованный поиск Яндекс по запросам розничной торговли в Интернете не повлияет на вас.

В Яндекс.Вебмастере можно указать до семи регионов, но для этого вы должны быть указаны в Яндекс.Каталоге.

Реклама

Продолжить чтение ниже

Яндекс Offsite SEO

Хотя алгоритм Google Penguin не стал частью нашей жизни до 2012 года, Яндекс представил свой первый алгоритм на основе ссылок в 2005 году (официального названия нет, но он стал известен как фильтр Nepot), чтобы уменьшить влияние, которое генерирует обмен ссылками, PBN и другие спам-ссылки.

Помимо качества связи, фильтр Непот специально искал неестественные шаблоны получения ссылок. Неофициально это, похоже, было обновлено снова в 2008 году.

Рейтинг без ссылок

В 2013 году в Москве был развернут бета-алгоритм для некоторых вертикалей (а именно, путешествия, недвижимость и бытовая техника), и он произвел ранжирование без учета ссылки во внимание.

Существует очень мало информации о том, насколько успешным было испытание, но в 2015 году был запущен новый алгоритм на основе ссылок под названием Минусинск (поэтому мы можем сделать вывод, что рейтинг «без ссылок» не сработал).

После объявления Минусинска веб-мастера, которые использовали тактику ссылочного спама, получили уведомления через Яндекс.Вебмастер, и внедрение алгоритма имело три ключевых даты воздействия:

Реклама

Продолжить чтение Ниже

Yandex Mobile SEO

По оценкам, в России 80 миллионов пользователей смартфонов. Если текущий рост продолжится, то к 2021 году он достигнет 93 миллионов.

Рынок мобильного поиска в России также переживает период бурных перемен.В мае 2017 года российская антимонопольная служба постановила, что стандартная ОС Android от Google является слишком ограничительной и не отвечает интересам потребителя, и вынудила Google разработать виджет и новую ОС Android, чтобы пользователи могли легко изменить поисковую систему по умолчанию.

Учитывая, что самые последние данные показывают, что Android занимает около 70 процентов рынка, это привело к огромному скачку доли рынка мобильных поисковых систем: Яндекс увеличился с 29 процентов до 44 процентов за год, при за счет гугла.

Владивосток Алгоритм

Яндекс представил изменение алгоритма с кодовым именем Владивосток, и это было направлено на улучшение взаимодействия с мобильными пользователями.

Реклама

Продолжить чтение Ниже

Исторически (с ноября 2015 года) Яндекс помечал сайты, оптимизированные для мобильных устройств, в результатах поиска (что составляло примерно 18 процентов сайтов в то время). Это был действительно первый «толчок», который заставил веб-мастеров задуматься о мобильных впечатлениях и начать планировать адаптивные, динамические веб-сайты или веб-сайты с многоточечными точками.

Владивосток разрешил небольшой льготный период для веб-сайтов, которые еще не обеспечивали удобную работу с мобильными устройствами для пользователей, но на них наблюдались некоторые колебания и постепенный спад.

Один интересный вывод из факторов ранжирования мобильных устройств Яндекса (которые не сильно отличаются от факторов ранжирования мобильных устройств, к которым мы привыкли в Google, и обеспечивающих удобство использования пользователей), заключается в том, что в удобном для мобильных устройств средстве проверки Яндекса это критерии для мобильных устройств. удобный размер текста.

Если размер шрифта составляет 12 пикселей или больше, он считается удобным для мобильных устройств.Если страница имеет меньший размер шрифта, это негативно отразится на страницах результатов поисковой системы.

Реклама

Читать ниже

Инструменты поиска ключевых слов Яндекса

Основа любой SEO-кампании, исследование ключевых слов для российского рынка так же важно, как и прежде.

Ряд доступных инструментов упрощает проведение глубокого исследования ключевых слов на российском рынке.

Wordstat — один из моих любимых инструментов для исследования ключевых слов в России.Это часть платного инструментария поиска Яндекса, позволяющая разбить поиск по регионам.

По своему опыту я также склонен доверять представленным здесь данным о впечатлениях намного больше, чем второму инструменту в этом разделе.

Учитывая, что Google является второй по величине поисковой системой в России (при смешанной статистике устройств), инструмент Планировщик ключевых слов AdWords работает для российского рынка. Он также дает более широкие и обширные списки связанных ключевых слов, хотя иногда страдает релевантность, поэтому длинный список может потребовать значительного сокращения.

Приведенные объемы поиска также, по опыту, менее точны, чем Wordstat.

Реклама

Продолжить чтение ниже

Mail.ru является третьей по величине поисковой системой в России (примерно 8 процентов рынка), но, хотя сама поисковая система не пользуется популярностью, Инструменты для веб-мастеров предоставляют данные о поведенческих факторах пользователей, а также разбивают ключевые слова по возрасту и полу.

Объединение данных из этих инструментов и других основных компонентов пакета, таких как SEMrush, действительно может помочь в создании всеобъемлющих списков исследования ключевых слов.

Бонус: поисковые операторы Яндекса

Поисковые операторы, такие как site: и inurl: , могут быть неоценимы для профессионалов SEO при диагностике проблем с индексами.

В Яндексе также есть несколько операторов, которые немного отличаются от операторов Google. Хорошо иметь под рукой:

• Заголовок [ключевое слово] — поиск по заданному ключевому слову в теге заголовка, работает так же, как и оператор Google intitle: .
• Inurl = «keyword» — работает так же, как оператор Google inurl: .
• Mime = ”html / pdf / doc / ppt / xls / rtf / swf” — поиск файлов определенных типов, например: seo << mime = ”ppt” вернет результаты, которые являются файлами PowerPoint, связанными с SEO.

Вы можете структурировать ключевые слова по большинству операторов и их переменных в следующем формате:

Ключевое слово << [Оператор] = «переменная»

Дополнительные ресурсы для международного поиска:

Реклама

Продолжить чтение Ниже

Изображение предоставлено

Рекомендуемое изображение: 360b / Shutterstock.com
Доля рынка мобильной связи в России, взято с сайта Statcounter.com, май 2018 г.
Средство проверки мобильных устройств Яндекса (снимок экрана с размером текста), сделано автором, май 2018 г.
Скриншоты, сделанные автором, май 2018 г.

Узнайте, почему ваш сайт занимает высокие позиции в Google, но не в Яндексе

Почему у меня высокий рейтинг в Google, а не в Яндексе?

Один из самых часто задаваемых вопросов! Многоязычные компании часто сталкиваются с проблемами при попытке ранжироваться в Яндексе с поддоменом или подкаталогом своей сильной стороны.COM-сайт. Я слышал этот вопрос на конференциях по SEO и от сообщества веб-мастеров.

Так что, если у вас проблемы с рейтингом на Яндексе, в то время как ваш рейтинг в Google отличный, стоит проверить эти вещи:

— Яндекс не любит автоматическое перенаправление (например, если вы показываете версию на определенном языке на основе IP посетителя). У Яндекса проблемы с индексированием таких страниц.

— Яндекс медленнее, чем Google , когда дело касается новых сайтов и страниц.Если для Google требуется 1-2 дня, чтобы проиндексировать новую страницу и отобразить ее в поисковой выдаче, для Яндекса это займет не менее 1-2 недель, и страница не будет отображаться высоко. Чтобы новая страница попала в топ-10, может потребоваться до 1-2 месяцев, даже если конкуренция низкая.

— Google лучше справляется с поиском и индексированием страниц , особенно когда речь идет о крупных сайтах со сложной структурой ссылок. Не редкость ситуация, когда Яндекс видит 1000 страниц вашего сайта, а Google — 2500.

— Яндекс и Google индексируют Flash и Java-скрипт по-разному .У меня нет опыта в этом, но это общеизвестно, и это может вызвать проблемы с ранжированием.

— Вы выбираете создание языковых версий в качестве поддоменов или подкаталогов, рассчитывая, что они получат большую силу от сайта .COM, верно? PR будет течь и ранжировать будет легче. Верно. Но ваш сайт .COM не является авторитетом для Яндекс (во всяком случае, в большинстве случаев). Он не проиндексирован должным образом, у него нет ТИЦ (тематического индекса цитирования), поэтому кредит не будет получен, и получить рейтинг в Яндексе будет намного сложнее, чем в Google.

— Для ранжирования в Яндексе необходимо ссылок с сайтов на русском языке . Хотя обратные ссылки на английском языке могут помочь немецкому сайту занять место в Google, в России этого не произойдет. Мы имеем дело с Яндексом, местной поисковой системой с ограниченной возможностью индексировать и оценивать зарубежные сайты. Так что здесь никакого жульничества! Хотите рейтинги Яндекса — получите русские ссылки.

Есть еще много мелких вещей, которые могут привести к большим расхождениям между рейтингами Google и Яндекс. Я вернусь к этой теме в следующих сообщениях.

Анна Ошкало

Анна — блогер и консультант по интернет-маркетингу, специализирующаяся на SEO и SEM для российских поисковых систем. Чтобы увидеть больше сообщений Анны, подпишитесь на нее в Twitter или LinkedIn.

Еще сообщения

Ответы в настоящее время закрыты, но вы можете отслеживать их со своего собственного сайта.

Блог о настройках плагинов WordPress и поисковой оптимизации для начинающих веб-мастеров.Быстрый способ проверить индексацию страниц в Яндексе и Google Быстрая индексация страниц

(13 )

Если вы хотите знать, находится ли конкретная страница в индексе поисковой системы и сколько страниц вашего сайта включено в поиск в целом, вам следует узнать о четырех простейших способах проверки индексации сайта, используемых всеми специалистами по SEO.

В процессе индексации портала поисковый бот сначала сканирует его, то есть сканирует его для изучения контента, а затем добавляет информацию о веб-ресурсе в базу данных.Затем поисковая машина производит поиск по этим базам данных. Не путайте сканирование с индексированием — это разные вещи.

Чтобы понять, сколько еще страниц вашего проекта не проиндексировано, вам нужно знать их общее количество. Это даст вам представление о том, насколько быстро индексируется ваш сайт. Это можно сделать несколькими способами:

1. Посмотреть карту сайта. Вы можете найти его по адресу: your_site_name.ru / sitemap.xml … Здесь отображаются практически все страницы, размещенные на ресурсе.Но иногда карта сайта может быть сгенерирована некорректно, и некоторые страницы могут отсутствовать в ней.
2. Воспользуйтесь специальной программой. Эти программы сканируют весь ваш сайт и показывают все страницы вашего сайта, примерами таких программ являются Screaming Frog Seo (платно) или Xenus Links Sleuth (бесплатно).

Способы проверки индексации сайта

Предлагаем вашему вниманию 4 самых распространенных и простых способа проверить, какие страницы есть в индексе, а какие нет.

1.Через панель вебмастера

С помощью этого метода владельцы веб-ресурсов чаще всего проверяют их доступность в поиске.

Яндекс

1. Авторизуйтесь в Яндекс.Вебмастере.
2. Перейти в меню «Индексирование сайта» .
3. Найдите строку под ним «Страницы в поиске» .

Можно пойти другим путем:

1. Выберите «Индексирование сайта» .
2. Затем перейдите к «История» .
3. Затем перейдите на вкладку «Страницы в поиске» .

Как по первому, так и по второму способам вы можете изучить динамику роста или уменьшения количества страниц в поисковой системе.

Google

1. Заходим в панель управления сервисом Google Webmaster Tools.
2. Щелкните вкладку Search Console.
3. Перейти к «Индекс Google» .
4. Щелкните опцию Индексирование статуса .

2.Через операторов поисковых систем

Они помогают вам уточнить результаты поиска. Например, использование оператора сайта позволяет увидеть приблизительное количество страниц, которые уже есть в индексе. Чтобы проверить этот параметр, в строке поиска Яндекс или Google укажите: «Site: your_site_address» .

Важно! Если результаты в Google и Яндексе сильно различаются между собой, то у вашего сайта проблемы со структурой сайта, мусорные страницы, индексация или на него наложены санкции.

Для поиска вы также можете использовать дополнительные инструменты, например, чтобы узнать, как индексирование страниц изменилось за определенный период времени. Для этого под полем поиска щелкните вкладку Search Tools и выберите период, например, «Через 24 часа» .

3. Через плагины и расширения

С помощью специальных программ индексация веб-ресурса будет проверяться автоматически. Это можно сделать с помощью плагинов и расширений, также известных как букмарклеты.Это программы javascript, которые сохраняются в браузере как стандартные закладки.

Преимущество плагинов и расширений в том, что веб-мастеру не нужно каждый раз заходить в поисковик и вводить там адреса сайтов, операторов и т. Д. Скрипты все сделают автоматически.

Самым популярным плагином, используемым для этой цели, является панель RDS, которую можно загрузить из магазина приложений любого браузера.

Следует отметить, что в Mozilla Firefox плагин имеет гораздо больше возможностей, чем в других браузерах.Панель RDS предоставляет информацию как обо всем веб-сайте, так и на его отдельных страницах.

На заметку. Есть платные и бесплатные плагины. И самый большой недостаток бесплатных плагинов в том, что вам нужно регулярно вводить капчу.

Букмарклет «Проверка индексации» также нельзя игнорировать. Чтобы включить программу, просто перетащите ссылку на панель браузера, затем запустите портал и щелкните закладку расширения. Так вы откроете новую вкладку с Яндексом или Гуглом, где изучите необходимую информацию по индексации тех или иных страниц.

4. Использование специальных услуг

В основном я использую сторонние сервисы, потому что они четко показывают, какие страницы есть в индексе, а какие нет.

Бесплатное обслуживание

https://serphunt.ru/indexing/ — есть проверка, как Яндекс, так и Google. Вы можете бесплатно проверять до 50 страниц в день.

Платная услуга

Из платных мне больше всего нравится Topvisor — стоимость 0,024 руб. для проверки одной страницы.

Вы загружаете в сервис все страницы своего сайта, и он покажет вам, какие из них находятся в индексе поисковых систем, а какие нет.

Заключение

Основная цель владельца любого веб-ресурса — добиться индексации всех страниц, которые будут доступны поисковым роботам для сканирования и копирования информации в базу данных. Выполнить эту задачу на большом сайте может быть очень сложно.

Но при правильном комплексном подходе, то есть грамотной SEO-оптимизации, регулярном наполнении сайта качественным контентом и постоянном мониторинге процесса включения страниц в индекс поисковой системы, можно добиться положительных результатов.Для этого в этой статье мы рассказали о четырех методах проверки индексации сайта.

Имейте в виду, что если страницы начинают вылетать из поиска слишком резко, с вашим ресурсом что-то не так. Но зачастую проблема не в процессе индексации, а в самой оптимизации. Хотите быстро индексироваться и попадать в ТОП поисковых запросов? Предложите своей целевой аудитории контент, который превосходит конкурентов.

Из этого материала вы узнаете:

• Что индексирует
• Как добавить сайт в базу
• Как ускорить индексацию

Что такое индексирование?

Как добавить сайт в базу?

1. Дождитесь самоиндексации. Рано или поздно роботы найдут ваш сайт — все, что вам нужно сделать, это оставить на него активные ссылки с других ресурсов.Считается, что чем больше ссылок, тем быстрее будет индексация.
2. Добавьте сайт вручную, заполнив специальную форму в поисковой системе. Там нужно указать ссылку на сайт и краткую информацию о нем. В Яндексе, например, это делается в сервисе Яндекс Вебмастер На странице Сообщить о новом сайте.

Как ускорить индексацию?

1. Уникальный контент, который так любят поисковые системы.Один момент: если вы разместили статью на веб-сайте или в блоге, а она еще не проиндексирована, теоретически любой может забрать ее и опубликовать. Если на другом сайте статья проиндексирована раньше, значит, вы в полете. Ваш товар будет считаться неуникальным, а конкурент останется в шоколаде.
2. Четкая структура сайта. Соблюдайте правило трех кликов: попасть на каждую страницу с главной можно не более чем за три клика. Меньше — хорошо, больше — лучше нет! Это упростит поисковым системам индексацию не только домашней страницы, но и других страниц.
3. Связь с внутренними страницами полезна как для посетителей, так и для робота.
4. Рассылка сообщений в RSS-каталоги. Все ваши сообщения будут дублироваться в каталогах RSS, куда добавляются RSS-каналы. Это каналы для подписки на обновления блогов или сайтов, чтобы вы получали все последние новости на свою почту. С их помощью поисковая система быстро найдет ваши новые статьи и проиндексирует их.

Приведем пример успешной индексации

? Если вы попали на эту страницу, то вы, вероятно, недовольны тем, что поисковые системы так медленно и неохотно индексируют ваш сайт, и вы хотели бы, чтобы ваши статьи попадали в индекс так быстро, что вы могли сразу увидеть результат своей тяжелой работы. Тем не менее, на душе не очень приятно, когда вы пишете статью длиной в километр, а затем неделями ждете, пока Яндекс залезет туда и введет ее в свою поисковую базу, чтобы потом ее можно было найти в поисковой системе.

Итак, в этой статье вы узнаете 24 способа, как загнать свой сайт, статью, страницу в индекс, чтобы утром уже было, как в Яндексе, так и в Гугле.Хотя, я тут пустяк: если использовать все 24 метода, то ваш сайт со всеми страницами будет в индексе через час.

1 ) Первое, что нужно сделать, это зарегистрироваться в обеих панелях для веб-мастеров Яндекса и Google и добавить туда свой сайт.

2 ) Хорошо, прежде чем пытаться скармливать наш сайт поисковым системам, нам нужно сделать для них специальную карту для поисковых роботов, называемых. Как сделать карту сразу на свой хостинг в корень сайта, и выставить права на нее 777.Затем вам нужно ввести один и тот же файл в обе панели для веб-мастеров Яндекс и Google. Вы, наверное, сейчас думаете, что это за карта и зачем она вообще нужна? На самом деле это простой блокнот, который говорит, какие страницы вашего сайта можно индексировать, а какие нет. Без этого файла Яндекс, вероятно, вообще никогда не узнает о существовании вашего сайта, так что без него никуда.

3 ) Вам необходимо сделать карту сайта Sitemap.xml и так же загрузить ее как в свою, так и в панель для вебмастеров.Карта сайта, в отличие от карты для ботов поисковых систем, представляет собой просто список всех ваших страниц и статей на веб-сайте, в блоге. Вы можете сделать эту карту на этом или использовать плагин для движка WordPress под названием.

4 ) Для ускорения индексации сайта необходимо, чтобы его структура была правильной. Что это вообще значит? Все просто: у каждой страницы свой уровень вложенности. Посмотрите, сколько раз вам нужно щелкнуть мой сайт, чтобы перейти к этой статье. Первый щелчок будет по «всем статьям», второй — по названию статьи.То есть, как мы видим, мы сделали 2 клика, а это значит, что у моей статьи 2 уровня вложенности. Итак, неправильная структура сайта — это когда вам нужно кликнуть более 3 раз перед своей статьей или страницей. Помните, что статьи не должны быть четвертого, пятый уровень вложенности есть, надеюсь с этим все понятно.

5 ) Добавляем в объявление новый сайт или статью. Это делается в той же панели веб-мастеров для Яндекс. Просто вставьте адрес нашей статьи, введите капчу (буквы, цифры из спама) и нажмите «добавить».Таким образом вы информируете Яндекс о том, что у вас появился новый контент (статьи), и через некоторое время поисковые роботы по очереди будут заходить на ваш сайт.

6 ) Мы всегда так делаем. Повторное связывание — это просто ссылка из вашей статьи, которую вы написали на другую. Правильная перелинковка выглядит так: 1 ссылка на главную страницу сайта и от 3 ссылок на внутренние статьи сайта. В результате в каждой нашей статье должно быть не менее 4 ссылок на другие статьи, но вы можете не использовать этот метод на начальном этапе, когда у вас только новый сайт, а на нем нет кучи статей. еще.

7 ) Добавляйте новые статьи на сайт как можно чаще! Хочу отметить, что это очень важный момент для притормозившего Яндекс, потому что если вы будете писать по одной статье раз в месяц, то весь вышеперечисленный список не поможет вам ускорить индексацию сайта. Рекомендую писать и публиковать новые статьи хотя бы через 2-3 дня, а в идеале — 1 день. Также желательно публиковать новый материал не только в тот же день, но и в одно и то же время. Это дает просто мега результат, статья влетает в индекс меньше чем за час.

Кстати, если вы перестанете регулярно обновлять свой сайт, то скоро поисковые системы будут редко на вас смотреть, помните об этом! Для ускорения индексации сайта рекомендую писать статьи не менее 2000 знаков, так как ходят слухи, что Яндекс как-то не особо относится к таким сайтам, где статья меньше 2000 знаков. Если напишете меньше, например 500, то она тоже проиндексируется, но продвигать такую ​​статью будет очень проблематично.

8 ) Пишите только уникальные статьи с уникальностью не менее 90%.Я имею в виду, что вам не нужно копировать чужие уже проиндексированные статьи на свой сайт. Поступая таким образом, вы не только поможете своему сайту, но, наоборот, настолько его накрутите, что тогда вам придется создавать новый. Каждый раз, когда у вас появляется новый материал, всегда проверяйте его на уникальность. Я очень часто пользуюсь этим сервисом, на мой взгляд, лучшим из имеющихся для проверки уникальности.

9 ) Очистить мусорные страницы. Это страницы, на которых по сути ничего нет, ну или там картинка например, и все.Помните, мы говорили с вами о файле robots.txt. Итак, чтобы удалить все мусорные страницы, такие как галерея изображений, адрес входа на сайт, другие файлы, не являющиеся страницами сайта, вам нужно запретить их индексирование в robots.txt.

Как ускорить индексацию сайта в Яндексе с помощью сторонних сервисов?

10 ) Размещать (краткий обзор статей) анонсы новых статей в социальных сетях. Этот метод является одним из лучших с точки зрения Google , но, увы, не в терминах Яндекс.Просто нужно разместить (краткий обзор статьи) как можно больше социальных закладок, таких как: ВКонтакте, Одноклассники, Twitter, Facebook. Для этого я использую платную программу «Жук», но вы можете воспользоваться и этим сервисом, который также бесплатно запустит статью через несколько закладок.

11 ) Сделайте RSS-канал с сайта. RSS — это современная технология, позволяющая публиковать и транслировать практически любые материалы с любого сайта. Этот метод также помогает ускорить индексацию сайта., г. , а также социальные закладки.

12 ) Публикуйте сообщения в блогах на таких платформах, как Livejournal.com, blogspot.com и других. Также обратите внимание, что вам не нужно мучиться, вставляя ссылку каждый раз с сайта в блоги, все это можно сделать за вас с помощью плагина WordPress LiveJournal Crossposter. Когда статьи будут опубликованы, они сразу же будут транслироваться в несколько социальных блогов.

13 ) Используйте службы вопросов и ответов, такие как Mail и Google. Просто зайдите на почту и найдите человека, который ищет ответ на свой вопрос или информацию, о которой вы написали в своей новой статье.Тогда вам просто нужно вкратце написать ему в комментариях со ссылкой, что все это вы уже подробно писали в своей статье.

14 ) Прокомментируйте сайты вашей тематики. Здесь хочу отметить, что 101 сайт комментировать не обязательно. Все просто — ищем сайт с быстрым обновлением статей. Если сайт, например, публикует по одной статье в день, то это то, что вам нужно. Теперь вам нужно перейти к любой статье, прочитать ее и оставить содержательный комментарий, а не что-то в этом роде: спасибо за статью, все мега-пупер, отличная статья, спасибо, большое спасибо за статью.Большинство этих комментариев удалено, чем оставлено.

15 ) Регистрируемся на my.ya.ru и заводим дневник. Но эта штука очень хорошо сказывается на Яндексе в ускорении индексации. Если оставить в дневнике запись для статьи, то Яшка приедет намного быстрее, это заметили не только я, но и многие другие вебмастера (увы, сайт уже не работает).

16 ) Мы регистрируемся в популярных рейтингах, таких как: Рамблер ТОП100, Рейтинг @ Миля, LiveInternet. На этих сайтах просто живут поисковые роботы, особенно бродячие и почтовые.

18 ) Покупайте с главной страницы популярного сайта по вашей теме, который постоянно обновляется! Если вы купите такую ​​ссылку, то поисковый бот будет заходить к вам чаще, даже если я не хочу. Внимание катится с гуглом, с яндексом слабоватым.

19 ) Купите несколько. Это очень дешево, одна ссылка с хорошего сайта обойдется вам всего в 3 рубля на целые 30 дней. Когда покупаете, то запускаете купленные ссылки в социальных закладках. Этот метод используется в крайних случаях, когда они не знают, что делать.

20 ) Размещать объявления и пресс-релизы. Здесь все просто — ищем сайты, на которых можно бесплатно оставить пресс-релиз (статья со ссылкой). Недостаток только один — статья должна быть уникальной, но большой плюс в том, что в статье можно разместить до 3-х ссылок.

21 ) Зарегистрируйтесь на Subscribe.ru и начните свою рассылку. В настройках рассылки вы можете вставить свою ссылку на сайт. Когда вы отправите новое письмо, поисковые роботы заметят это, что, в свою очередь, поможет ускорить индексацию сайта.

22 ) Проверьте ответ от сервиса Яндекс. Бывают случаи, когда статья не хочет попадать в индекс Яшки, тогда мы заходим в панель вебмастера Яндекса и проверяем ответ сервиса. Добавьте адрес страницы, статью и нажмите «проверить». Яндекс предоставит нам техническую информацию на этой странице. Проделываем эту операцию 7 раз, каждый раз меняя робота Яндекса на другого. Например, от главного робота к картинному роботу.

23 ) Увеличьте ссылочную массу вашего сайта.Когда у вас есть 1000 ссылок, ведущих на ваш сайт, вам больше не нужно думать о том, как ускорить индексацию сайта — это всегда будет быстро.

24 ) Использование. Это поможет вам разместить сотни ваших ссылок во многих RSS-каналах. Это очень удобно, например, когда вы размещаете сразу несколько сайтов и у вас нет времени ждать их индексации. Кстати, тот же сервис можно использовать для запуска ваших доноров, на которых была куплена ссылка, чтобы она быстрее попала в индекс.(увы сайт переехал, поэтому ждем обновления).

То есть по сути все методы, хотя я не использую их все, а только 1-10,15,17,22,24 методы. А теперь поговорим о том, зачем вообще нужна эта ускоренная индексация?

Зачем нужно ускорять индексацию сайта?

Ну, первый и самый важный и важный момент — не допустить кражи ваших статей. Представьте, вы написали огромную статью, убили ее весь день, как я, а какой-то не совсем добрый и вменяемый человек взял и опубликовал вашу статью дома.Так вот в чем беда, если ваша статья проиндексируется им быстрее, это будет означать, что Яндекс и Гугл будут считать его первоисточником и автором этой статьи, и вы здесь ничего не докажете, в поддержку писать бесполезно сервис, перед вами уже тысяча тысяч человек обратились.

Но это может произойти и совершенно случайно, без какого-либо злого умысла извне. Мало кто знает, что это такое: поисковая оптимизация, SEO, копипаст (не уникальный текст) и т. Д.А теперь представьте, что человек только что пришел с поиска, и ваша статья ему очень понравилась, поэтому он взял ее и опубликовал в своем блоге ЖЖ. Забавно, конечно, но откуда он знал, что этого делать нельзя?

У меня даже был забавный случай. Однажды заказывала статью о фрилансе, потом через некоторое время проверила ее на уникальность, нашла копию, написала владельцу сайта горячими и нежными словами, в ответ тоже получила кучу нежных слов, только еще нежнее, в конце концов выяснилось, что этот фрилансер продал ему статью, которую он написал для меня.Затем владелец сайта удалил статью, так как увидел, что я опубликовал ее раньше, хотя дату можно установить вообще любую. Вот более короткая история.

Вторая причина — если вы продаете ссылки с веб-сайта. Это очень важно, если у вас слабая индексация, у вас ссылки никто не купит, даже если у вас ИКС 200 и вы продаете ссылку за 100 рублей, что очень дешево. Согласитесь, кто хочет выкинуть деньги на ветер, когда можно купить с такими же параметрами только со 100% индексацией ссылки на свой сайт.Вот почему индексация так важна.

На этом, пожалуй, и закончу свой мануал. Надеюсь, после этой статьи у вас никогда не возникнет вопросов. , г.

Быстрая индексация в поисковых системах особенно важна для молодого сайта. Потому что у него еще нет определенного веса (или «доверия»). Особенно важно регулярно обновлять его в первые месяцы жизни сайта. Контент также должен быть качественным.

Быстрая индексация нового сайта в Яндексе

Для того, чтобы ваш новый сайт быстро проиндексировался в Яндексе, вам необходимо добавить его в Яндекс Вебмастер.Затем выберите блок «Индексирование» -> «Повторный обход страниц» (см. Рис).

Повторное сканирование страниц в Яндекс Вебмастере

Для молодого сайта обязательно включите в этот список домашнюю страницу. Нередки случаи, когда робот заходит на главную страницу и индексирует с нее все внутренние ссылки. Таким образом можно проиндексировать более 20 страниц.

Быстрая индексация сайта в Google

Аналогично Яндексу, чтобы ускорить индексацию нового сайта в Google, его необходимо добавить в Google Webmaster (Google Search Console).Вам нужно выбрать вкладку «Skinning» -> «View as GoogleBot».

Просмотреть как функцию GoogleBot

И в открывшейся форме вставьте адрес нужной страницы, нажмите «Сканировать». После этого вы увидите результат сканирования страницы и появится волшебная кнопка «Запросить индексирование».

Индексирование функциональных запросов

Нажмите на кнопку, и вы увидите что-то вроде этого:

Как проиндексировать сайт в Google

Здесь обязательно выберите «сканировать этот URL и прямые ссылки».В этом случае робот попытается пройти по всем внутренним ссылкам на указанной вами странице. С большой долей вероятности все они войдут в индекс Google как можно быстрее!

Индексирование нового сайта на старом домене

В данном случае задача не такая тривиальная, как кажется. На доменах с историей часто бывает сложно проиндексировать новый сайт. Этот процесс может занять недели или месяцы. Это зависит от истории домена: были ли ранее на него санкции и какие.

Схема действий в этом случае простая:

• Добавить сайт в Яндекс и Google вебмастер
• Запросить переиндексацию через соответствующий функционал
• Подождите 2-3 обновления.
• Если ничего не изменилось — напишите в поддержку и решите этот вопрос индивидуально.

Способы ускорения индексации молодого сайта

Помимо методов, которые я указал выше, есть еще несколько, которые работают:

1. Обмен материалами в социальных сетях … Рекомендую использовать: Вконтакте, Facebook, Twitter, Google+ (несмотря на то, что социальная сеть Google на самом деле мертва, помогает ускорить индексацию новых страниц)
2. Регулярное обновление сайта … Со временем сайт собирает статистику публикации новых материалов, помогает индексировать новые страницы. Регулярно обновляйтесь и, возможно, вы сможете «накормить быстрого робота» (в этом случае индексация новых страниц займет 1-10 минут).
3. Для новостных сайтов: введите Яндекс Новости … Это не так сложно, как может показаться, но эффект будет потрясающий. Быстрый робот обитает на всех сайтах Яндекс Новостей.
4. Грамотная внутренняя структура сайта … Обязательно используйте ссылки, ТОП-материалы и т.д. Увеличение количества внутренних ссылок на странице (в разумных пределах) также ускорит индексацию

Быстрая индексация новых страниц старого сайта

FAQ по индексации молодых сайтов

У вас есть вопросы по индексации молодых сайтов? Задайте их в комментариях!

Q: Следует ли закрыть новый сайт из индексации?
A: Я рекомендую не открывать ваш сайт для поисковых систем, пока он не заполнен начальным содержанием.По моему опыту, повторная индексация существующих страниц занимает намного больше времени, чем индексация новых.

Q: Сколько времени нужно Яндексу, чтобы проиндексировать новый сайт?
A: В среднем это 1-2 обновления (от 1 до 3 недель). Но ситуации бывают разные.

Q: Какие могут быть проблемы с индексацией молодого сайта?
A: Наверное, основная проблема — плохой контент. По этой причине сайт не может быть проиндексирован. Были и случаи, когда выкатывали молодой, но большой сайт с тысячами страниц.У поисковой системы все еще есть воспоминания о дорвеях, поэтому молодые сайты с тысячами страниц имеют «особое отношение».

Q: Со скольких страниц следует открывать новый сайт для индексации и как часто его следует обновлять?
A: Вы можете открыть сайт для индексации с 1 страницы. Важно придерживаться простого правила: не размещайте сразу тысячи страниц на сайте, потому что это можно расценивать как поисковый спам, а на сайт регулярно добавляются новые материалы. Пускай 1 материал в 3 дня, но регулярно! Это очень важно!

Q: Как часто Яндекс индексирует сайты?
A: По официальной информации Яндекса периодичность индексации может составлять от 2 дней до нескольких недель.А про методы разгона написано выше.

Здравствуйте! Сегодня я расскажу вам несколько очень важных вещей, если вы их пропустите, вы можете потерять трафик. Часто при работе с сайтами необходимо определить: какие страницы проиндексированы, а какие нет. Какие страницы требуют дополнительного внимания для того, чтобы их проиндексировать.

Это особенно заметно при работе с интернет-магазинами: при работе с огромным количеством товаров / разделов постоянно добавляются все новые и новые страницы.Поэтому нам нужен жесткий контроль над индексацией вновь добавленных страниц, чтобы не терять поисковый трафик.

В этом коротком руководстве я расскажу вам, как проверять страницы сайта на предмет индексации.

Как проверить страницы на предмет индексации

Я уже описал, как я проверяю индексацию конкретной страницы с помощью панели RDS.

Ну или можно просто вбить этот код в Яндекс:

Url: www..ru / about

Или в Google:

Инфо: https: // site / about

Конечно url сайт / около сдачи на вашу.

А что, если вам нужно проверить индексацию десятков / сотен, а то и более статей? Действую так:

1. Ставим замечательную бесплатную программу YCCY (скачать ее можно отсюда).
2. Запускаем и заходим в Индексатор:

3. В левой части программы загружаем список URL-адресов для проверки на предмет индекса:

4. В настройках при работе с Яндексом ставил работать через Яндекс XML. и с чем его едят, я уже рассказывал:

5. Выбираем интересующую нас поисковую систему, отмечаем, что нас интересует (в нашем случае «Индексирование») и нажимаем на кнопку «Начать проверку» :

6. И вуаля, справа вы увидите отдельный список проиндексированных страниц, а также то, что еще нет в индексе:

Что делать с неиндексированными страницами?

Сервисы для ускорения индексации

Я обычно запускаю неиндексированные страницы с помощью разных сервисов, я предпочитаю этот getbot.гуру. Да, конечно, не 100% страниц попадают в индекс с его помощью, но все же в среднем около 70-80% вытесненных URL обычно попадают в индекс (это сильно зависит от адекватности страниц тоже).

Услуга, конечно же, платная, за каждый URL нужно платить. За те страницы, которые не включены в индекс, последует возврат средств, что очень честно и заманчиво (в зависимости от тарифа). И уже те страницы, которые не попали в индекс, я повторно отправляю в сервис.Опять же, при следующем обновлении некоторые из этих страниц попадут в индекс.

Думаю разобраться самостоятельно, ничего сложного. Зарегистрируйтесь -> Создать проект -> Запустить проект. Единственное, что может вызвать затруднения при выборе тарифа. Я предпочитаю работать с тарифом «Абсолютное обновление» (кликните на изображение, чтобы увеличить):

Кстати, обратите внимание, что в сервисе вы также можете проверять страницы на предмет индексации. Цена вопроса — около 10 копеек за URL.Я предпочитаю бесплатный YCCY, о котором я писал выше.

На страницы из проекта отправляется квикбот Яндекс, периодически проверяется индексация страниц проекта в Яндексе, на страницы, не попавшие в индекс, квикбот отправляется заново. После выполнения задачи для страниц, не включенных в индекс, средства автоматически возвращаются на баланс. Мы не используем социальные сети и методы спама для привлечения быстрых роботов. Сервис использует собственную сеть новостных сайтов, владельцами которых мы являемся.

Ускорение индексации с помощью Twitter или новостных сайтов

Что ж, если вы не любите прогоны с помощью таких сервисов, то можете использовать Twitter. Ссылки в Twitter очень хороши для поисковых систем, если учетные записи более или менее адекватны.

Относительно подробно об этом я уже писал в уроке «». Там, помимо Twitter, я проанализировал и другие способы быстрой индексации.

Повторное индексирование существующих страниц

Аналогичным образом вы можете отправить страницу на повторное индексирование.Проверяя кеш страницы в поисковых системах, вы можете узнать, проиндексирована страница или нет. Я рассказал, как проверить кеш страницы.

Работа с индексом с помощью программы Comparser

Хотя YCCY — старая программа, мне она очень нравится. Я использую его для проверки индексации знакомых мне страниц.

Если нужно узнать, какие страницы сайта еще не проиндексированы (я уже писал об этом целый урок). Его принцип прост: он выгружает все URL-адреса сайтов, которые вы разрешили для индексации (этот элемент можно изменить в настройках), и проверяет каждую страницу на предмет индексации.Или он выгружает первые 1000 страниц из индекса с помощью простого вызова.

Самая популярная поисковая система (что это такое?)

Теперь, когда фраза «Google it» так прочно вошла в наш повседневный язык, мы склонны думать, что поиск в Google — это то же самое, что поиск в Интернете. Но Google — это всего лишь поисковая система, то есть инструмент, который отображает информацию в Интернете на основе вашего конкретного запроса. Другими словами, это каталог Интернета.

Google был запущен в качестве исследовательского проекта основателями Ларри Пейджем и Сергеем Брином в 1996 году, и, несмотря на попытки продать идею менее чем за миллион долларов в 1999 году, он стал самым популярным способом поиска в Интернете в мире, и одна из самых ценных компаний в мире.

Однако есть много других инструментов, которые вы можете использовать для поиска в Интернете, но насколько легитимны эти другие инструменты? Кто-нибудь вообще ими пользуется?

Оказывается, несмотря на доминирование Google на рынке, все еще существует значительная часть поискового трафика, которой он не владеет. В какой-то момент это может измениться, но, вероятно, не скоро. Но чтобы дать вам представление о том, как выглядит поисковая индустрия, мы составили список самых популярных поисковых систем в мире.

поисковых систем в 2019 г. по доле на мировом рынке

[Источник]

Что такое поисковая машина?

Мы используем поисковые системы в качестве основной точки доступа к Интернету, и это заставляет многих из нас думать, что поисковые системы — это Интернет. Но это не так.

Вместо этого они представляют собой проиндексированные каталоги контента, доступного в Интернете, что означает, что информация, отображаемая через поисковую систему, на самом деле представляет лишь часть того, что там есть, хотя Google делает довольно хорошую работу по обеспечению индексации как возможно много страниц.

Поисковые системы работают с использованием ботов и алгоритмов для сканирования контента в Интернете, чтобы определить его качество и соответствие популярным поисковым запросам. Этот процесс состоит из следующих трех компонентов:

• Пауки. Боты, которые сканируют Интернет и переходят по гиперссылкам для обнаружения нового контента.
• Индексы . Когда боты находят новый контент, они проверяют его на релевантность, используя такие вещи, как ключевые слова, а также смотрят на некоторые статистические данные о производительности страницы, чтобы определить, считается ли контент авторитетным для людей, использующих поисковую систему.На основании того, что они находят, они индексируют или каталогизируют его, чтобы инструмент поиска мог получить к нему доступ, когда это потребуется пользователю.
• Программное обеспечение интерфейса поиска. Это «домашняя страница» поисковой системы. Его задача — прочитать ваш запрос, найти наиболее релевантную информацию и отобразить ее так, чтобы в первую очередь отображались наиболее релевантные результаты, что в конечном итоге улучшает впечатление пользователя.

Важно понимать это определение, чтобы мы могли различать фактически поисковые системы (Google, Bing, Yahoo!) и сайты, которые выглядят как поисковые системы, но на самом деле не являются (YouTube).

Первая поисковая система

Для многих из нас первыми поисковыми системами, которые мы когда-либо использовали, были Yahoo !, Magellan, Excite и Northern Light, а для многих из нас Google — единственная поисковая система, которую мы когда-либо знали.

Однако примеры поисковых систем появились вместе с первыми версиями Интернета. Примеры включают «Кто есть» и «Информационная система Knowbot», но эти инструменты полагались на индексирование отдельных пользователей Интернета, а не на контент, что означает, что нужно было вручную загрузить контент со своего компьютера в каталог поиска, чтобы он появился в результатах поиска.

Однако изобретение всемирной паутины в 1993 году сделало возможным автоматическую загрузку контента, что открыло дверь для быстрого роста поисковых систем, имевшего место на протяжении 1990-х годов.

Многие из этих оригинальных инструментов со временем потеряли актуальность, но некоторые остались до наших дней. Теперь поиск в Интернете превратился в крупную отрасль; Одни только американские компании тратят около 70 миллиардов долларов в год на то, чтобы добиться того, чтобы их контент занимал первые места в результатах поиска в поисковых системах. Этот процесс известен как поисковая оптимизация.

Самые популярные поисковые системы

Первый из них будет очевиден, но некоторые из имен в остальной части этого списка самых популярных поисковых систем в мире могут вас удивить.

Google

То, что Google — самая популярная поисковая система в мире, никого не должно удивлять. Однако вы можете удивиться, узнав, насколько велик и могущественен Google в мире интернет-поиска. Например:

[1], [2], [3], [4]

Частично причина того, что Google смог захватить рынок такой мертвой хваткой, заключается в том, что это была одна из первых поисковых систем, которая начала продавать поисковые запросы.Основатели Ларри Пейдж и Сергей Брин осознали ценность подробного индекса Интернета, который может предложить компаниям на раннем этапе, и они начали продавать рекламу по ключевым словам в 2000 году. Часто это первые результаты, которые появляются в верхней части страницы результатов поиска. слово «Объявление».

Google в конечном итоге расширил эту область и теперь использует историю поиска и множество других данных, предоставленных пользователями, для показа целевой рекламы для своих многочисленных партнеров. Эта практика обеспечивает большую часть доходов компании; В 2018 году выручка от рекламы составила для Google около 116 миллиардов долларов.

Однако, несмотря на эти впечатляющие статистические данные о доминировании Google на рынке поиска, Google удалось расширить свое присутствие в нашей жизни, предлагая широкий спектр других продуктов, от которых мы зависим, наиболее известными из которых являются GMail, Google Docs и операционная система Android.

Эти линейки продуктов сами по себе являются лидерами отрасли и помогают показать, насколько важным стал Google в нашей жизни сегодня.

Bing

Главный конкурент Google — Bing, принадлежащий Microsoft.Однако, имея всего около 5% рынка поиска, Bing вряд ли представляет серьезную угрозу гегемонии Google. Это поисковая система по умолчанию на ПК с Windows (пока вы не войдете в систему и не измените ее на Google), но эта тактика помогает ей оставаться актуальной. Однако беглый взгляд на статистику показывает, что Bing сильно отстает в гонке.

В настоящее время Bing принимает около 1,3 миллиона уникальных посетителей в день и только около 10 миллиардов поисковых запросов в месяц. Чтобы поместить это в контекст, Google выполняет такое же количество ежемесячных поисков Bing всего за два или три дня.

Когда вы выполняете поиск в Bing, он выглядит почти так же, как Google, даже если иногда отображает другие результаты.

ПРОТИВ

При внимательном осмотре обнаруживаются еще несколько существенных различий, но на первый взгляд практически невозможно отличить их друг от друга. Это может быть частью причины, по которой Bing изо всех сил пытается претендовать на большую долю рынка; он фактически делает то же самое, что и Google, но мир настолько привык к Google, что, похоже, он не хочет меняться.

Bing действительно предлагает программу вознаграждений через Microsoft, которая позволяет вам зарабатывать баллы за покупки через поиск, которые можно обменять на скидки и подарочные карты, но даже это не смогло вывести людей из рук Google.

Yahoo!

В первые дни Yahoo! был основным конкурентом Google, но с годами все немного изменилось. В настоящее время ей принадлежит менее 4 процентов мирового рынка поиска, а Yahoo! Поиск теперь выполняется с помощью Bing, а это означает, что результаты поиска, которые вы получаете от одного, скорее всего, будут такими же, если не полностью похожими на результаты, полученные от другого.

Однако Yahoo предлагает другие услуги, такие как электронная почта и фэнтези-спорт, и поэтому остается актуальным веб-сайтом в современном мире. В настоящее время он занимает 9 место в рейтинге Alexa самых популярных веб-сайтов в мире.

Baidu

Поисковой системе Baidu удалось охватить менее 1 процента глобального объема поиска, но это популярный инструмент поиска в Китае, стране, где Интернет ограничен, а Google часто даже недоступен. Однако, несмотря на эти ограничения, Baidu по-прежнему остается четвертым по посещаемости сайтом в мире.Это напоминает нам об одной неопровержимой истине: китайский рынок огромен.

В результате это означает, что, хотя Baidu является небольшим игроком в мире глобального поиска, он является важным компонентом любой маркетинговой стратегии, связанной с поиском, нацеленной на китайский рынок.

Однако за пределами Китая Baidu значительно менее актуален. В настоящее время он отображает результаты только на китайском языке, и из-за этого трудно увидеть сценарий, в котором Baidu сможет занять долю рынка в других частях мира, особенно с учетом доминирования Google.

Яндекс.ру

Подобно Baidu в том, что он работает в основном в одной стране, Yandex.ru является одной из ведущих поисковых систем в Российской Федерации. В общей сложности на его долю приходится около половины поисковых запросов в России, что дает ему около 0,5% доли мирового рынка.

Однако, как и Baidu, трудно ожидать выхода Yandex.ru на другие рынки, хотя у него есть возможности захватить больший процент российского рынка поиска. Несмотря на эти ограничения роста, позиция Яндекс.ru (который получил свое название от «Еще один индекс») на российском рынке, что делает его чрезвычайно ценным поисковым инструментом.

Компания стала публичной в 2011 году и привлекла 1,3 миллиарда долларов, что, по данным Reuters, стало крупнейшим публичным размещением в области поисковых систем с 2004 года. Сегодня Яндекс приносит чуть менее 2 миллиардов долларов годового дохода за счет продажи рекламы так же, как Google делает это в других частях мира.

DuckDuckGo

С момента запуска в 2010 году DuckDuckGo значительно увеличила количество поисковых запросов, выполняемых на сайте.В 2019 году он уже обработал более 30 миллионов поисковых запросов, что вдвое больше, чем за весь 2018 год.

Отчасти причина того, что DuckDuckGo так быстро растет, заключается в том, что она делает упор на безопасность. Он не профилирует людей и не обслуживает результаты поиска на основе того, что они запрашивали в прошлом. Такой подход призван стать прямым оскорблением политики Google, которая, по мнению многих, нарушает личную жизнь и дает компании слишком много власти.

За этой поисковой системой будет интересно наблюдать в ближайшие годы.Его быстрый рост в недавнем прошлом отражает общий сдвиг в сторону конфиденциальности в Интернете, вызванный желанием людей иметь больший контроль над своими личными данными и тем, что компании знают о них. Только время покажет, позволит ли эта стратегия поисковой системе занять огромную долю рынка, которую в настоящее время занимает Google.

Достойных упоминаний

Есть несколько других поисковых систем, таких как Ask (первоначально AskJeeves) и AOL Search, но эти сайты имеют дело с такой небольшой частью глобального объема поиска, что на самом деле не стоит изучать их дальше.

Однако есть еще три веб-сайта, которые генерируют такой объем поискового трафика, что их стоит включить в этот список, а именно Facebook, Amazon и YouTube, который является частью Google

Эти три гиганта не вошли в исходный список, потому что их сайты не являются полноценными поисковыми системами, то есть они индексируют контент не со всей сети, а только со своего собственного сайта.

Более конкретно, нужно загрузить контент на свой сайт, прежде чем он появится в результатах поиска.Это отличается от поисковой системы, потому что для отображения в результатах поиска все, что нужно сделать, это загрузить контент в Интернет. Затем поисковая система найдет ваш контент и отобразит его, если он актуален, чего не делают YouTube, Facebook и Amazon.

Это означает, что информация, которую эти сайты отображают для пользователей, значительно более узкая по объему, но они обладают таким большим объемом информации и обрабатывают такой большой объем веб-трафика, что интересно отметить некоторые их статистические данные, связанные с поиском.

YouTube

Чтобы еще больше продемонстрировать степень доминирования Google, предположим, что второй по популярности поисковой системой в мире является YouTube, принадлежащий Alphabet, той же компании, которая владеет Google. Однако, несмотря на генерирование тонны поискового трафика, они совершенно разные: YouTube специализируется на отображении загруженного пользователями видеоконтента.

Согласно рейтингу Alexa, YouTube является вторым по популярности веб-сайтом в мире, уступая только Google.В настоящее время около 1,3 миллиарда человек ежемесячно используют YouTube, чтобы смотреть около 5 миллиардов видео в день. Точные цифры поиска установить сложно, но мы можем ожидать, что они будут близки к количеству просмотренных видео, что не так уж сильно отстает от поискового трафика YouTube и Google. Довольно невероятно, учитывая, что он отображает видео.

Из-за всей этой активности поисковый трафик YouTube чрезвычайно ценен. Он позволяет лучше понять предпочтения и интересы пользователей, что делает его отличным местом для демонстрации целевой рекламы, основного источника дохода компании.В общей сложности YouTube приносит своей материнской компании Alphabet более 13 миллиардов долларов дохода от рекламы в год.

Однако вопрос о том, действительно ли YouTube является поисковой системой, вызывает споры, поскольку некоторые утверждают, что это скорее платформа социальных сетей, чем поисковая система. Но сложно не заметить YouTube при составлении списка самых популярных поисковых систем.

Amazon

Хотя Amazon — это портал электронной коммерции, который позволяет вам покупать практически все, и в настоящее время он доставляется к вам домой всего за день, — это место номер один, куда люди идут, чтобы выполнить поиск продукта .Раньше Google занимал это место, но две компании поменялись местами в 2018 году, в результате чего Amazon занял первое место по поисковым запросам, связанным с покупками в Интернете. Тот факт, что кто-то смог обогнать Google во всем, говорит о влиянии Amazon на сегодняшний цифровой мир.

Facebook

Запущенный как веб-сайт, на котором люди могли общаться с друзьями и узнавать, чем они занимаются, Facebook теперь представляет собой нечто большее, и он становится все более актуальным как инструмент поиска. Фактически, в 2018 году он превзошел Bing по общему количеству ежедневных поисков.Однако, поскольку Bing и Facebook делают разные вещи, мы не можем сказать, что Facebook имеет большую долю глобального объема поиска по сравнению с Bing. Интересно видеть, как люди все больше и больше используют Facebook для поиска, и мы, безусловно, можем предположить, будут ли они использовать это в будущем для увеличения охвата Facebook и увеличения прибыли.

Заключение

Если посмотреть на мир поисковых систем, ясно одно: Google — король (а также королева, принц, принцесса, султан, премьер, премьер-министр, президент и все остальное между ними).Он потребляет так много рынка, что его конкурентам не остается другого выбора, кроме как убрать некоторые отходы. Веб-сайты, работающие в странах, где Google ограничен, преуспевают, но в странах, где работает Google, он доминирует.

Время покажет, продлится ли это долго (если мы что-то знаем о мире технологий, так это то, что всегда есть кто-то, кто хочет произвести фурор). Но лидерство Google настолько велико, что мы можем ожидать, что он станет ведущей поисковой системой на многие годы вперед, и теперь, когда мы видим, что Google расширяется во многие другие уголки технологического пространства, остается единственный вопрос: что будет что делать дальше?

Страница отладки находится в индексе Яндекс

Это не считается дублированным содержимым.К любому адресу страницы вы можете добавить столько параметров URL, сколько захотите, но страница будет такой же, и поисковые системы знают об этом.

В любом случае, когда включена отладка, плагин добавляет метатег noindex в заголовок, поэтому страницы не должны индексироваться.

Если вы считаете, что эти URL-адреса проиндексированы, я предлагаю вручную удалить их из индекса ИЛИ включить удаленную отладку, чтобы на страницах присутствовал тег noindex.

Когда яндекс просканирует эти страницы, он обнаружит тег noindex и удалит их из индекса.

Тег должен выглядеть примерно так:

Я проверю возможность создания этого тега всякий раз, когда присутствуют параметры URL отладки.

В любом случае, у вас есть канонических тегов на страницах, поэтому поисковые системы знают, какая страница является «исходной»:

https://moz.com/learn/seo/canonicalization

Спасибо за такой быстрый ответ. Но Яндекс — тупой поисковик, канонический тег не понимает. Как отключить режим отладки? Не могу найти эту кнопку. Я правда не включал. Это произошло после обновления плагинов и WordPress до последних версий.

Вы можете отключить удаленную отладку, но это предотвращает создание отладочной информации только при использовании параметров URL:
https: // adinserter.pro / документация / отладка

Кажется, яндекс где-то нашел эти адреса и проиндексировал их.
В любом случае, я не вижу здесь проблем — все страницы отображаются нормально даже с параметрами url.

Обратите внимание, что кто угодно может размещать ссылки на ваши страницы с некоторыми параметрами url. Следовательно, ни одна поисковая система не вызывает никаких проблем из-за этого.

Большое спасибо за ответ.

Как оптимизировать краулинговый бюджет для Google и Яндекс

Поисковые системы не обновляют свои базы данных мгновенно.Процесс индексации может занять недели или даже месяцы. Это определенно не пойдет на пользу SEO. Давайте посмотрим, что такое краулинговый бюджет и почему вам нужно его оптимизировать.

Что такое краулинговый бюджет

Бюджет сканирования — это количество страниц, которые робот поисковой системы просматривает на вашем сайте за один раз. Другими словами, он показывает, сколько новых и обновленных страниц вы можете предоставить поисковому роботу за одно посещение.

Это число может немного меняться, но достаточно стабильно.Важно понимать, что лимит различается от сайта к сайту. Старый и популярный сайт сканируется постоянно, а любой новый веб-ресурс сканируется только частично и с задержками.

Причина проста: ресурсы поисковых систем ограничены. Центров обработки данных никогда не будет достаточно, чтобы мгновенно отслеживать каждое изменение на миллиардах веб-сайтов по всему миру. Особенно, если речь идет о бесполезных и непопулярных веб-ресурсах. Когда бот сканирует некачественные страницы, краулинговый бюджет сокращается.Это отрицательно скажется на рейтинге вашего сайта.

Почему это вообще имеет значение: поисковый робот просматривает заданное количество страниц наугад. Вы не можете вручную заставить его сканировать определенные URL-адреса. Например, ваша страница «О нас» может получить больше посещений, чем новая категория продуктов с новейшими предложениями.

Можете ли вы повлиять на поисковые системы, чтобы увеличить краулинговый бюджет? Да, в некоторой степени. Ниже мы рассмотрели основные методы оптимизации краулингового бюджета.

Как работает веб-сканирование

Робот поисковой системы получает список URL-адресов на вашем веб-сайте для сканирования и время от времени сканирует их.Как создается этот список? Он сформирован на основе следующих элементов:

• Внутренние ссылки на вашем веб-сайте, включая инструменты навигации.
• Карта сайта в формате XML (sitemap.xml).
• Внешние ссылки.

Файл Robots.txt сообщает роботам поисковых систем, какие страницы вашего сайта сканировать. Роботы проверяют текстовый файл, чтобы узнать, можно ли просканировать конкретный URL. Если URL-адрес не указан в файле, он будет добавлен в список сканирования.Тем не менее, обратите внимание, что инструкции в файле robot.txt не являются обязательными для роботов, выполняющих веб-сканирование. Это всего лишь предложение и рекомендация. В некоторых случаях URL все равно будет проиндексирован. Например, если ссылки указывают на него или перенаправляют на эту страницу в индексе, или любые другие сигналы, которые заставляют паук поисковой системы думать, что URL-адрес необходимо сканировать. В результате страница все равно будет просканирована, и Google отправит вам предупреждение «Проиндексировано, но заблокировано файлом robots.txt».

Гэри Иллис объяснил процесс сканирования роботов Google.Google формирует список URL-адресов и сортирует их по приоритету. Сканирование выполняется сверху вниз по списку.

Как вы определяете приоритеты? — Прежде всего, Google учитывает PageRank страницы. Среди других факторов — карта сайта, ссылки и многое другое.

Как только поисковый робот просканирует URL-адрес и проанализирует его содержимое, он добавляет новые URL-адреса в список для их сканирования (немедленно или позже).

Не существует надежного способа составить список причин, по которым бот-поисковый робот будет сканировать URL-адрес и почему нет.Однако, если он решит сканировать страницу, он обязательно это сделает. В конце концов. Когда именно это произойдет, отчасти зависит от вас.

Как определить проблему обходного бюджета?

Когда робот поисковой системы находит много ссылок на вашем сайте и дает вам большой бюджет сканирования, у вас не будет никаких проблем. Однако что, если ваш сайт состоит из сотен тысяч страниц, но бюджет сканирования невелик? В этом случае вам придется месяцами ждать, пока поисковая система заметит какие-либо изменения на вашем сайте.

Вот что вы можете сделать, чтобы выяснить, есть ли у вас проблема с краулинг-бюджетом:

• Укажите, сколько страниц вашего веб-сайта следует проиндексировать (эти страницы не должны иметь метатег NOINDEX или быть перечислены в файле robots.txt).
• Сравните количество проиндексированных страниц с общим количеством страниц на вашем сайте с помощью инструментов Google и Яндекс для веб-мастеров.
• В зависимости от поисковой системы выберите инструмент «Статистика сканирования» или отчет «Статистика сканирования».Google работает методично и обычно сканирует страницу за страницей. При этом в Яндексе нет явной системы (см. Скриншот). Иногда он вообще не сканирует сайт или сканирует только некоторые страницы.

• Разделите количество страниц на среднее количество просканированных страниц в течение дня. Если результат в 10 раз превышает количество страниц, сканируемых веб-сканером в день, вам необходимо оптимизировать краулинговый бюджет. Если ваше число меньше 3, все в порядке.

Полезно сравнить количество страниц в поисковых индексах Google и Яндекс. Обходные пути для этих систем разные, но разница должна быть незначительной. Более того, различия в наборе данных этих панелей для веб-мастеров помогут вам получить больше информации и идей.

Как увеличить краулинговый бюджет

Этот абзац включает в себя множество моментов, которые следует учитывать. Поэтому мы начнем с самых простых до самых сложных.Тем не менее, все эти методы эффективны.

Общий принцип, который необходимо усвоить, заключается в том, что любая ранее проиндексированная страница, которую робот-робот не может просканировать несколько раз подряд, удаляется из поискового индекса. Это относится к страницам, которые недоступны по техническим причинам (например, из-за 500 ошибок), и страницам, индексирование которых заблокировано намеренно — например, с помощью тега NOINDEX.

Деиндексирование страниц Google занимает много времени. Длится месяц.В течение всего этого времени Google проводит периодические проверки, чтобы убедиться, что страница доступна. Яндекс быстрее деиндексирует «битую» страницу. Однако он будет продолжать индексировать и деиндексировать его неоднократно, пока вы не устраните проблемы.

Устранить проблемы

Существует только два типа действительных ответов сервера для правильно настроенного веб-сайта: 200 (ОК) и 301 (постоянное перенаправление). Обратите внимание, что первое должно значительно преобладать над вторым. Все остальные ответы требуют внимательного рассмотрения и исправления, и вот почему.

• Если вы по какой-то причине использовали временные 302 редиректы вместо постоянных 301, то бот поисковой системы будет вести себя соответствующим образом: поскольку контент временно недоступен, поисковая система не удалит его. Вместо этого он будет периодически перепроверять страницу. Таким образом, вы просто тратите свой краулинговый бюджет.
• Второй пример — использование ошибки 404 (не найдено) вместо ошибки 410 (ошибка пропавшего). Логика проста: если страницу удалить, система попытается деиндексировать и забыть об этом.В случае ошибки 404 сканеры сайта планируют перепроверить страницу позже.
• 500 ошибок — худшие. Это явный признак некачественного ресурса. Из-за этих ошибок снижается предел скорости сканирования. В результате роботы-роботы сканируют ваш сайт все реже и реже.

Если вы видите это в своих журналах или отчетах SiteAnalyzer, Screaming Frog SEO Spider или их аналогов, выясните причины и примите срочные меры.

Еще один важный источник информации об ошибках — это инструменты для веб-мастеров.Используйте их для отслеживания наиболее важных страниц, чтобы получать уведомления об ошибках и быстро их исправлять.

Избавьтесь от ненужных файлов и дублированного содержимого

Индекс поисковой системы не должен включать служебные страницы, страницы клиентов, дублирующие другие страницы, страницы фильтров, страницы сравнения продуктов, страницы с параметрами UTM и черновики страниц. Остановите индексирование этих страниц с помощью файла robots.txt.

Сайты электронной коммерции больше всего страдают от дублирования контента. Дублированный контент означает, что похожий контент доступен в нескольких местах (URL) в Интернете, и в результате поисковые системы не знают, какой URL показывать в результатах поиска.Иногда Google индексирует страницы продуктов и даже сеансы клиентов, включая продукты из корзины.

Главное правило — сохранять только одну версию каждого URL!

Иногда удалить дублирующийся контент просто невозможно. В таких ситуациях вы можете использовать канонические теги, которые сообщают поисковым роботам, какую страницу следует проиндексировать, а какие страницы следует игнорировать. В этом случае канонический тег действует как мягкое перенаправление 301.

Вот пример такого случая: карточка товара попадает в две разные товарные категории и отображается с разными URL-адресами.Похоже, у вас две одинаковые страницы с разными URL-адресами. Поисковые системы могут рассматривать одну из этих страниц как копию другой и индексировать только главную страницу. Однако затем они могут снова проиндексировать обе страницы. А затем удалите один из них из поискового индекса. Чтобы избежать этого и не тратить впустую краулинговый бюджет, используйте канонические теги, если система управления контентом сайта не предоставляет лучшего решения.

Другой возможный вариант — использовать метатег NOINDEX. Однако имейте в виду, что такие страницы в любом случае сканируются, только реже, чем обычно.Таким образом, краулинговый бюджет продолжает уменьшаться. Кстати, не забудьте добавить в тег NOINDEX атрибут Follow. Таким образом вы предотвратите накопление таких страниц PageRank.

Если вы хотите избавиться от дублированного контента раз и навсегда, вам придется принять более радикальные меры, чем использование метадиректив для поисковых роботов. Если возможно, подумайте об удалении повторяющегося содержимого.

Например: вы можете использовать варианты одного и того же товара, которые немного отличаются друг от друга (цвет, размер и другие параметры).

Свернуть перенаправления

Первое, что вам нужно сделать при проведении технического SEO-аудита сайта, — это проверить перенаправления с домашней страницы. Он может быть доступен через HTTP или HTTPS, а также иметь URL-адреса, отличные от WWW и WWW. Это дублированные версии одной и той же домашней страницы. Поисковая система может выбрать любое перенаправление в качестве основного. Вы потеряете контроль и потратите впустую свой краулинговый бюджет. Вот почему вы должны настроить 301 (постоянное) перенаправление на правильную версию.

Кроме того, вам нужно будет убедиться, что вы используете только одно перенаправление, которое используется между начальным URL и целевым URL.Неправильные настройки перенаправления могут привести к цепочке из двух или трех перенаправлений. Это плохо, и вот почему. Поисковый робот видит новые URL-адреса и добавляет их в свой список URL-адресов для сканирования. Тем не менее, это не означает, что он немедленно проверит эти URL-адреса. Чем длиннее цепочка перенаправлений, тем дольше будет процесс. В результате сканирование задерживается.

Вот типичный пример неправильного перенаправления HTTPS:

Уменьшение количества ссылок — еще одна проблема, связанная с чрезмерным количеством перенаправлений.Объем ссылок уменьшается с каждым перенаправлением, что снижает эффективность построения ссылок.

Домашняя страница — не единственное место, где вы должны проверять двойные перенаправления. Если при анализе просмотров страниц вы столкнулись с множеством проблем, не забудьте провести тест перенаправления.

Создание XML-файла Sitemap

Карта сайта должна включать полный список страниц веб-сайта, которые следует проиндексировать. Только важные вещи! Поисковые системы используют его как средство навигации и получают список URL-адресов для сканирования.Файл sitemal.xml может содержать информацию о дате создания, дате последнего изменения, приоритете важности, скорости сканирования и т. Д.

Не думайте, что поисковый робот всегда учитывает ваши инструкции. Вы можете только надеяться, что робот увидит ваш список URL-адресов для сканирования и в конечном итоге использует его. Все остальное обычно игнорируется, чтобы избежать манипуляций. Однако это не означает, что вы не должны использовать эти директивы. Делайте все, что в ваших силах, но не ожидайте, что это даст стопроцентный эффект.

Не каждая CMS позволяет создать карту сайта в соответствии с вашими планами. Он может включать много нежелательных элементов. Что еще хуже, некоторые CMS даже не позволяют создавать карты сайта. В таких случаях вы можете использовать сторонний плагин или вручную отправить карту сайта, созданную с помощью программного обеспечения или внешней службы.

Некоторые эксперты рекомендуют удалять все URL-адреса из карты сайта, как только страницы будут проиндексированы. Не делайте этого, поскольку это может повредить вашему краулинговому бюджету.

Проверьте карту сайта.xml время от времени. Файл не должен включать удаленные страницы, перенаправления и URL-адреса ошибок.

Создайте хорошую структуру веб-сайта

Это, наверное, самый сложный шаг для выполнения. Реструктуризация функционирующего веб-сайта будет непростой задачей. Создать правильную структуру сайта на стадии разработки намного проще.

Плоская структура сайта — это веб-сайт, на котором все страницы находятся на расстоянии четырех или менее кликов от домашней страницы. Глубокая иерархия сайтов состоит из пяти или более подуровней.

Общий принцип: глубокие и сложные структуры сайтов труднее обходить, чем плоские.Кроме того, они менее удобны для посетителей. Добавьте сюда неэффективную навигацию и отсутствие мобильной оптимизации, и у вас будет полный набор проблем с SEO.

Используйте передовой опыт плоской структуры сайта, чтобы сделать важные страницы доступными всего за несколько кликов. Плоская, горизонтальная конструкция предпочтительнее вертикальной.

Однако учтите, что плоская структура без категорий также не эффективна. Вам необходимо разработать структуру, которая сочетает в себе простоту и последовательность иерархии.Однако эта тема требует отдельного обсуждения.

Вам нужно будет использовать нетривиальные методы, выходящие за рамки технического SEO, для оптимизации структуры вашего сайта. Начать следует с визуализации существующей конструкции. В этом вам могут помочь многие инструменты аудита веб-сайтов. На этом этапе можно приступить к внесению небольших корректировок.

Если вы планируете внести глобальные изменения, начните с семантики и группировки запросов. Определите, что можно соединить, объединить или поднять на уровень выше.Возможно, вы сможете полностью удалить некоторые страницы.

Обратите внимание, , что Google и Яндекс ранжируют сайты по-разному. Ваш рейтинг в Google не повысится, если у вас будет куча спамерских страниц. В то же время Яндекс ставит более крупные сайты выше, даже если их содержание не на высшем уровне. Поэтому придется искать компромисс.

Использовать заголовок Last-Modified

Большинство разработчиков веб-сайтов и системных администраторов игнорируют этот важный технический параметр.К сожалению, даже некоторые специалисты по SEO не понимают важности последнего измененного заголовка ответа.

Заголовок Last-Modified используется для:

• снизить нагрузку на сервер;
• ускорить индексацию сайта;
• повысить скорость загрузки сайта.

Последний измененный заголовок ответа особенно важен, если ваш сайт большой и вы обновляете его ежедневно. Однако многие веб-мастера вообще не используют его.

Как работает заголовок Last-Modified

Поисковый робот или браузер обращается к определенному URL-адресу, запрашивая веб-страницу.Если он не изменился с момента последнего взаимодействия, сервер возвращает заголовок «304 Not Modified». В этом случае нет необходимости перезагружать уже проиндексированный контент. Однако, если были изменения, то сервер отправит ответ «200 OK», и новый контент будет загружен.

Помимо улучшения производительности, поисковая система обновляет дату содержания страницы. Это очень важно с точки зрения рейтинга, особенно для областей, связанных со здоровьем человека и финансами (YMYL).

Last-Modified позволяет поисковому роботу удалить из своего списка некоторые страницы, которые не были обновлены. Он сканирует обновленные страницы, которые были оптимизированы вами. Вы помогаете расставить приоритеты и сэкономить краулинговый бюджет.

Примечание. Используйте заголовок Last-Modified на страницах с наиболее статичным содержимым. Сквозной блок с обновленным содержимым — это не то, что обновленное содержимое, и сканеру это может не понравиться. Как минимум уменьшите количество таких блоков на целевых страницах. То, что хорошо работает на главной странице, не требуется на других целевых страницах.

Для проверки этого заголовка можно использовать средство проверки ответа заголовка HTTP или аналогичные инструменты.

Улучшите свой ссылочный профиль

Если есть проблемы с индексацией веб-сайта, вам следует проверить ссылочный профиль. Улучшение ссылочного профиля — самый медленный и самый сложный способ оптимизации краулингового бюджета, но он очень полезен.

Обратите внимание, что мы говорим не только о внешних ссылках. Внутренние ссылки также ускоряют индексацию. Когда сканер поисковой системы получает ссылку на часто просматриваемой странице, новая страница будет проиндексирована быстрее.

То же самое касается ссылочного капитала, который передается по внутренним ссылкам. Чем больше ссылок ведет на страницу, тем выше ее важность для бота. Распределите ссылочный вес с умом.

Страницы, ссылающиеся на самих себя, «Висячие узлы» и страницы-сироты

Эти ошибки напрямую связаны с внутренними ссылками и вызывают проблемы с индексированием и сканированием. К счастью, эти проблемы легко решить.

Самый простой пример ссылки на страницу — это цепочка навигации, которая указывает, где находится пользователь на сайте.Он не обязательно должен быть интерактивным — вы можете использовать его только для навигации по посетителям. Однако вы также можете просто избавиться от хлебных крошек — это не вызовет проблем с удобством использования.

«Висячий узел» — страница без исходящих ссылок. Он получает ссылочный вес, но не распределяет его. Это тупик для краулера поисковой системы, которому некуда деться со страницы. Обычно такие страницы не вызывают проблем, но их нужно проанализировать и по возможности внести коррективы.

Орфанные страницы представляют собой гораздо более серьезную проблему.Это страницы, которые не связаны ни с какими другими разделами сайта. К счастью, такие страницы очень редки в современных CMS. Например, страница не перечисляется в категориях, не является частью навигации сайта или, что еще хуже, сайт взломан, и злоумышленники разместили свой контент по внешним ссылкам.

Заставьте сканеры сканировать ваш сайт

Вы можете вручную влиять на процессы сканирования. Есть несколько способов сделать это.

Переиндексируйте страницы в панелях для веб-мастеров.И Google, и Яндекс позволяют вручную заставлять сканеры сканировать измененные или новые URL-адреса. Самый большой недостаток процесса — долгое время выполнения (до 10 минут) в Google и ограничение в 20 URL в Яндекс.

Делайте репосты в социальных сетях. Да, все еще работает. Выберите социальную сеть, которую отслеживают и сканируют сканеры, и оставьте там свою ссылку. Не стесняйтесь пользоваться своим Твиттером или ВКонтакте.

Проверка журналов

Проверка журналов сервера позволяет узнать все о расписании веб-сканеров.Однако в некоторых случаях вы не сможете получить к ним доступ. Если у вас возникла такая проблема, вам лучше сменить хостинг.

Если у вас нет навыков администратора сервера, журнал вас наверняка напугает. Данных слишком много, и большая их часть бесполезна. Если ваш сайт небольшой, вы сможете работать с логами даже в Notepad ++. Однако попытка открыть журнал большого интернет-магазина может привести к сбою вашего компьютера. В этом случае вам следует использовать профессиональное программное обеспечение для сортировки и фильтрации данных.

Для анализа данных можно использовать настольное программное обеспечение, такое как GamutLogViewer или Screaming Frog Log File Analyzer. Существуют также онлайн-сервисы, такие как splunk.com. Имейте в виду, что онлайн-сервисы дороги и рассчитаны на большие объемы данных.

Есть проблема: не каждый GoogleBot, который вы найдете в журналах, на самом деле является GoogleBot. Вот почему вам следует проверить IP-адрес бота и использовать WHOIS для фильтрации фейков.

Ваша цель — обработать данные за достаточно большой период (оптимально месяц) и найти закономерности.Вы должны проверить следующие факторы:

• Как часто сканер посещает ваш сайт?
• Какие URL-адреса наиболее посещаются поисковыми роботами?
• Какие URL-адреса игнорируются поисковыми роботами?
• Встречались ли ошибки на сайте?
• Сканирует ли файл Sitemap?
• Какие категории требуют больше всего ресурсов?

Получив эти данные, вы узнаете, нравятся ли сканерам поисковых систем ваши целевые страницы и почему.