Как проверить сколько страниц в индексе яндекса: Как проверить индексацию сайта в Google и Яндекс: полное руководство

Содержание

Как посмотреть сколько страниц сайта в индексе Яндекса: где узнать количество

Индексация сайта — задача поисковых роботов, заключающаяся в поиске, обработке и добавлении в базу документов. После сканирования содержимое страниц принимает участие в поиске и ранжируется по определенным ключевым запросам.

Интернет можно сравнить с огромной библиотекой. В каждой библиотеке есть каталог, основная задача которого — обеспечить удобство поиска информации. В середине 90-х годов XX века весь процесс индексации сводился к подобной каталогизации. Поисковые роботы сканировали сайты и структурировали информацию по ключевым словам в общую базу данных (БД).

Сейчас принцип индексации изменился — боты находят и анализируют информацию по определенным показателям (уникальность, читабельность, полезность и так далее.) и только потом материалы попадают в базу и показываются пользователям.

Алгоритмы Гугл и Яндекс постоянно меняются и становятся все совершеннее. БД переполнены информацией, среди которой роботы определяют самые качественные материалы и присваивают высокие позиции.

Особенности индексации в ПС Яндекс и Google

Google и Яндекс — самые популярные поисковые системы у пользователей Рунета. Чтобы ресурс принимал участие в поиске, расскажите о нем ботам. «Пригласить» их на сайт можно следующими способами:

  • Добавить сайт в «Яндекс.Вебмастер» и Google Webmasters. После чего робот обязательно посетит ресурс и вскоре его страницы проиндексируются.
  • Проставить внешние ссылки на сайт с других ресурсов — страницы, которые были найдены таким способом, считаются полезными. Робот переходит по ним, передает вашему сайту определенный вес, одновременно индексируя его страницы.

В среднем на сканирование новых сайтов уходит от одной до двух недель. Но вебмастера отмечают, что индексация в Google быстрее. Все потому, что роботы сканируют все страницы: и качественные, и не очень. Но в поиск попадают только полезные материалы.

Пауки Яндекса работают в этом плане медленнее, но недостаточно качественные страницы не участвуют в поиске, так как их анализ происходит прямо на этапе индексирования.

Как индексируется сайт:

  • поисковый бот заходит и анализирует контент;
  • содержимое добавляется в БД;
  • через некоторое время (до 2-х недель) проиндексированный документ участвует в поиске.

Анализ индексации своего сайта

Мониторить индексацию сайта — одна из ключевых SEO-работ. Существует несколько простых способов: «Яндекс.Вебмастер» и Google Webmasters.

Это самый простой способ убедиться прошла ли индексация страниц.

Яндекс.Вебмастер

  1. Добавьте сайт в сервис (привязка к почте).
  2. Откройте «Индексирование сайта» — «Страницы в поиске».

Так можно проверить насколько быстро новые страницы попадают в выдачу Яндекса.

Google

  1. Добавьте проект в сервис для вебмастеров Google.
  2. Перейдите во вкладку «Индекс» — «Покрытие». 

Как проверить вручную

Для этой цели нужно воспользоваться оператором ПС «site». Чтобы проверить индексацию, вбейте в строку Гугл или Яндекс следующее: «site:URL сайта».

Внимание! Если количество страниц проиндексированных в Гугл и Яндекс сильно отличаются, значит у сайта какие-то проблемы: неправильное содержимое файла robots.txt, проблемы со структурой или еще хуже — наложение санкций.

Для более детальной информации по индексации сайта, можно прибегнуть к специальным инструментам. С их помощью вы узнаете, сколько страниц было проиндексировано за определенный промежуток времени. Например, в Гугле выберите «Инструменты» и задайте интересующий период:

С помощью плагинов и расширений

Собрать информацию о проиндексированных документах можно и автоматически. Эту задачу решают специальные плагины и расширения для браузеров. Они сэкономят вам время.

Самое популярное расширение — RDS bar, его можно установить на любой популярный браузер.

Но в «Мозиле» будет больше возможностей.

Еще один удобный вариант — букмарклет «Проверка индексации». Активируйте программу, перетянув ссылку на панель браузера, после чего откройте сайт и кликните на значок расширения. Откроется новая вкладка с Гугл или Яндекс, где будет информация об индексации.

Специальные сервисы

Наличие удобного функционала позволяет наглядно увидеть какие страницы принимают участие в поисковой выдаче, а каких нет.

Одним из популярнейших сервисов — «Серпхант». Бесплатный лимит — 50 страниц в сутки. Проверка индекса Google и Яндекс. 

Еще один бесплатный онлайн-сервис — pr-cy.ru. Просто указываете URL своего сайта и нажимаете «Анализировать». 

Среди платных сервисов — Topvisor. Цена проверки 1 страницы — 0,024 рубля. Загружаете в сервис страницы и запускаете проверку. 

Как ускорить индексацию

От скорости индексации зависит то, насколько быстро на страницах появится трафик. Это особенно важно для новостных ресурсов, которые должны индексироваться моментально, чтобы получить переходы из ПС. Иначе теряется актуальность их материалов.

Существует несколько простых способов заставить роботов чаще посещать ваш сайт:

  1. Добавьте ресурс в сервисы инструментов для вебмастеров Гугл и Яндекс.
  2. Регулярно добавляйте новые материалы на сайт (чем чаще, тем лучше).
  3. Проработайте удобную навигацию (в идеале, чтобы страницы имели вложенность не больше, чем три клика от главной).
  4. Выберите хороший хостинг, который не будет давать сбоев в работе сайта.
  5. Закрыть от индексации ненужные страницы в robots.txt.
  6. Перелинковать страницы между собой (удобно и для пользователей, и для ботов).
  7. Нарастить ссылки из соцсетей.
  8. Создать карту сайта в двух вариантах — .xml и .html.

Почему сайт не индексируется

Хорошо, если все страницы сайта проиндексированы и их примерно одинаковое количество в индексе ПС. Но порой бывает не все так гладко.

Основные причины, мешающие нормальной индексации:

  • Новый ресурс. На индексацию новых сайтов у поисковых роботов может потребоваться больше времени.
  • Неправильная настройка файла robots.txt. В этом файле указываются команды боту, какие страницы и файлы индексировать, а какие нельзя. Если вы допустите ошибку, то рискуете навредить индексации.
  • Нет карты сайта sitemap.xml. Карта сайта для ПС, которая сигнализирует о появлении новых страниц.
  • Сайт закрыт от индексации. Запрещено посещение сайта роботом через админку (например, на движке WordPress есть такая возможность) или через тот же файл robots.txt. Еще одна типичная ошибка — от индексации закрыто содержимое страниц с помощью тега «noindex».
  • Плохое качество страниц. Если контент не уникальный и не несет никакой пользы для посетителей, поисковые роботы могут принять решение не показывать его в поиске.

Выводы

Индексация сайта — необходимое условие для роста трафика и развития веб-проекта. Алгоритмы поисковых систем Гугл и Яндекс постоянно меняются. Обеспечьте стабильный и беспрепятственный доступ роботов к тем страницам сайта, которые должны участвовать в поиске. Регулярно добавляйте уникальные и полезные материалы, наращивайте ссылочную массу с посторонних ресурсов и с индексацией никогда не будет проблем.

А как обстоят дела с индексацией страниц ваших сайтов? Поделитесь опытом в комментариях.

Проверь своих доноров / Статьи / CS Sape Master

Очень важная (по крайней мере, для тех, кто занимается продвижением веб-сайтов в сети) функциональная возможность. При помощи CS Sape Master можно проверять купленные ссылки по 39-ти показателям:

Таким образом, располагая подобным инструментом, можно «устроить» массовую модерацию ссылок по одному и нескольким проектам. Ну и, кроме того, CS Sape Master, благодаря таким возможностям, позволяет оптимизатору проводить множество экспериментов со ссылочной массой.

Для проверки показателей доноров по уже размещенным ссылкам необходимо перейти в раздел «Оптимизатору / Ссылки», выбрать слева в древовидном списке интересующие проекты, нажать кнопку . Затем отметить интересующие ссылки и нажать на нижней панели инструментов кнопку :

В появившемся диалоговом окне «Параметры проверки данных» необходимо отметить галками интересующие вас показатели и нажать кнопку «ОК»:

Рассмотрим подробнее, как проверяется тот или иной показатель и как это можно применить на практике.

Индексация доноров в Яндексе (YAP). Очень важный показатель. По последним статистическим данным нашей компании, около 10-50% купленных ссылок находятся на страницах, отсутствующих в индексе Яндекса. Соответственно, по умолчанию от 10 до 50% бюджета на продвижение сайта расходуется впустую.

Индексация ссылок в Яндексе (YAL). Очень неоднозначный показатель. Связано это с тем, что корректно проверить индексацию ссылки на сегодняшний день довольно сложно. Поиск текста ссылки на странице не всегда адекватен, равно как и анализ того, что находится в кэше Яндекса. Так, например, страница, отсутствующая в индексе Яндекса, иногда показывается в кэше Яндекса (если сформировать URL запроса вручную). В CS Sape Master проверка индексации ссылки осуществляется через поиск текста ссылки на заданной странице-доноре (аналог YAL в SAPE).

Страниц в индексе Яндекса (у донора). У хороших, контентных сайтов данный показатель врядли будет ниже 1000-1500. У сайтов, предназначенных не для людей и созданных специально под SAPE, число страниц в индексе Яндекса редко превышает 500—700 страниц.

Наличие в Яндекс.Вебмастер. Программа соединяется с сервисом Яндекс.Вебмастер и проверяет, что ссылка есть в списке обратных ссылок по данным этого сервиса. Для использования, необходимо указывать логин и пароль от аккаунта Яндекс.Вебмастер в настройках программы.

Индексация доноров в Google. Проверка индексации страницы, на которой размещается ссылка в поисковой системе Google. Данный параметр не важен при продвижении под Яндекс.

Индексация ссылок в Google. Неточный параметр, проверяется косвенным методом — проверяется индексация анкора на указанной странице.

Уникальность. Определяется уникальность текста страницы путём проверки в Яндексе. В результате показывается процентное содержание уникальных пассажей в тексте страницы.

тИЦ Яндекса. Актуализация значений тИЦ сайтов, на которых куплены ваши ссылки. Обычно полученные значения совпадают со значениями, полученными с SAPE. Однако, во время и после апдейтов тИЦ значения могут отличаться.

Склейка тИЦ. Недобросоветсные вебмастера могут использовать склейку сайтов через зеркала, в этом случае параметры основного зеркала передаются второстепенному. Данный параметр помогает определить склейку сайтов и показывает главное зеркало.

Google PR (страницы). В последние годы показатель PR стал более адекватно давать представление о качестве сайта (сайтам, активно продающим ссылки в больших количествах, часто стали обнулять Google PR). Рекомендуется периодически проверять значения Google PR для купленной ссылочной массы.

Google PR главной («морды»). Качественные сайты, как правило, имеют довольно большие значения Google PR главных страниц. Если PR главной страницы донора нулевой, то стоит подробнее изучить данный сайт.

Склейка PR. Недобросоветсные вебмастера могут использовать склейку сайтов через зеркала, в этом случае параметры основного зеркала передаются второстепенному. Данный параметр помогает определить склейку сайтов и показывает главное зеркало.

Уровень вложенности (УВ). Очень часто, покупая ссылку со страницы второго уровня вложенности, мы получаем через некоторое время ссылку с третьего, а то и более высокого уровня вложенности. Связано это с тем, что на динамических сайтах, коих сейчас большинство, контентные страницы со временем «уходят» в архив. Теоретически, чем меньше уровень вложенности страницы-донора, тем весомей купленная на этой странице ссылка (при прочих равных).

Количество внешних ссылок. По количеству внешних ссылок также существует возможность «обмана» оптимизатора вебмастером. Как известно, боты SAPE ходят с одних и тех же IP-адресов. Ничего не мешает «нечистым на руку» вебмастерам обманывать ботов SAPE, «показывая» заниженное число внешних ссылок. Теперь, благодаря CS Sape Master, можно легко сравнить заявленное и реальное количество ВС. Однако, следует помнить, что не всегда отличие в количестве внешних ссылок говорит о «нечистоплотности» вебмастера. В SAPE очень часто встречаются сайты / страницы с динамическим содержимым, на которых число внешних ссылок может меняться само по себе.

Количество внутренних ссылок. Большое количество внутренних ссылок скорее всего приводит к снижению ссылочного веса, который передаётся внешним ссылкам на доноре. Некоторые оптимизаторы рекомендуют не размещать ссылки на донорах, где имеется большое количество внутренних ссылок.

Тематика донора. Рубрика Яндекс.Каталога (если сайт опубликован в нем) или просто тематика по версии Яндекса. Рекомендуется покупать ссылки с сайтов той же или близкой тематики что и сайт-акцептор.

Точная тематика. Программа пытается определить тематику сайта, лучше всего работает для достаточно авторитетных ресурсов. Формулировки тематик берутся из Яндекс.Каталога.

DMOZ. Рубрика Открытого каталога, к которой отнесён сайт.

Alexa Rank. Ранг сайта по версии alexa.com.

Регион по Яндексу. Принадлежность сайта к тому или иному региону. В свете новых алгоритмов ранжирования в Яндексе параметр является очень актуальным. Считается, что ссылки с сайтов того же региона что и сайт-акцептор более эффективны при поисковом продвижении.

Текст ссылки. При помощи данного показателя можно проверять наличие и корректность установки ссылок на страницах-донорах.

Стоп-слова. Проверка наличия в тексте донора нежелательного текста. Список стоп-слов можно указать в настройках программы. Имеется возможность проверять стоп-слова в различных словоформах.

Шаблоны. Специфический параметр для поиска текстовых шаблонов в HTML-коде страниц. Шаблоны задаются в настройках программы в виде регулярных выражений.

Тайтл. Определяет и выводит текст заголовка страницы (текст в теге <title>).

Возраст, дней. Проверка возраста доменов. Проверка проводится через сервис SEOBudget бесплатно. Определяется возраст только для RU доменов. Для проведения проверки нужно зарегистрироваться на сервисе SEOBudget и указать данные от аккаунта в настройках программы.

Solomono BL. Количество обратных ссылок на донора по данным Solomono. Если на донор не ссылается ни одного сайта (значение параметра равно нулю), то скорее всего эффект от размещения ссылки на таком доноре минимален.

Страниц в индексе Solomono. Количество страниц, проиндексированных сервисом Solomono.ru.

Входящих к исходящим. Программа рассчитывает соотношение количества входящих ссылок к исходящим по всему сайту по данным сервиса Solomono. То есть определяется число беклинков исследуемого сайта и число всех внешних ссылок на нём, рассчитывается их отношение. Не рекомендуется покупать ссылки на тех сайтах, соотношение которых менее 1.

Исходящих на страницу. Данный параметр показывает усреднённое количество внешних ссылок на каждую страницу сайта.

Объем текста. Страницы-доноры с минимальным объемом контент чаще других «выпадают» из индекса Яндекса (т. к. несут никакой ценности для пользователя). Рекомендуется выбрать для себя оптимальный объем страницы-донора и ориентироваться на него.

Расстояние. Среднегеометрическое расстояние между ссылками, выраженное в количестве символов. Этот параметр позволяет выявлять «блочное» расположение ссылок на доноре. Чем меньше значение параметра, тем «кучнее» расположены внешние ссылки на странице.

Позиция на странице. Показывает в какой части страницы размещена ссылка. Параметр рассчитывается в процентах от всего конетента страницы. 90-100% означает, что ссылка расположена в «подвале» страниц и размещение даной ссылки скорее всего не принесёт эффекта.

Модули. Определение популярных модулей и скриптов, которые использовал вебмастер при создании донора. В частности, не рекомендуется размещать ссылки на сайтах с форумными и блоговыми движками.

XT rank. Траст страницы-донора, данные получаются с сервиса http://xtool.ru/

XTD rank. Траст сайта-донора, данные получаются с сервиса http://xtool.ru/

SeoMoz PA. Расшифровывается как SeoMoz Page Authority, альтернативная интерпретация траста страницы, подробное описание тут

SeoMoz DA. Расшифровывается как SeoMoz Domain Authority, альтернативная интерпретация траста сайта, подробное описание тут

Посещаемость. Определяется посещаемость из открытого счётчика LiveInternet, если он установлен.

IP донора. Позволяет вычислить сетки сайтов и сайты, располженные на одном IP адресе. Некоторые оптимизаторы не советуют размещать ссылки на сайтах, расположенных на одном IP адресе.

Быстрая проверка индексации страниц / сайтов в Яндексе,  возможность работы через прокси-серверы (http),  проверка показателей доноров

Николай И. Яровой, 23.10.2009

← К списку статей

Инструкция по работе с Яндекс.Вебмастер для владельцев сайтов

Яндекс.Вебмастер – инструмент, который является своеобразным посредником между поисковой системой и вашим сайтом. Сервис был запущен в 2007 году и за 8 лет существования стал незаменимым помощником для многих веб-мастеров.

Для чего необходим Яндекс.Вебмастер?

С помощью данного сервиса вы сможете дать сигнал поисковой системе, о том, что появился новый сайт, на который ей необходимо обратить свое внимание.

Как всегда, все начинается с регистрации почтового ящика на Яндексе (если у вас его еще нет). Он будет служить вашим логином для Вебмастера.

После этого задача становится сложнее. Необходимо предоставить доказательства, что сайт действительно ваш. Для этого нужно разместить мета-тег, предложенный сервисом, на главной странице сайта. Однако подробнее на этом моменте мы остановимся позднее, а сейчас продолжим знакомство с остальными функциями.

Для чего необходимо добавлять сайт в Яндекс.Вебмастер?

Первым по счету идет раздел «Общая информация». С помощью него вы сможете узнать о количестве внешних ссылок и страниц в поиске, а также узнать когда в последний раз заходил поисковый робот и сколько ему удалось загрузить страниц. Ну и, естественно, просмотреть данные о тематическом индексе цитирования (ТИЦ).

Так выглядит общая информация о сайте на Яндекс.Вебмастер.

Раздел «Проверить URL»

Здесь вы сможете проверить наличие определенной страницы веб-ресурса в поисковой системе. Для этого просто введите ее адрес и кликните на кнопку «Проверить URL».

Так происходит проверка индексации страницы в Яндекс.Вебмастер.

Несмотря на кажущуюся простоту, данный раздел имеет неочевидные функции, о которых мы поговорим в следующих статьях.

Подраздел «Индексирование сайта»

Очень важно, чтобы все страницы ресурса были правильно проиндексированы и корректно отображались в поисковой выдаче.

Для того, чтобы поисковый робот загрузил страницы сайта нужно, чтобы он на них как-то попал. Чаще всего это происходит после перехода с другой внутренней страницы ресурса. Поэтому стоит уделить огромное внимание грамотной перелинковке статей, а также создать карту сайта (как для роботов так и для пользователей). Посмотреть, как Яндекс видит навигацию вашего сайта можно в разделе «Структура сайта».

Пункт «Структура сайта» в сервисе Яндекс.Вебмастер.

Кроме того, стоит обратить внимание на конкретные страницы отображающиеся в поисковой выдаче.

Подраздел «История»

Сервис способен отражать историю обращений робота к страницам сайта. Открыв вкладку «Количество запросов» вы увидите график доступности сайта.

На вкладке «HTTP коды» вы получите более подробную информацию о том, какой ответ возвращал сервер поисковому роботу. Наиболее распространенные из них:

  • 1Зеленый график (ОК) – все работает корректно.
  • 2Синий график (3ХХ) – означает, что страница перенаправляет на другой URL.
  • 3Красный график (4ХХ) – ошибка доступа клиентского запроса.

В интерфейсе Яндекс.Вебмастера это выглядит следующим образом:

График ответа сервера в Яндекс.Вебмастер.

Раздел «Настройка индексирования»

Чтобы исключить из индекса мусорные страницы (например, страницы постраничной навигации, теги и др.) нужно установить запрет на их индексацию в специальном файле – robots.txt.

Правильно составленный robots.txt – еще один немаловажный шаг, который позволит поисковому роботу корректно проиндексировать ваш сайт. Описание тонкостей работы с robots.txt займет не одну страницу, поэтому более подробно о нем мы расскажем в следующих статьях.

Подраздел «Главное зеркало»

Для того, чтобы не потерять ваш ресурс после склеивания доменов, необходимо определиться с главным зеркалом сайта.

  • Для начала нужно выбрать главный домен (стоит помнить, что он может начинаться с префикса WWW). Если этого не сделать, то сервис определит основной домен автоматически. При таком раскладе все ссылки, установленные не на основное зеркало потеряют вес.  
  • Если у вас есть 2 сайта с одинаковым контентом, которые расположены на разных доменах, то риск применения санкций от Яндекса очень велик. Указание главного зеркала поможет избежать бана в поисковой системе. 

Раздел «Поисковые запросы»

Яндекс.Вебмастер предоставляет возможность просматривать запросы, по которым сайт чаще всего показывался в поисково выдаче Яндекса. Сделать это можно в разделе «Поисковые запросы». Открыв раздел, вы увидите таблицу с запросами, разбитую на 4 колонки. Ее можно отсортировать по показам или кликам. Большим плюсом является возможность сохранения таблицы в файл Excel.

Раздел «География сайта»

Ваш сайт имеет региональную направленность? Тогда данная функция окажется весьма полезной. Раздел «География сайта» может помочь подняться в выдаче определенного региона, так как Яндекс использует особенные методы ранжирования для ресурсов имеющих географическую привязку.

Функция «Оригинальные тексты»

Яндекс.Вебмастер имеет очень полезную функцию, которая позволит защитить контент, размещаемый на страницах вашего сайта.


Функция «Оригинальные тексты»

Загрузив свой текст в специальную форму, вы дадите сигнал Яндексу об истинном авторстве контента. Это обезопасит вас от случаев, когда кто-то нагло ворует ваши труды, до появления их в индексе поисковой системы.

Раздел «Сайт в результатах поиска»

В этом разделе находится пункт «Быстрые ссылки». Они представляют из себя набор популярных ссылок, которые наиболее интересны посетителям.

Быстрые ссылки в поисковой выдаче.

К сожалению, система определяет их автоматически. Указать вручную их невозможно. Однако есть некоторые рекомендации, позволяющие помочь поисковому роботу корректно определить быстрые ссылки для вашего сайта. Опять-таки, их выполнение не дает никаких гарантий, что Яндекс будет их учитывать.

Подраздел «Регистр имени сайта» может пригодится в том случае, если вы захотите подкорректировать название сайта изменив прописные буквы на строчные (или наоборот). Это никак не отразится на позициях в поисковой системе.

Раздел «Безопасность»

На данной странице вы увидите вредоносный код, который Яндекс может обнаружить на сайте. Стоит отметить, что страницы сканируются выборочно и это не гарантирует полной безопасности.

Раздел «Права на управление»

При необходимости передачи прав на управление другому пользователю, вы можете зайти в раздел «права на управление». На странице, вам понадобится указать логин пользователя на Яндексе и кликнуть на кнопку «Делегировать права». Выглядит это следующим образом:

Форма добавления юзера для управления сайтом.

Данная функция пригодится вам, при заказе продвижения сайтов у нашей веб-студии. Это позволит нашим специалистам учесть все нюансы вашего проекта и помочь ему занять высокие места в поисковых системах.


Назад

Способы ускорения индексации сайта в Яндексе и Гугле

В общем случае ситуация обстоит следующим образом: чем чаще обновляется информация на сайте, тем чаще её посещают поисковые роботы. Таким образом, если вы хотите, чтобы страницы быстрее попадали в индекс поисковых систем, нужно как можно чаще обновлять информацию.

Но все мы понимаем, что сайты бывают разные, и для многих из них просто нет особой нужды в регулярных обновлениях. Поэтому, когда у подобного сайта настаёт необходимость «загнать» в индекс новую страницу, могут возникнуть проблемы.

Проблемы с индексацией сайта

Проблемы с индексацией сайта:


  1. Страницы вообще не индексируются поисковыми системами.
  2. Страницы слишком долго индексируются Яндексом и Гуглом.
  3. Страницы слишком долго индексируются какой-то одной поисковой системой (а в другой всё в порядке).

Итак, если ваш сайт совсем не индексируется, то первое, что нужно проверить — записи в файле robots.txt. Не исключено, что в директивах этого файла установлен запрет на обход вашего сайта (всего сайта, раздела, группы разделов) поисковыми роботами. Просмотрите также на предмет индексации настройки хостинга, мета-теги robots и настройки системы управления сайтом (в некоторых CMS можно выставлять запрет/разрешение индексации).

Если страницы слишком долго индексируются Яндексом и Гуглом, но никакого запрета к индексации нет, причины этого могут крыться в самом широком диапазоне — от плохой внутренней оптимизации до некачественных с точки зрения поисковых систем материалов на сайте.

Если страницы быстро «залетают» в индекс Яндекса, а в Гугл ни в какую (или наоборот), то не исключено, что ваш сайт находится под фильтром одной из поисковых систем. В таком случае следует тщательно проанализировать сайт, в том числе используя инструменты для вебмастеров. Стоит отдавать себе отчёт, что не все санкции будут видны в консолях. И даже если вы переписывались с Яндексом, и поддержка сообщила, что с сайтом всё в порядке — относитесь к их речам скептически и слепо не верьте всему, что они пишут.

Способы ускорения индексации сайта

  1. Добавьте сайт в вебмастер Яндекса и консоль Гугла. Во-первых, внутри этих вебмастерских есть отличные инструменты, с помощью которых вы можете отследить проблемы с индексацией документов. Во-вторых, вы можете отправить на переиндексацию в ручном режиме нужные страницы (в Яндексе «переобход страниц», в Гугле «запросить индексирование»).
  2. Создайте карту сайта sitemap.xml. Карта сайта необходима для того, чтобы роботы быстрее ориентировались в структуре ресурса. Карта должна быть динамической, чтобы каждый раз вручную не добавлять в неё адреса новых страниц. После того, как вы создадите карту, добавьте её в вебмастер Яндекса и консоль Гугла.
  3. Прогоните сайт по каталогам. Смысл такой: чем больше ссылок стоит на документ, тем выше вероятность того, что поисковые роботы быстрее до него доберутся. Не стоит забывать и про положительный побочный эффект прогона сайта по каталогам и RSS-лентам (прирост ссылочной массы со всеми вытекающими последствиями). Минус этого способа — потребуется потратить небольшие деньги.
  4. Поставьте ссылку с регулярно обновляемого сайта. Если у вас есть собственный блог, который вы регулярно обновляете, просто поставьте с него ссылку на сайт. Самый верный вариант, который точно ускорит индексацию — простановка ссылки с новостного ресурса. Сделать это можно несколькими способами: купить ссылку с новостника на ссылочной бирже, договориться с владельцем такого ресурса напрямую, ворваться в студию новостного канала и под угрозой самоподрыва потребовать проставить на их сайте ссылку. Вариантов масса.
  5. Используйте соцсети. Разместите посты со ссылками на необходимые страницы в различных соцсетях — вконтакте, фейсбуке и т. п. Раньше для быстрой индексации отлично помогало размещение ссылок в твиттере, сейчас, в 2020-м году этот метод можно едва ли назвать рабочим.
  6. Полить трафиком. С учётом того, что поисковые системы, особенно Яндекс, последнее время всё больше учитывают в своих алгоритмах поведенческие факторы, сам бог велел использовать этот метод. Сделайте так, чтобы на страницы вашего сайта пошло как можно больше посетителей (да хоть бы и ботов). Есть немало сервисов, которые буквально за копейки обеспечат вам трафик в необходимом количестве.
  7. Используйте онлайн-сервисы для ускорения индексации. Принцип их работы схож с пунктами 3-5. Разумеется, сервисы платные, но иногда проще воспользоваться ими, если у вас нет времени или все остальные способы не помогли. Стоимость услуг невысока, самыми популярными сервисами являются bulkaddurl. com и indexgator.com.

Ускорение индексации ссылок

Допустим, вы купили на свой сайт множество ссылок на разных площадках. Пока роботы обойдут все доноры, пока проиндексируют, пока поисковые системы начнут учитывать ссылки… может пройти не один месяц. Нужно роботов подтолкнуть и направить в нужную сторону.

Есть достаточно эффективный, простой и бесплатный способ ускорить индексацию ссылок. Для этого вам всего лишь нужно иметь свой сайт, например, блог, который регулярно обновляется и хорошо индексируется поисковыми системами. Механизм следующий:


  1. Собираете адреса всех площадок-доноров, где вы разместили ссылки на свой сайт.
  2. Пишете любой пост в своём блоге и вставляете прямо списком все эти адреса в запись.
  3. Принудительно отправляете на переобход в консоли Гугла (и вебмастере Яндекса) урл написанного поста.
  4. В Гугле страница сразу же после переиндексации попадает в индекс.
  5. После того, как страница попала в индекс, можете отредактировать пост и убрать список адресов из записи.
  6. Робот уже пробежал по всем размещённым ссылкам и посетил страницы доноров.
  7. Вы молодец. Да и робот тоже красавчик.

Это отличный способ, позволяющий ускорить индексацию ссылок, прежде всего для Гугла, т. к. инструмент в консоли «запросить индексирование» принудительно и мгновенно индексирует страницу. В Яндексе инструмент «переобход страниц» работает не так быстро, но если ваш блог действительно регулярно обновляется, то, как правило, новые страницы в индекс попадают достаточно быстро. Поэтому этот способ годится и для Яндекса.

Как ускорить индексацию сайта в Яндексе и Google одновременно?

1. Карта сайта

Карта сайта – файл, в котором содержатся адреса всех страниц ресурса, он находится в корне файловой системы и носит имя Sitemap. Перед началом индексирования, поисковый робот обращается к этому файлу, после проходит все (если не позволяет краулинговый бюджет, то часть) указанные в нем страницы. Такая карта создается в формате XML, как вручную, так и с помощью специальных сервисов или плагинов для CMS. Кроме XML карты, можно создать отдельную HTML страницу, содержащую в себе ссылки на все страницы сайта.

После создания карты, ее нужно загрузить в Вебмастере Яндекса и в Google Search Console в соответствующие разделы.


Загрузка карты сайта в Яндекс Вебмастер


Загрузка карты сайта в Google Search Console

Нужно понимать, что карта сайта должна либо обновляться автоматически, либо вручную при добавлении нового материала.

2. Создание robots.txt

В данном файле указывают правила индексирования тех или иных страниц, разделов и сайта в целом. Не все страницы могут быть полезны для пользователя, поэтому их важно закрыть от индексации. Сделать это можно в файле robots.txt, прописав специальную директиву. 

Путь до карты сайта прописывается также в этом файле.

Синтаксис позволяет применять для определенных поисковиков уникальные правила.

Если robots.txt заполнен корректно и исключает из индекса все мусорные страницы, то это положительно влияет на скорость индексации (а в некоторых случаях и на ранжирование) ресурса. Подробнее про файл robots.txt можно прочитать в Яндекс Справке.

3. Сайт с правильной структурой

Один из основных факторов, влияющих на скорость индексации – логически правильная структура сайта. Желательно избегать таких структур, при которых страница может оказаться более чем на 5-ом уровне вложенности, что усложнит работу краулеру. Идеал до 3-х уровней вложенности. О том, как проверить и сократить уровень вложенности страниц мы писали в соответствующей статье блога.

4. Перелинковка внутренних страниц

Кроме ссылок в общем меню, рекомендуется продумать дополнительную перелинковку страниц. Дело в том, что краулер имеет возможность посещать только те страницы, на которые имеются ссылки. Наиболее действенным вариантом будет размещение URL-адресов на посещаемых страницах, например, главной.

К внутренней перелинковке также относятся блоки рекомендованных товаров, похожих или новых материалов, гиперссылки внутри статьи с анкорами, которые могут содержать ключевые слова.

Рекомендуется проставлять ссылки обдуманно, чтобы страница донора и акцептора были релевантными между собой. Также должен соблюдаться принцип, при котором на любую полезную для пользователя страницу, ведет внутренняя ссылка.

Хлебные крошки являются элементом навигации и улучшают внутреннюю перелинковку.

5. Качество текстов

Не допускается публикация дублей текстового контента с других ресурсов, с этим поисковики активно и успешно борются. Контент в первую очередь, должен быть уникальным и полезным для посетителя. Что касается уникальности, то она легко проверяется в одном из многочисленных сервисов, в том числе и на поверхностный рерайт.

К качеству текстов можно отнести и подход к их SEO оптимизации. Если на странице присутствует большое количество переспама и воды, то она скорее всего не проиндексируется краулером.

Помните, поисковые алгоритмы хорошо понимают структуру текста, и даже неправильные окончания или многочисленные орфографические ошибки, могут стать причиной плохой индексации сайта или даже попадания его под фильтры.

Объем текста может влиять на индексацию страницы в целом, поэтому рекомендуется публиковать статьи более 1500 символов.

6. Дубли страниц

Созданием дублей грешат многие CMS. Одна и та же страница может иметь разные URL-адреса, в зависимости от того, в каком месте она публикуется.

Примеры дублей страниц:

  • url.ru/str.html
  • url.ru/str
  • url.ru/str/

По факту, это одна страница, но для поисковика разные, точнее по разным адресам он видит одну и ту же. Если сайт небольшой, то робот отбросит 3 URL, оставив в индексе один, но если страниц много, то проблем с индексацией не избежать.

Чтобы закрыть вопрос создания дублей, следует установить и настроить плагин на свою CMS систему, благо под большинство они уже есть в готовом варианте. Плагин, как правило, не только удаляет дубли, но и создает 301 редиректы в файле .htaccess.

7. Регулярное наполнение сайта

Если ресурс наполняется нерегулярно, то робот может растянуть диапазон между своими визитами, что в свою очередь, значительно замедлит попадание новых страниц в индекс. 

Если говорить о публикации новых материалов, то рекомендуется делать это не реже раза в неделю, тогда сайт будет выглядеть «живым» в глазах поисковиков. А если же страницы будут появляться ежедневно, то через определенное время краулер будет посещать ресурс по несколько раз в сутки.

8. Панели вебмастеров

Новый сайт сразу после его создания, рекомендуется добавить в панели вебмастеров Яндекса и Гугла: Вебмастер и Search Console.


Добавление сайта в Яндекс Вебмастер


Добавление сайта в Google Search Console

Внутри этих панелей происходит добавление файлов карт сайта, отслеживание основных показателей, а также там можно увидеть многочисленные рекомендации по улучшению ресурса в целом.

При добавлении, будьте готовый к тому, что придется подтвердить права владельца ресурса. Делается это разными способами, например, с помощью специального файла, который необходимо будет разместить в корне сайта.

9. Переобход страниц

Чтобы сообщить Яндексу о новых страницах, следует в Вебмастере зайти в «Индексирование-Переобход страниц», и добавить список URL-адресов.


Добавление списка URL для переобхода

О статусе переобхода отправленных страниц можно узнать на этой же странице Яндекс Вебмастера.

10. Google Indexing API

Чтобы ускорить индексацию новых страниц в Google, имеется специальная технология – Google Indexing API. В официальной справке сказано, что она ориентирована лишь на сайты с видеоконтентом и вакансиями. Но по факту, поддерживаются ресурсы с другими типами контента.

После подключения Indexing API, в Google будут автоматически отправляться запросы с информацией о новых, обновленных или удаленных страницах.

11. Скорость загрузки страниц

Важнейший параметр, который влияет на качество индексации и ранжирования в целом. Для проверки скорости загрузки отдельно взятой страницы можно использовать сервис PageSpeed Insights, там же будут даны подробные рекомендации по оптимизации ресурсов (медиа, кода и т.д.).

Также эта информация доступна в Яндекс Метрике, в отчете «Время загрузки страниц». 


Отчет о времени загрузки страниц

12. Обратные ссылки с тематических ресурсов

Ссылочная масса – один из основных инструментов SEO продвижения. Но влияет она не только на ранжирование сайта, но и на скорость его индексации. К примеру, разместив ссылку на тематическом ресурсе (сайт схожей тематики), ведущую на новую страницу вашего сайта, вы поможете крайлеру быстрее о ней узнать.

13. Ссылки с социальных сетей

Получить ссылку на страницу сайта можно путем ведения своей группы в одной из ведущих социальных сетей (ВК, FB, Instagram, Твиттер). Особенное влияние это имеет на пауков Google, при такой публикации, новая страница может «залетать» в индекс буквально за считанные часы. Особенно это касается ссылок из Твиттера. Для Яндекса к Твиттеру стоит добавить «ВКонтакте». Правило простое – чем больше активности в соц. сетях, тем чаще вас посещают краулеры.

Если нет возможности полноценно вести соц. сети, то как вариант, стоит попробовать кросс-постинг. То есть после публикации материала на сайте, его вступительная часть копируется в пост социальной сети и делается ссылка на страницу. В таком случае первоисточником будет выступать сайт, но краулер гораздо быстрее доберется до опубликованной страницы.

14. Размещение сайта в различных рейтингах

Также увеличивает ссылочную массу ресурса и ускоряет его индексацию. В качестве таких рейтингов можно выделить:

  • Рейтинг Mail.ru.
  • Рамблер Топ 100.
  • LiveInternet.


Добавление сайта в рейтинг Mail. ru


Размещение сайта в рейтинге Рамблер Топ 100


Рейтинг LiveInternet

15. Ссылки в комментариях

Большинство блогов работают на системе WordPress, у которой имеется возможность комментирования с прикреплением ссылки на свой сайт. Первое, что нужно сделать – найти тематические блоги, в которых автор разбирает смежную тематику. После идем в комментарии, пишем осмысленный текст, но вместо ссылки на сайт, ставим ее на страницу.

Главное правило – блог должен быть схожей тематики, иначе такая ссылка может засчитаться за неестественную (поставленную для манипуляций факторами ранжирования). Если добавить ссылку в тело комментария, она, скорее всего, не пройдет модерацию.

16. Ссылки с форумов

На форумах можно (если допускается администрацией) вести диалоги, ссылаясь на свой ресурс. Кроме этого, в настройках профиля часто встречается поле «Сайт», которое рекомендуется заполнить. Однако этот метод довольно-таки сложен в исполнении, т.к. высокопосещаемые форумы активно модерируются, посторонние ссылки не допускаются.

Постинг на форумах с обратными ссылками имеет свои нюансы, и если нет опыта, то лучше доверить это специалистам. Услуга называется «Крауд-маркетинг».

17. Пингование

С помощью пингования, поисковые системы оповещаются при появлении нового контента. В WordPress эта функция реализована уже «из коробки», достаточно указать в админке ссылки на специальные сервисы.


Функция пингования в WordPress

Вот сервисы, которые используются для пингования:

  • Pingomatic;
  • Pingler;
  • Pingoat.

Помните, при частом пинговании, поисковики могут принять это за спам.

18. Ловец ботов

Схема актуальна для многостраничных проектов, достаточно сложна в исполнении. Ловец ботов – программный алгоритм, которые следит за процессом индексации краулером, указывая ему ссылки на нужные (непроиндексированные ранее) страницы. Работает он по принципу отслеживания посещенных роботом страниц в логах сервера. В рамках данной статьи не будем углубляться в эту тему, но при продвижении крупных сайтов стоит иметь ее в виду, обратившись при этом к компетентным командам (SEO, программисты).

Проверка индексации сайта в Google и Яндекс

Ситуация не из приятных: сканирование сайта поисковыми роботами проходит достаточно быстро, но процесс добавления страниц в индекс не оправдывает ожиданий. Одни страницы сайта не попадают в базу поисковых систем, а другие удаляются. В результате ресурс ранжируется по проиндексированным данным. Если в индекс попали целевые страницы, вам повезло чуть больше. Так или иначе на позиции сайта в выдаче проблемы с индексацией влияют отрицательно.

Мы подготовили чек-лист, который поможет быстро оценить видимость страниц индексе и их количество.

Корректное управление индексацией позволяет оптимизировать расход краулингового бюджета: роботы индексируют только важные для продвижения страницы.

  1. Панели веб-мастеров

В Google Search Console проверяем «Статус индексирования» в разделе «Индекс».  Проблемы с индексацией выглядят следующим образом:

Отметка «Проиндексировано всего» указывает число адресов, добавленных в индекс.

Просмотр удаленных страниц, прошедших индексацию успешно или с ошибкой доступен в отчете «Покрытие».  Также можете проверить определенную страницу на попадание в индекс.

Проверка в Яндекс.Вебмастере осуществляется через путь «Индексирование сайта» — «Страницы в поиске». Далее при выборе «История» получим динамику количества страниц в поиске.

Пример сайта, не имеющего проблем с индексацией в Яндексе

Пример сайта с регулярно удаляемыми страницами.

  1. Проверка вручную: поисковые операторы 

Операторы поисковых систем используются для уточнения результатов поиска. Оператор «site:» выводит список проиндексированных страниц. Для применения параметра в поисковую строку Google или Яндекс введите «site:[url сайта]». Для получения точных данных в Google необходимо перейти на последнюю страницу поиска. Различия в полученных цифрах — показатель наличия проблем на сайте или его попадания под фильтр поисковых систем.

Оператор Cache проверяет частоту посещения сайта поисковым ботом. Настройте дополнительные инструменты поиска, чтобы просмотреть данные об индексации за час, день, неделю, месяц, год или все время.

  1. Автоматизированная проверка: плагины и букмарклеты 

Букмарклеты — скрипты, сохраняемые в закладках браузера. Принцип работы плагинов и букмарклетов одинаковый: открываете сайт для проверки и призываете на помощь закладку из браузера. В результате получаете необходимую информацию за один клик, ничего не прописывая и не настраивая.

Расширения: SEO-tools, RDS bar, SimilarWeb, MozBar.

Работа с плагином RDS bar

  1. Специальные сервисы проверки

Специальные сервисы облегчают работу SEO-специалистов: позволяют не только проверить индексацию, но и выявить возможные проблемы. Среди таких сервисов: Netpeak Spider, SEO-reports, Rush Analytics. Кроме проиндексированных страниц дополнительно получаете код ответа, заголовки, метаописания, robots.txt и пр.

Возможные причины выпадения страниц из индекса и их решение:

  1. Недавний запуск сайта.

Индексирование недавно появившегося сайта занимает много времени. Для ускорения процесса пройдите регистрацию в «Add url», разместите сайт в каталоге и добавьте ссылки с рейтинговых ресурсов, социальных сетей.

  1. Отсутствие карты сайта (sitemap.xml).

Ее основная функция: сообщать поисковым системам об изменениях на ресурсе и задавать частоту проверки. Такие карты помогают сайту индексироваться быстрее с более эффективной скоростью обхода.

Чтобы проверить, есть ли страница в файле sitemap, используйте инструмент проверки URL в Search Console.

  1. Приватные настройки WordPress.

В настройках чтения уберите галочку с пункта «Видимость для поисковых систем».

  1. Ошибка в метатегах в коде страниц<meta name = “robots” content = “noindex”, nofollow” />.

Чтобы найти все страницы с метатегом noindex на вашем сайте, выполните аудит сайта через Ahrefs: просмотрите предупреждения в отчете “Внутренние страницы”. Для борьбы с этой ошибкой необходимо избавиться от строки или заменить элементы на «index» и«follow». 

  1. Ошибка в использовании директив в файле robots.txt. Закрытие доступа в robots.txt черезUser-agent: * Disallow: /

Подробнее о работе с индексным файлом читайте здесь.

  1. Отсутствие уникального контента.
  2. Дублирование страниц.

Заполните сайт качественным и собственным контентом, удалите мусорные страницы, чтобы избежать санкций от поисковиков.

Чтобы максимально повысить скорость индексации, обновляйте сайт не реже 3 раз в неделю. Например, размещайте новые публикации  и обновляйте старый контент. Google будет чаще сканировать ваш сайт, а обновленные старые публикации сохранят актуальность для новых посетителей.

Собирайте информацию о соотношении проиндексированных страниц, динамике их индексации, отслеживайте тренды. Необходимо регулярно отслеживать индексирование сайта, чтобы своевременно решать проблемы и предотвращать отрицательные последствия, вносить изменения в стратегию продвижения.

Павел Савицкий, SEO-специалист GUSAROV:
В большинстве случаев я пользуюсь таким сервисом, как Netpeak Spider. После сканирования сайта можно определить не просто страницы, которые не индексируются, но и выявить причины непопадания их в индекс поисковых систем. Этих причин может быть много: отсутствие или некорректно заполненные заголовки, мета-теги (заголовки в выдаче), закрытие от индексации в служебном файле robots.txt, некорректно настроенный редирект и т.д. Наличие многофункциональных возможностей Netpeak Spider позволяет выгрузить различные типы страниц (например, индексируемые и неиндексируемые) с техническими ошибками в Excel, что в дальнейшем приводит к ускорению работы по исправлению неиндексируемых URL.

04.03.2020

10 примеров применения операторов поиска Яндекс и Google

В работе SEO-специалиста есть необходимость отслеживать различные показатели своего сайта и сайтов конкурентов, например: количество страниц в индексе, наличие санкций, релевантность текстов, учет ссылок и т.д.

Многие параметры удобно проверять с помощью языка запросов поисковых систем. В этой статье мы научимся использовать его для решения следующих задач:

  1. Определение количества проиндексированных страниц сайта
  2. Проверка индексации страницы
  3. Определение даты первой индексации страницы
  4. Поиск мусорных страниц по URL
  5. Поиск дублей по title
  6. Поиск дублей текста по его фрагменту
  7. Поиск всех внутренних ссылок, ссылающихся на страницу
  8. Проверка документа на фильтр «переоптимизация»
  9. Проверка ссылок на «непот фильтр»
  10. Проверка сайтов на наличие фильтра «аффилирование»

Для некоторых проверок мы подготовили так называемые букмарклеты.

Букмарклет (Wiki: англ. bookmarklet; bookmark — «закладка» и applet — «апплет») — небольшая JavaScript-программа, оформленная как javascript:URL и сохраняемая как браузерная закладка.

Другим словами, букмарклет — это скрипт в закладке, после нажатия на которую он сработает. Для установки просто перенесите ссылку на панель закладок.

1. Определение количества проиндексированных страниц сайта

Нужно отметить, что самый лучший способ узнать количество страниц в поиске — посмотреть в SearchConsole Google или Вебмастере.Яндекс. Эти сервисы отражают самые точные данные.

Однако, если у вас нет доступа к упомянутым сервисам, можно использовать поисковые операторы.

Яндекс
Для того чтобы проверить количество проиндексированных страниц в Яндексе, есть два способа:

Способ № 1
Используем оператор site:. Этот оператор позволит осуществлять поиск по заданному сайту.

Букмарлет: Ya.site:

Если у вас на сайте несколько поддоменов, и вы хотите узнать количество страниц в индексе основного домена, то вместо оператора site: следует использовать оператор host.


Способ № 2
Запрос: url:www.domain.ru/* | url:domain.ru/* | url:domain.ru | url:www.domain.ru

В данном способе мы используем следующие операторы поиска Яндекс:

url: — позволяет осуществить поиск по страницам, размещенным по заданному URL
| — оператор «или». Позволяет осуществлять поиск документов, в которых присутствует любое слово из запроса.
Пример: при запросе [Спартак | ЦСКА]будут найдены документы, в которых присутствует хотя бы одно слово из запроса:
«цска» или «спартак».
* — оператор соответствует любому знаку.

Такой прием аналогичен способу с оператором host: поиск осуществляется по хосту, а не по всему сайту.
Надо отметить, что так проверяет индексацию популярный тулбар RDS-бар, из-за чего часто бывает, что количество страниц в Яндексе намного меньше, чем в Google.

Так вот, это связано не с проблемами на сайте, а из-за способа проверки.
Букмарлет: Ind.Ya

Google
Аналогично Яндексу, в Google для того, чтобы узнать количество страниц сайта в поиске, используется оператор site:.


Букмарлет: Go.site:

2. Проверка индексации страницы

В практике достаточно часто приходится проверять, проиндексирована страница или нет. Это очень просто проверить с помощью операторов:

Яндекс
url:www.site.ru/ | url:site.ru/

Важно! Нужно проверять на индексацию страницу с www и без www — это позволит вам вовремя отслеживать дубли и проблемы с зеркалами.

Пример:

В этом примере в индексе находятся дубли с www и без, что является ошибкой.
Букмарлет: Ind.Page.Y

Google
В Google для проверки индексации следует использовать оператор info и только его.

Букмарлет: Ind.Page.Go

 

3. Определение даты первой индексации страницы

В Яндекс есть возможность узнать дату первой индексации документа (возраст документа). Для этого нужно осуществить проверку индексации страницы как в предыдущем примере, и в URL Яндекс добавить GET параметр «&how=tm».

 

4. Поиск мусорных страниц по URL

С помощью операторов поиска можно легко найти мусорные страницы в индексе поисковой системы. К мусорным страницам относятся: корзина (cart), регистрация (register| login),страницы пользователей (users), файлы (files) , страницы сортировки (sort), страницы фильтров и поиска (filter, search).
Для того чтобы найти данные страницы можно использовать оператор siteсовместно с оператором inurl.
Inurl — оператор, с помощью которого можно осуществлять поиск по страницам в URL, где есть заданный фрагмент.

В Google-поиск осуществляется аналогичным способом.

 

5. Поиск дублей title

Яндекс
Данный поиск осуществляется с помощью оператора title: и site:.

Пример:

На скриншоте видно, что точного совпадения не найдено, но они точно есть. Для того чтобы найти все дубли в URL, нужно добавить GET параметр &noreask=1— он отключает исправление опечаток и добавляет результаты выдачи по схожим запросам.

Результат: мы нашли 46 совпадений по title.

Дополнительно в данной конструкции используются следующие операторы:
« — поиск в заданной словоформе и последовательности;
() — используются для группировки.
Букмарлет: Дубли по title Ya

Google
В Google есть аналогичный оператор intitle.

 

6. Поиск дублей текста по его фрагменту

Часто бывает, что большие фрагменты текста дублируются внутри сайта: это может негативно сказываться на ранжировании. Для того чтобы найти такие дубли, нужно осуществить поиск внутри сайта по фрагменту из нужного текста. В URL Яндекса также рекомендуем добавлять &noreask=1.

Пример:

Букмарлет: Text.Ya — Выделите текст и нажмите на ссылку. Букмарлет без оператора site:.

7. Поиск всех внутренних ссылок, ссылающихся на страницу

Для того чтобы узнать количество внутренних ссылок на страницу, можно использовать оператор linkint.

Рекомендуем использовать его вместе с оператором site:.
Букмарлет:linkint:

8. Проверка документа на фильтр «переоптимизация»

Как проявляется фильтр «переоптимизация»: резкая просадка группы запросов на странице — более чем на 30 пунктов.

Гипотеза: при использовании языка запросов фильтр «переоптимизация» снимается.

Тогда, что бы диагностировать «переоптимизацию», нужно проделать следующие шаги:

  1. Берем 5 сайтов, которые находится выше пациента на 1–5 позиции.
  2. С помощью следующего запроса сравниваем релевантности:
    [запрос] (site:пациент.ру |site: конкурент.ру).
  3. Если 3 и более сайта конкурента находятся ниже, можно говорить о переоптимизации.

Пример:

Пациент выше, можно говорить о переоптимизации.

9. Проверка ссылок на «непот фильтр»

«Непот фильтр» — это фильтр, который занижает влияние входящей ссылки на ранжирование в Яндекс.

Как проявляется «непот фильтр»: документ-акцептор становится невозможно найти по уникальному анкору — нивелируется динамический (анкорный) вес.

Для диагностики необходимо проверить, ищется ли документ по уникальному анкору

1. Сделать это можно следующим образом:
Проверить, проиндексирована ли ссылка (в сохраненной копии)

2. Проверить, что ссылка была учтена в Яндекс.Вебмастере.

3. Проверить, нет ли прямого вхождения в тексте документа: для этого можно использовать оператор intext, который позволяет осуществлять поиск только по тексту.


4. Если документ не найден, переходим к поиску по анкор-листу с помощью оператора inlink.

В данном примере документ найден — на ссылку «непот фильтр» не наложен.
В этой конструкции были использованы следующие операторы:
& — поиск документов, в которых слова встречаются в одном предложении;
! — поиск слова в заданной форме;
/+n, где n — максимальное расстояние между словами — поиск документов, в которых заданные слова располагаются в пределах n-слов друг от друга.

Замечания:

  1. Анкор должен быть уникальным.
  2. Используемая методика определения не до конца корректна и утверждение, что она показывает наличие «непот-фильтра», является допущением.(подробнее о непот фильтре можно почитать в статье Сергея Людкевича

 

10. Проверка сайтов на фильтр «аффилирование»

Фильтр аффилирования накладывается на сайты одного владельца, продвигающиеся по одинаковым запросам.

Как проявляется фильтр «аффилирование»: по запросам высоко ранжируется только один из сайтов.
Подробнее о фильтре тут.

Диагностика

Способ № 1
Запрос: lang:ru ~~ domain:ua<< (url:www.site1.ru | url:www.site2.ru)
Если показывается только один сайт, то можно говорить о том, что на сайты наложен фильтр аффилирования:


Способ № 2
Запрос: url:site.ru | url:site.ru ~~ url:qwerty
Если показывается только один сайт, то можно говорить о том, что на сайты наложен фильтр аффилирования.

В этой статье мы познакомились с поисковыми операторами и научились их применять для решения практических задач. Их использование не ограничивается только приведенными примерами. Экспериментируйте и ищите другие варианты применений.

Полезные ссылки:
Справка Яндекс
Справка Google
Статья по аффилированию Людкевича
Статья по аффилированию Бакалова

Подписаться на рассылку

Еще по теме:


Евгений Аралов

SEO-аналитик SiteClinic.ru

Продвигаю сайты с 2009 года.

Выступал на конференциях AllInTop, Optimization

Публикую полезные статьи на различных блогах: siteclinic.ru, optimizatorsha.ru, searchengines.ru и веду Telegram-канал.

Сейчас руковожу SEO-отделом в компании SiteClinic: строю и координирую команду, обучаю специалистов.

Девиз: вперёд!

Оцените мою статью: 

Есть вопросы?

Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.

Как мне исключить страницы из поиска?

Иногда необходимо исключить страницу сайта из результатов поиска, например, если она содержит конфиденциальную информацию, является дубликатом другой страницы или была удалена с сайта.

  1. Шаг 1. Запретить индексирование страницы или каталога
  2. Шаг 2. Ускорить удаление страницы
  3. Как вернуть страницу в результаты поиска?
  4. FAQ

Есть несколько способов сделать это:

Если страница удалена с сайта
Если страница не должна отображаться в поиске

Проверить, соответствуют ли инструкции в роботы.txt верны, воспользуйтесь инструментом анализа Robots.txt.

Примечание. При сканировании сайта робот сначала обращается к файлу robots.txt, если он есть, а затем просматривает страницы сайта. Постраничное сканирование может занять некоторое время. Если вы хотите удалить много страниц из поиска, добавьте директиву Disallow для нужных страниц.

Поведение робота при исключении страницы разными методами
Метод исключения Поведение робота
Запрет в robots.txt файл Робот прекращает доступ к странице в течение 24 часов.
Статус HTTP с кодом 404, 403 или 410 Робот продолжает посещать страницу в течение некоторого времени, чтобы убедиться, что ее статус не изменился. Если страница остается недоступной, робот перестает ее сканировать.
Мета-тег robots с директивой noindex

Когда робот заходит на сайт и обнаруживает, что ему запрещено индексировать, страница исчезает из результатов поиска в течение недели.URL удаленной страницы отображается в списке исключенных страниц на странице в Яндекс.Вебмастере.

Исключение из поиска страниц, нарушающих авторские права, не является приоритетной задачей робота. Чтобы исключить страницу из поиска, воспользуйтесь методами, описанными в этом разделе.

Исключенные из результатов поиска страницы могут отображаться в Яндекс.Вебмастере до следующего сканирования сайта.

Чтобы ускорить удаление страницы из поиска, попросите Яндекс удалить ее, не дожидаясь запланированного сканирования робота.

  • Если ваш сайт не добавлен или не верифицирован в Яндекс.Вебмастере:

    1. Перейдите на страницу Удалить страницы из результатов поиска в Яндекс.Вебмастере.
    2. Введите URL-адрес страницы, которую нужно исключить, в поле, например http://example.com/page.html.

    3. Нажмите кнопку «Удалить».

    Чтобы исключить несколько страниц из поиска, удаляйте их по одной.

  • Если ваш сайт добавлен в Яндекс.Вебмастер и вы подтвердили свои права на управление сайтом:

    1. Перейдите на страницу.

    2. Установите переключатель в положение По URL.

    3. Введите URL-адрес страницы в поле, например http://example.com/page.html.

    4. Нажмите кнопку «Удалить».

    Вы можете указать до 500 URL-адресов на сайт в день.

Вы можете удалить все страницы сайта, отдельные каталоги или страницы с указанными параметрами в URL, если ваш сайт добавлен в Яндекс.Веб-мастер и вы подтвердили свои права на управление сайтом.

  1. В Яндекс.Вебмастере перейдите на страницу.

  2. Установите переключатель в положение По префиксу.

  3. Укажите префикс:
    Что удалить Пример
    Каталог сайта http://example.com/catalogue /
    Все страницы сайта http: // example.com /
    URL с параметрами http://example.com/page ?

    Вы можете отправлять до 20 префиксов на сайт в день.

  4. Нажмите кнопку «Удалить».

Примечание. Робот удалит страницы, указанные в Яндекс.Вебмастере, только если эти страницы указаны в директиве Disallow в файле robots.txt.

После отправки URL в Яндекс.Вебмастер вы можете отслеживать изменения статусов на:

Статус Описание
«В очереди на удаление» Робот проверяет ответ сервера и запрет на индексацию страницы.Проверка может занять несколько минут.
«В процессе» Робот проверил страницу. Страница будет удалена из результатов поиска в течение 24 часов.
«Удалено» Страница была удалена из результатов поиска.
«Отклонено» Страница разрешена для индексации или когда робот обращается к URL-адресу страницы, ответ сервера отличается от 404 Not Found, 403 Forbidden или 410 Gone.

Убрать запрет на индексацию: директива Disallow в файле robots.txt или метатегом noindex. Страницы возвращаются к результатам поиска, когда робот просматривает сайт и узнает об изменениях. Это может занять до трех недель.

Я настроил перенаправление на новые страницы, но старые по-прежнему отображаются в результатах поиска.

Если вы используете перенаправление, робот будет постепенно отслеживать перенаправления, и старые страницы будут исчезать из результатов поиска по мере сканирования сайта. Чтобы робот быстрее узнал об изменениях, отправьте страницы на переиндексацию.

Если URL-адреса страниц изменились из-за изменения доменного имени сайта, обновление данных поиска может занять больше месяца. Проверьте правильность настройки зеркал.

Полное руководство по поисковой оптимизации Яндекса

Хотя Google имеет сильные позиции в России, очень важно, чтобы ваша стратегия SEO учитывала Яндекс.

Яндекс — ведущая поисковая система в России (по смешанной доле на рынке), и благодаря недавним изменениям в законодательстве (Google получил пощечину в российских судах), они также ликвидировали пробел в мобильной рекламе.

Яндекс. Помимо поисковой системы, Яндекс также предоставляет браузер (YaBrowser), электронную почту, новости, карты, платную рекламу и услуги переводчика на российском рынке, а также в Беларуси, Казахстане, Украине и Турции.

Яндекс предлагает ряд бесплатных сервисов, подобных Google.

Яндекс Техническое SEO

Хотя между Google и Яндексом есть много общего, российский движок имеет свой собственный набор правил и нюансов, которые необходимо учитывать при проектировании и разработке вашего русскоязычного веб-сайта (или альтернативной версии).

Реклама

Продолжить чтение ниже

Элемент Важность
Тег заголовка Очень важно
Тег заголовка Очень важно Тег слова Важно
Ключевые слова в URL-адресах Очень важно
Структура внутренних ссылок Немного важно

Индексирование в Яндексе

Google избаловал нас своим обновлением Caffeine и тем, как быстро они обнаруживают и индексируют свежие содержание.

Яндексу требуется немного больше времени для обнаружения новых сайтов и URL-адресов.

Для более эффективной индексации контента в Яндексе важно отправлять карты сайта через Яндекс.Вебмастер.

JavaScript и CSS

В ноябре 2015 года Яндекс сообщил в своем блоге для веб-мастеров, что они начали сканировать JavaScript и CSS, а в более поздней статье поддержки они рассказали, как Яндекс обрабатывает веб-сайты AJAX.

Короче говоря, Ирстлена Першина, активный публичный представитель Яндекса в своем блоге для веб-мастеров, в 2018 рекомендовала следующее в ответ на вопрос об Angular, AngularDart и о том, нужен ли им рендеринг на стороне сервера:

Общее правило: для робота должен быть статический контент.Ирстлена Першина, 7 мая 2018 г., 18:18

Hreflang и XML-карты сайта

Хотя реализация XML-карты сайта дает ряд преимуществ, таких как повышение скорости загрузки страницы (поскольку отдельные теги hreflang не нужно читать краулеры при загрузке страницы), они не будут работать в Яндекс.

Реклама

Читать ниже

Яндекс поддерживает только разметку , поэтому, если у вас много языковых вариаций, вам, возможно, придется пересмотреть свой подход для России.

Теги уровня страницы

В отличие от Google, Яндекс поддерживает метатег ключевые слова в качестве элемента HTML:

— Может использоваться при определении релевантность страницы поисковым запросам.

Маскировка

В 2008 году Яндекс представил алгоритм с кодовым именем Находка с целью предотвращения и выявления маскировки гораздо более агрессивным образом. Судя по многочисленным сообщениям в блогах, похоже, что это сработало.

Intrusive Pop-Ups

В 2012 году Яндекс обновил свой основной алгоритм для защиты веб-сайтов с навязчивыми (и поддельными) всплывающими окнами. Позже в 2014 году это было обновлено, чтобы еще строже относились к всплывающим окнам, которые мешали работе пользователей и доступности контента.

SEO на странице для Яндекса

В Яндексе есть ряд алгоритмов, которые гарантируют, что пользователи найдут качественный, полезный контент, соответствующий их поисковому намерению.

Этот процесс начался в 2007 году с безымянного обновления, в котором были введены новые ранжирование и переменные веса для поисковых запросов, состоящих из одного и нескольких слов.

8-SP1

За безымянным обновлением в 2008 году последовал первый официально названный алгоритм, цепляющий 8-SPI1. В течение этого времени в истории Яндекса более старые веб-сайты занимали более высокие позиции из-за своего возраста, и этот алгоритм работал, чтобы изменить это, чтобы дать более свежим (и потенциально более качественным доменам) больше шансов занять лидирующие позиции.

Этот алгоритм также изменил то, как обратные ссылки были взвешены как фактор ранжирования, в том смысле, что он уменьшил их силу.За

8-SP1 последовали некоторые более мелкие изменения в алгоритме качества, а именно Magadan (2008), которые позволили поисковой системе понимать аббревиатуры, а также начать понимать разницу между коммерческими и некоммерческими запросами и уникальность контента.

Фильтр AGS

Фильтр AGS был впервые представлен в сентябре 2008 года и обновлялся в 2009, 2013, 2014 и 2015 годах. Вы можете называть это алгоритмом Яндекс Панды.

Первая итерация алгоритма в первую очередь касалась дублированного и некачественного контента.Более поздние обновления означали, что Яндекс может понизить рейтинг веб-сайтов, созданных для привлечения трафика для показов рекламы на странице, и наказать веб-сайты, ориентированные на продажу и размещение ссылок.

Реклама

Продолжить чтение ниже

Рейкьявик и Калининград

Рейкьявик (2011 г.) и Калининград (2012 г.) были первыми шагами в персонализации поиска. История поиска, файлы cookie и поведение пользователей начали влиять на персонализированные результаты поиска и создавать их.

Тематический индекс цитирования (TIC) Яндекса

Яндекс использует показатель TIC для анализа воспринимаемой популярности веб-сайта, тематической релевантности и на основе этого вывода о авторитете.Здесь вы можете сделать вывод о сходстве с PageRank.

Оценка варьируется от нуля до 150 000, более высокая оценка означает, что качество веб-сайта выше. Однако, как и DA (показатель авторитета домена Moz), показатель TIC не отражает рейтинг сайта и не учитывается как фактор ранжирования.

Последние серьезные изменения в том, как они рассчитывают TIC, произошли в 2016 году (через этот пост в блоге), но недавно все страницы поддержки Яндекса, окружающие TIC, начали использовать 404 ‘и их плагин для проверки TIC (Яндекс.Element) теперь 302 перенаправляет на страницу загрузки YaBrowser.

4TIC — это метрика тщеславия, как и DA, и ее следует избегать в качестве ключевого показателя эффективности кампании.

Реклама

Продолжить чтение ниже

Однако, если вы хотите улучшить свой показатель TIC, вам необходимо убедиться, что у вас есть:

  • Хорошие внутренние ссылки, которые повышают ценность для пользователя, а не случайные ссылки на первый экземпляр каждого слова на странице и т. д.
  • Пишите хороший, высококачественный контент, который удовлетворяет потребности пользователей (не слишком отличается от Google).
  • Убедитесь, что содержание актуально.

Yandex Local SEO

Из-за огромных размеров России локализованный поиск работает несколько иначе, чем то, к чему мы привыкли с Google, даже в таких же крупных странах, как США.

В Яндекс.Вебмастере вы можете указать регион, на который вы ориентируетесь (если применимо), и с точки зрения пользователя поиск по геотаргетингу является важной частью получения полезных и релевантных результатов.

Арзамас и Конаково

В 2006 году обновление для Арзамаса позволило пользователям вручную определять, видят ли они результаты национального или регионального поиска, а в обновлении Конаково 2009 года это было развернуто в более чем 1250 городах, включая Украину, Беларусь и Казахстан.

Яндекс проверяет IP вашего сайта, контактную информацию (убедитесь, что она структурирована и четко отображается), а также информацию о регистрации домена.

Реклама

Продолжить чтение ниже

Если все сигналы здесь указывают на регион Ненецкого автономного округа, но на самом деле вы нацелены на регион Мурманской области, то ваш рейтинг в локальном поиске может оказаться не таким высоким.

Эта функциональность была дополнительно улучшена в 2010 году с помощью алгоритма Обнинск, который также привел к тому, что веб-сайты повысили местный рейтинг, а списки спам-каталогов были наказаны.

Смена региона в Яндексе

Как уже упоминалось, вы можете указать свой регион в своем аккаунте Яндекс.Вебмастера. Однако это всего лишь просьба, и поисковая система не воспринимает это как евангелие.

Если вы не ориентируетесь на конкретный регион (например, вы являетесь интернет-магазином, который может доставлять товары куда угодно), локализованный поиск Яндекс по запросам розничной торговли в Интернете не повлияет на вас.

В Яндекс.Вебмастере можно указать до семи регионов, но для этого вы должны быть указаны в Яндекс.Каталоге.

Реклама

Продолжить чтение ниже

Яндекс Offsite SEO

Хотя алгоритм Google Penguin не стал частью нашей жизни до 2012 года, Яндекс представил свой первый алгоритм на основе ссылок в 2005 году (официального названия нет, но он стал известен как фильтр Nepot), чтобы уменьшить влияние, которое генерирует обмен ссылками, PBN и другие спам-ссылки.

Помимо качества связи, фильтр Непот специально искал неестественные шаблоны получения ссылок. Неофициально это, похоже, было обновлено снова в 2008 году.

Рейтинг без ссылок

В 2013 году в Москве был развернут бета-алгоритм для некоторых вертикалей (а именно, путешествия, недвижимость и бытовая техника), и он произвел ранжирование без учета ссылки во внимание.

Существует очень мало информации о том, насколько успешным было испытание, но в 2015 году был запущен новый алгоритм на основе ссылок под названием Минусинск (поэтому мы можем сделать вывод, что рейтинг «без ссылок» не сработал).

После объявления Минусинска веб-мастера, которые использовали тактику ссылочного спама, получили уведомления через Яндекс.Вебмастер, и внедрение алгоритма имело три ключевых даты воздействия:

Реклама

Продолжить чтение Ниже

Yandex Mobile SEO

По оценкам, в России 80 миллионов пользователей смартфонов. Если текущий рост продолжится, то к 2021 году он достигнет 93 миллионов.

Рынок мобильного поиска в России также переживает период бурных перемен.В мае 2017 года российская антимонопольная служба постановила, что стандартная ОС Android от Google является слишком ограничительной и не отвечает интересам потребителя, и вынудила Google разработать виджет и новую ОС Android, чтобы пользователи могли легко изменить поисковую систему по умолчанию.

Учитывая, что самые последние данные показывают, что Android занимает около 70 процентов рынка, это привело к огромному скачку доли рынка мобильных поисковых систем: Яндекс увеличился с 29 процентов до 44 процентов за год, при за счет гугла.

Владивосток Алгоритм

Яндекс представил изменение алгоритма с кодовым именем Владивосток, и это было направлено на улучшение взаимодействия с мобильными пользователями.

Реклама

Продолжить чтение Ниже

Исторически (с ноября 2015 года) Яндекс помечал сайты, оптимизированные для мобильных устройств, в результатах поиска (что составляло примерно 18 процентов сайтов в то время). Это был действительно первый «толчок», который заставил веб-мастеров задуматься о мобильных впечатлениях и начать планировать адаптивные, динамические веб-сайты или веб-сайты с многоточечными точками.

Владивосток разрешил небольшой льготный период для веб-сайтов, которые еще не обеспечивали удобную работу с мобильными устройствами для пользователей, но на них наблюдались некоторые колебания и постепенный спад.

Один интересный вывод из факторов ранжирования мобильных устройств Яндекса (которые не сильно отличаются от факторов ранжирования мобильных устройств, к которым мы привыкли в Google, и обеспечивающих удобство использования пользователей), заключается в том, что в удобном для мобильных устройств средстве проверки Яндекса это критерии для мобильных устройств. удобный размер текста.

Если размер шрифта составляет 12 пикселей или больше, он считается удобным для мобильных устройств.Если страница имеет меньший размер шрифта, это негативно отразится на страницах результатов поисковой системы.

Реклама

Читать ниже

Инструменты поиска ключевых слов Яндекса

Основа любой SEO-кампании, исследование ключевых слов для российского рынка так же важно, как и прежде.

Ряд доступных инструментов упрощает проведение глубокого исследования ключевых слов на российском рынке.

Яндекс Wordstat

Wordstat — один из моих любимых инструментов для исследования ключевых слов в России.Это часть платного инструментария поиска Яндекса, позволяющая разбить поиск по регионам.

По своему опыту я также склонен доверять представленным здесь данным о впечатлениях намного больше, чем второму инструменту в этом разделе.

Планировщик ключевых слов Google

Учитывая, что Google является второй по величине поисковой системой в России (при смешанной статистике устройств), инструмент Планировщик ключевых слов AdWords работает для российского рынка. Он также дает более широкие и обширные списки связанных ключевых слов, хотя иногда страдает релевантность, поэтому длинный список может потребовать значительного сокращения.

Приведенные объемы поиска также, по опыту, менее точны, чем Wordstat.

Реклама

Продолжить чтение ниже

Инструмент подсказки ключевых слов Mail.ru

Mail.ru является третьей по величине поисковой системой в России (примерно 8 процентов рынка), но, хотя сама поисковая система не пользуется популярностью, Инструменты для веб-мастеров предоставляют данные о поведенческих факторах пользователей, а также разбивают ключевые слова по возрасту и полу.

Объединение данных из этих инструментов и других основных компонентов пакета, таких как SEMrush, действительно может помочь в создании всеобъемлющих списков исследования ключевых слов.

Бонус: поисковые операторы Яндекса

Поисковые операторы, такие как site: и inurl: , могут быть неоценимы для профессионалов SEO при диагностике проблем с индексами.

В Яндексе также есть несколько операторов, которые немного отличаются от операторов Google. Хорошо иметь под рукой:

  • Заголовок [ключевое слово] — поиск по заданному ключевому слову в теге заголовка, работает так же, как и оператор Google intitle: .
  • Inurl = «keyword» — работает так же, как оператор Google inurl: .
  • Mime = ”html / pdf / doc / ppt / xls / rtf / swf” — поиск файлов определенных типов, например: seo << mime = ”ppt” вернет результаты, которые являются файлами PowerPoint, связанными с SEO.

Вы можете структурировать ключевые слова по большинству операторов и их переменных в следующем формате:

Ключевое слово << [Оператор] = «переменная»

Дополнительные ресурсы для международного поиска:

Реклама

Продолжить чтение Ниже


Изображение предоставлено

Рекомендуемое изображение: 360b / Shutterstock.com
Доля рынка мобильной связи в России, взято с сайта Statcounter.com, май 2018 г.
Средство проверки мобильных устройств Яндекса (снимок экрана с размером текста), сделано автором, май 2018 г.
Скриншоты, сделанные автором, май 2018 г.

Узнайте, почему ваш сайт занимает высокие позиции в Google, но не в Яндексе

Почему у меня высокий рейтинг в Google, а не в Яндексе?

Один из самых часто задаваемых вопросов! Многоязычные компании часто сталкиваются с проблемами при попытке ранжироваться в Яндексе с поддоменом или подкаталогом своей сильной стороны.COM-сайт. Я слышал этот вопрос на конференциях по SEO и от сообщества веб-мастеров.

Так что, если у вас проблемы с рейтингом на Яндексе, в то время как ваш рейтинг в Google отличный, стоит проверить эти вещи:

— Яндекс не любит автоматическое перенаправление (например, если вы показываете версию на определенном языке на основе IP посетителя). У Яндекса проблемы с индексированием таких страниц.

Яндекс медленнее, чем Google , когда дело касается новых сайтов и страниц.Если для Google требуется 1-2 дня, чтобы проиндексировать новую страницу и отобразить ее в поисковой выдаче, для Яндекса это займет не менее 1-2 недель, и страница не будет отображаться высоко. Чтобы новая страница попала в топ-10, может потребоваться до 1-2 месяцев, даже если конкуренция низкая.

Google лучше справляется с поиском и индексированием страниц , особенно когда речь идет о крупных сайтах со сложной структурой ссылок. Не редкость ситуация, когда Яндекс видит 1000 страниц вашего сайта, а Google — 2500.

Яндекс и Google индексируют Flash и Java-скрипт по-разному .У меня нет опыта в этом, но это общеизвестно, и это может вызвать проблемы с ранжированием.

— Вы выбираете создание языковых версий в качестве поддоменов или подкаталогов, рассчитывая, что они получат большую силу от сайта .COM, верно? PR будет течь и ранжировать будет легче. Верно. Но ваш сайт .COM не является авторитетом для Яндекс (во всяком случае, в большинстве случаев). Он не проиндексирован должным образом, у него нет ТИЦ (тематического индекса цитирования), поэтому кредит не будет получен, и получить рейтинг в Яндексе будет намного сложнее, чем в Google.

— Для ранжирования в Яндексе необходимо ссылок с сайтов на русском языке . Хотя обратные ссылки на английском языке могут помочь немецкому сайту занять место в Google, в России этого не произойдет. Мы имеем дело с Яндексом, местной поисковой системой с ограниченной возможностью индексировать и оценивать зарубежные сайты. Так что здесь никакого жульничества! Хотите рейтинги Яндекса — получите русские ссылки.

Есть еще много мелких вещей, которые могут привести к большим расхождениям между рейтингами Google и Яндекс. Я вернусь к этой теме в следующих сообщениях.

Анна Ошкало

Анна — блогер и консультант по интернет-маркетингу, специализирующаяся на SEO и SEM для российских поисковых систем. Чтобы увидеть больше сообщений Анны, подпишитесь на нее в Twitter или LinkedIn.

Еще сообщения

Ответы в настоящее время закрыты, но вы можете отслеживать их со своего собственного сайта.

Блог о настройках плагинов WordPress и поисковой оптимизации для начинающих веб-мастеров.Быстрый способ проверить индексацию страниц в Яндексе и Google Быстрая индексация страниц

(13 )

Если вы хотите знать, находится ли конкретная страница в индексе поисковой системы и сколько страниц вашего сайта включено в поиск в целом, вам следует узнать о четырех простейших способах проверки индексации сайта, используемых всеми специалистами по SEO.

В процессе индексации портала поисковый бот сначала сканирует его, то есть сканирует его для изучения контента, а затем добавляет информацию о веб-ресурсе в базу данных.Затем поисковая машина производит поиск по этим базам данных. Не путайте сканирование с индексированием — это разные вещи.

Чтобы понять, сколько еще страниц вашего проекта не проиндексировано, вам нужно знать их общее количество. Это даст вам представление о том, насколько быстро индексируется ваш сайт. Это можно сделать несколькими способами:

  1. Посмотреть карту сайта. Вы можете найти его по адресу: your_site_name.ru / sitemap.xml … Здесь отображаются практически все страницы, размещенные на ресурсе.Но иногда карта сайта может быть сгенерирована некорректно, и некоторые страницы могут отсутствовать в ней.
  2. Воспользуйтесь специальной программой. Эти программы сканируют весь ваш сайт и показывают все страницы вашего сайта, примерами таких программ являются Screaming Frog Seo (платно) или Xenus Links Sleuth (бесплатно).

Способы проверки индексации сайта

Предлагаем вашему вниманию 4 самых распространенных и простых способа проверить, какие страницы есть в индексе, а какие нет.

1.Через панель вебмастера

С помощью этого метода владельцы веб-ресурсов чаще всего проверяют их доступность в поиске.

Яндекс

  1. Авторизуйтесь в Яндекс.Вебмастере.
  2. Перейти в меню «Индексирование сайта» .
  3. Найдите строку под ним «Страницы в поиске» .

Можно пойти другим путем:

  1. Выберите «Индексирование сайта» .
  2. Затем перейдите к «История» .
  3. Затем перейдите на вкладку «Страницы в поиске» .

Как по первому, так и по второму способам вы можете изучить динамику роста или уменьшения количества страниц в поисковой системе.

Google
  1. Заходим в панель управления сервисом Google Webmaster Tools.
  2. Щелкните вкладку Search Console.
  3. Перейти к «Индекс Google» .
  4. Щелкните опцию Индексирование статуса .

2.Через операторов поисковых систем

Они помогают вам уточнить результаты поиска. Например, использование оператора сайта позволяет увидеть приблизительное количество страниц, которые уже есть в индексе. Чтобы проверить этот параметр, в строке поиска Яндекс или Google укажите: «Site: your_site_address» .


Важно! Если результаты в Google и Яндексе сильно различаются между собой, то у вашего сайта проблемы со структурой сайта, мусорные страницы, индексация или на него наложены санкции.

Для поиска вы также можете использовать дополнительные инструменты, например, чтобы узнать, как индексирование страниц изменилось за определенный период времени. Для этого под полем поиска щелкните вкладку Search Tools и выберите период, например, «Через 24 часа» .

3. Через плагины и расширения

С помощью специальных программ индексация веб-ресурса будет проверяться автоматически. Это можно сделать с помощью плагинов и расширений, также известных как букмарклеты.Это программы javascript, которые сохраняются в браузере как стандартные закладки.

Преимущество плагинов и расширений в том, что веб-мастеру не нужно каждый раз заходить в поисковик и вводить там адреса сайтов, операторов и т. Д. Скрипты все сделают автоматически.

Самым популярным плагином, используемым для этой цели, является панель RDS, которую можно загрузить из магазина приложений любого браузера.

Следует отметить, что в Mozilla Firefox плагин имеет гораздо больше возможностей, чем в других браузерах.Панель RDS предоставляет информацию как обо всем веб-сайте, так и на его отдельных страницах.

На заметку. Есть платные и бесплатные плагины. И самый большой недостаток бесплатных плагинов в том, что вам нужно регулярно вводить капчу.

Букмарклет «Проверка индексации» также нельзя игнорировать. Чтобы включить программу, просто перетащите ссылку на панель браузера, затем запустите портал и щелкните закладку расширения. Так вы откроете новую вкладку с Яндексом или Гуглом, где изучите необходимую информацию по индексации тех или иных страниц.

4. Использование специальных услуг

В основном я использую сторонние сервисы, потому что они четко показывают, какие страницы есть в индексе, а какие нет.

Бесплатное обслуживание

https://serphunt.ru/indexing/ — есть проверка, как Яндекс, так и Google. Вы можете бесплатно проверять до 50 страниц в день.

Платная услуга

Из платных мне больше всего нравится Topvisor — стоимость 0,024 руб. для проверки одной страницы.

Вы загружаете в сервис все страницы своего сайта, и он покажет вам, какие из них находятся в индексе поисковых систем, а какие нет.

Заключение

Основная цель владельца любого веб-ресурса — добиться индексации всех страниц, которые будут доступны поисковым роботам для сканирования и копирования информации в базу данных. Выполнить эту задачу на большом сайте может быть очень сложно.

Но при правильном комплексном подходе, то есть грамотной SEO-оптимизации, регулярном наполнении сайта качественным контентом и постоянном мониторинге процесса включения страниц в индекс поисковой системы, можно добиться положительных результатов.Для этого в этой статье мы рассказали о четырех методах проверки индексации сайта.

Имейте в виду, что если страницы начинают вылетать из поиска слишком резко, с вашим ресурсом что-то не так. Но зачастую проблема не в процессе индексации, а в самой оптимизации. Хотите быстро индексироваться и попадать в ТОП поисковых запросов? Предложите своей целевой аудитории контент, который превосходит конкурентов.

Из этого материала вы узнаете:

  • Что индексирует
  • Как добавить сайт в базу
  • Как ускорить индексацию

Что такое индексирование?

Мы уже рассказали вам об этом… Короче говоря, это ответы на запросы пользователей, которые они вбивают в поисковую систему. Если забить «купи слона» — получи сайты, которые предлагают слона оптом и в розницу. Яндекс или Google не будут показывать пластиковые окна и девушек по вызову по таким запросам. А теперь внимание, вопрос: каждый ли сайт попадает в результаты поиска? Нет, не все. Как минимум необходимо, чтобы поисковые системы знали о существовании этого сайта и о содержании, которое на нем публикуется. В конце концов, как можно показать то, о чем никто не знает? Для этого есть базы данных на сайтах.Короче говоря, добавление сайта с его контентом в эту базу данных называется индексированием. Как работает индексация? Робот Яндекс или Google работает по собственным алгоритмам: ищет информацию о вашем сайте (в эту информацию входят ключевые статьи, тексты, фотографии и т. Д. — словом, весь контент). Он похож на рентгеновский снимок, просвечивает каждую страницу сайта, анализирует ее, сканирует и добавляет ваш сайт в базу данных. Теперь он будет отображаться в результатах поиска и появляться в ответ на запросы пользователей. А какие должности — лидеры или аутсайдеры — зависит от того, чем они наполнены.Конечно, индексация сайта — необходимость. Когда поисковые системы начинают видеть ваш сайт, посетители заходят на него и растут.

Как добавить сайт в базу?

Допустим, вы создали сайт Самый лучший site.rf. Мы наполнили его, конечно, лучшим контентом и с нетерпением ждем, когда он достигнет вершины. Чтобы сайт и контент были проиндексированы и включены в базу данных, вы можете использовать два метода.
  1. Дождитесь самоиндексации. Рано или поздно роботы найдут ваш сайт — все, что вам нужно сделать, это оставить на него активные ссылки с других ресурсов.Считается, что чем больше ссылок, тем быстрее будет индексация.
  2. Добавьте сайт вручную, заполнив специальную форму в поисковой системе. Там нужно указать ссылку на сайт и краткую информацию о нем. В Яндексе, например, это делается в сервисе Яндекс Вебмастер На странице Сообщить о новом сайте.
Там же в веб-мастере вы можете отслеживать статистику запросов, которые приводят пользователей на ваш сайт. В Google тоже все просто — зарегистрировать сайт можно по ссылке Google Webmaster Center.Насколько быстро выполняется индексация? Точные цифры сказать сложно — вот как повезло. Но одно мы знаем точно: Яндекс индексирует медленнее Google. Были случаи, когда индексацию в нем ждали несколько недель.

Как ускорить индексацию?

Алгоритмы поисковых систем непредсказуемы, и, как уже было сказано, точного рецепта нет. Можем порекомендовать проверенные методы (фактически те самые, которые влияют на продвижение сайта в поисковой выдаче)
  1. Уникальный контент, который так любят поисковые системы.Один момент: если вы разместили статью на веб-сайте или в блоге, а она еще не проиндексирована, теоретически любой может забрать ее и опубликовать. Если на другом сайте статья проиндексирована раньше, значит, вы в полете. Ваш товар будет считаться неуникальным, а конкурент останется в шоколаде.
  2. Четкая структура сайта. Соблюдайте правило трех кликов: попасть на каждую страницу с главной можно не более чем за три клика. Меньше — хорошо, больше — лучше нет! Это упростит поисковым системам индексацию не только домашней страницы, но и других страниц.
  3. Связь с внутренними страницами полезна как для посетителей, так и для робота.
  4. Рассылка сообщений в RSS-каталоги. Все ваши сообщения будут дублироваться в каталогах RSS, куда добавляются RSS-каналы. Это каналы для подписки на обновления блогов или сайтов, чтобы вы получали все последние новости на свою почту. С их помощью поисковая система быстро найдет ваши новые статьи и проиндексирует их.

Приведем пример успешной индексации

Неделю назад на одном из сайтов ВПО-213 появилась статья о пистолете… Информации об этом ружье в Сети практически не было — в продаже его еще не было. На YouTube была только короткая видеопрезентация. Соответственно, текст был совершенно уникальным и практически единственным в Интернете по данной теме. Около полуночи текст был опубликован на сайте (даже не на главной!) И за короткое время проиндексирован. На следующее утро в половине десятого статья заняла третье место в поисковой выдаче Яндекса. В 9.50 она стала первой и с тех пор удерживает эти позиции.

? Если вы попали на эту страницу, то вы, вероятно, недовольны тем, что поисковые системы так медленно и неохотно индексируют ваш сайт, и вы хотели бы, чтобы ваши статьи попадали в индекс так быстро, что вы могли сразу увидеть результат своей тяжелой работы. Тем не менее, на душе не очень приятно, когда вы пишете статью длиной в километр, а затем неделями ждете, пока Яндекс залезет туда и введет ее в свою поисковую базу, чтобы потом ее можно было найти в поисковой системе.

Итак, в этой статье вы узнаете 24 способа, как загнать свой сайт, статью, страницу в индекс, чтобы утром уже было, как в Яндексе, так и в Гугле.Хотя, я тут пустяк: если использовать все 24 метода, то ваш сайт со всеми страницами будет в индексе через час.

1 ) Первое, что нужно сделать, это зарегистрироваться в обеих панелях для веб-мастеров Яндекса и Google и добавить туда свой сайт.

2 ) Хорошо, прежде чем пытаться скармливать наш сайт поисковым системам, нам нужно сделать для них специальную карту для поисковых роботов, называемых. Как сделать карту сразу на свой хостинг в корень сайта, и выставить права на нее 777.Затем вам нужно ввести один и тот же файл в обе панели для веб-мастеров Яндекс и Google. Вы, наверное, сейчас думаете, что это за карта и зачем она вообще нужна? На самом деле это простой блокнот, который говорит, какие страницы вашего сайта можно индексировать, а какие нет. Без этого файла Яндекс, вероятно, вообще никогда не узнает о существовании вашего сайта, так что без него никуда.

3 ) Вам необходимо сделать карту сайта Sitemap.xml и так же загрузить ее как в свою, так и в панель для вебмастеров.Карта сайта, в отличие от карты для ботов поисковых систем, представляет собой просто список всех ваших страниц и статей на веб-сайте, в блоге. Вы можете сделать эту карту на этом или использовать плагин для движка WordPress под названием.

4 ) Для ускорения индексации сайта необходимо, чтобы его структура была правильной. Что это вообще значит? Все просто: у каждой страницы свой уровень вложенности. Посмотрите, сколько раз вам нужно щелкнуть мой сайт, чтобы перейти к этой статье. Первый щелчок будет по «всем статьям», второй — по названию статьи.То есть, как мы видим, мы сделали 2 клика, а это значит, что у моей статьи 2 уровня вложенности. Итак, неправильная структура сайта — это когда вам нужно кликнуть более 3 раз перед своей статьей или страницей. Помните, что статьи не должны быть четвертого, пятый уровень вложенности есть, надеюсь с этим все понятно.

5 ) Добавляем в объявление новый сайт или статью. Это делается в той же панели веб-мастеров для Яндекс. Просто вставьте адрес нашей статьи, введите капчу (буквы, цифры из спама) и нажмите «добавить».Таким образом вы информируете Яндекс о том, что у вас появился новый контент (статьи), и через некоторое время поисковые роботы по очереди будут заходить на ваш сайт.

6 ) Мы всегда так делаем. Повторное связывание — это просто ссылка из вашей статьи, которую вы написали на другую. Правильная перелинковка выглядит так: 1 ссылка на главную страницу сайта и от 3 ссылок на внутренние статьи сайта. В результате в каждой нашей статье должно быть не менее 4 ссылок на другие статьи, но вы можете не использовать этот метод на начальном этапе, когда у вас только новый сайт, а на нем нет кучи статей. еще.

7 ) Добавляйте новые статьи на сайт как можно чаще! Хочу отметить, что это очень важный момент для притормозившего Яндекс, потому что если вы будете писать по одной статье раз в месяц, то весь вышеперечисленный список не поможет вам ускорить индексацию сайта. Рекомендую писать и публиковать новые статьи хотя бы через 2-3 дня, а в идеале — 1 день. Также желательно публиковать новый материал не только в тот же день, но и в одно и то же время. Это дает просто мега результат, статья влетает в индекс меньше чем за час.

Кстати, если вы перестанете регулярно обновлять свой сайт, то скоро поисковые системы будут редко на вас смотреть, помните об этом! Для ускорения индексации сайта рекомендую писать статьи не менее 2000 знаков, так как ходят слухи, что Яндекс как-то не особо относится к таким сайтам, где статья меньше 2000 знаков. Если напишете меньше, например 500, то она тоже проиндексируется, но продвигать такую ​​статью будет очень проблематично.

8 ) Пишите только уникальные статьи с уникальностью не менее 90%.Я имею в виду, что вам не нужно копировать чужие уже проиндексированные статьи на свой сайт. Поступая таким образом, вы не только поможете своему сайту, но, наоборот, настолько его накрутите, что тогда вам придется создавать новый. Каждый раз, когда у вас появляется новый материал, всегда проверяйте его на уникальность. Я очень часто пользуюсь этим сервисом, на мой взгляд, лучшим из имеющихся для проверки уникальности.

9 ) Очистить мусорные страницы. Это страницы, на которых по сути ничего нет, ну или там картинка например, и все.Помните, мы говорили с вами о файле robots.txt. Итак, чтобы удалить все мусорные страницы, такие как галерея изображений, адрес входа на сайт, другие файлы, не являющиеся страницами сайта, вам нужно запретить их индексирование в robots.txt.

Как ускорить индексацию сайта в Яндексе с помощью сторонних сервисов?

10 ) Размещать (краткий обзор статей) анонсы новых статей в социальных сетях. Этот метод является одним из лучших с точки зрения Google , но, увы, не в терминах Яндекс.Просто нужно разместить (краткий обзор статьи) как можно больше социальных закладок, таких как: ВКонтакте, Одноклассники, Twitter, Facebook. Для этого я использую платную программу «Жук», но вы можете воспользоваться и этим сервисом, который также бесплатно запустит статью через несколько закладок.

11 ) Сделайте RSS-канал с сайта. RSS — это современная технология, позволяющая публиковать и транслировать практически любые материалы с любого сайта. Этот метод также помогает ускорить индексацию сайта., г. , а также социальные закладки.

12 ) Публикуйте сообщения в блогах на таких платформах, как Livejournal.com, blogspot.com и других. Также обратите внимание, что вам не нужно мучиться, вставляя ссылку каждый раз с сайта в блоги, все это можно сделать за вас с помощью плагина WordPress LiveJournal Crossposter. Когда статьи будут опубликованы, они сразу же будут транслироваться в несколько социальных блогов.

13 ) Используйте службы вопросов и ответов, такие как Mail и Google. Просто зайдите на почту и найдите человека, который ищет ответ на свой вопрос или информацию, о которой вы написали в своей новой статье.Тогда вам просто нужно вкратце написать ему в комментариях со ссылкой, что все это вы уже подробно писали в своей статье.

14 ) Прокомментируйте сайты вашей тематики. Здесь хочу отметить, что 101 сайт комментировать не обязательно. Все просто — ищем сайт с быстрым обновлением статей. Если сайт, например, публикует по одной статье в день, то это то, что вам нужно. Теперь вам нужно перейти к любой статье, прочитать ее и оставить содержательный комментарий, а не что-то в этом роде: спасибо за статью, все мега-пупер, отличная статья, спасибо, большое спасибо за статью.Большинство этих комментариев удалено, чем оставлено.

15 ) Регистрируемся на my.ya.ru и заводим дневник. Но эта штука очень хорошо сказывается на Яндексе в ускорении индексации. Если оставить в дневнике запись для статьи, то Яшка приедет намного быстрее, это заметили не только я, но и многие другие вебмастера (увы, сайт уже не работает).

16 ) Мы регистрируемся в популярных рейтингах, таких как: Рамблер ТОП100, Рейтинг @ Миля, LiveInternet. На этих сайтах просто живут поисковые роботы, особенно бродячие и почтовые.

18 ) Покупайте с главной страницы популярного сайта по вашей теме, который постоянно обновляется! Если вы купите такую ​​ссылку, то поисковый бот будет заходить к вам чаще, даже если я не хочу. Внимание катится с гуглом, с яндексом слабоватым.

19 ) Купите несколько. Это очень дешево, одна ссылка с хорошего сайта обойдется вам всего в 3 рубля на целые 30 дней. Когда покупаете, то запускаете купленные ссылки в социальных закладках. Этот метод используется в крайних случаях, когда они не знают, что делать.

20 ) Размещать объявления и пресс-релизы. Здесь все просто — ищем сайты, на которых можно бесплатно оставить пресс-релиз (статья со ссылкой). Недостаток только один — статья должна быть уникальной, но большой плюс в том, что в статье можно разместить до 3-х ссылок.

21 ) Зарегистрируйтесь на Subscribe.ru и начните свою рассылку. В настройках рассылки вы можете вставить свою ссылку на сайт. Когда вы отправите новое письмо, поисковые роботы заметят это, что, в свою очередь, поможет ускорить индексацию сайта.

22 ) Проверьте ответ от сервиса Яндекс. Бывают случаи, когда статья не хочет попадать в индекс Яшки, тогда мы заходим в панель вебмастера Яндекса и проверяем ответ сервиса. Добавьте адрес страницы, статью и нажмите «проверить». Яндекс предоставит нам техническую информацию на этой странице. Проделываем эту операцию 7 раз, каждый раз меняя робота Яндекса на другого. Например, от главного робота к картинному роботу.

23 ) Увеличьте ссылочную массу вашего сайта.Когда у вас есть 1000 ссылок, ведущих на ваш сайт, вам больше не нужно думать о том, как ускорить индексацию сайта — это всегда будет быстро.

24 ) Использование. Это поможет вам разместить сотни ваших ссылок во многих RSS-каналах. Это очень удобно, например, когда вы размещаете сразу несколько сайтов и у вас нет времени ждать их индексации. Кстати, тот же сервис можно использовать для запуска ваших доноров, на которых была куплена ссылка, чтобы она быстрее попала в индекс.(увы сайт переехал, поэтому ждем обновления).

То есть по сути все методы, хотя я не использую их все, а только 1-10,15,17,22,24 методы. А теперь поговорим о том, зачем вообще нужна эта ускоренная индексация?


Зачем нужно ускорять индексацию сайта?

Ну, первый и самый важный и важный момент — не допустить кражи ваших статей. Представьте, вы написали огромную статью, убили ее весь день, как я, а какой-то не совсем добрый и вменяемый человек взял и опубликовал вашу статью дома.Так вот в чем беда, если ваша статья проиндексируется им быстрее, это будет означать, что Яндекс и Гугл будут считать его первоисточником и автором этой статьи, и вы здесь ничего не докажете, в поддержку писать бесполезно сервис, перед вами уже тысяча тысяч человек обратились.

Но это может произойти и совершенно случайно, без какого-либо злого умысла извне. Мало кто знает, что это такое: поисковая оптимизация, SEO, копипаст (не уникальный текст) и т. Д.А теперь представьте, что человек только что пришел с поиска, и ваша статья ему очень понравилась, поэтому он взял ее и опубликовал в своем блоге ЖЖ. Забавно, конечно, но откуда он знал, что этого делать нельзя?

У меня даже был забавный случай. Однажды заказывала статью о фрилансе, потом через некоторое время проверила ее на уникальность, нашла копию, написала владельцу сайта горячими и нежными словами, в ответ тоже получила кучу нежных слов, только еще нежнее, в конце концов выяснилось, что этот фрилансер продал ему статью, которую он написал для меня.Затем владелец сайта удалил статью, так как увидел, что я опубликовал ее раньше, хотя дату можно установить вообще любую. Вот более короткая история.

Вторая причина — если вы продаете ссылки с веб-сайта. Это очень важно, если у вас слабая индексация, у вас ссылки никто не купит, даже если у вас ИКС 200 и вы продаете ссылку за 100 рублей, что очень дешево. Согласитесь, кто хочет выкинуть деньги на ветер, когда можно купить с такими же параметрами только со 100% индексацией ссылки на свой сайт.Вот почему индексация так важна.

На этом, пожалуй, и закончу свой мануал. Надеюсь, после этой статьи у вас никогда не возникнет вопросов. , г.

Быстрая индексация в поисковых системах особенно важна для молодого сайта. Потому что у него еще нет определенного веса (или «доверия»). Особенно важно регулярно обновлять его в первые месяцы жизни сайта. Контент также должен быть качественным.

Быстрая индексация нового сайта в Яндексе

Для того, чтобы ваш новый сайт быстро проиндексировался в Яндексе, вам необходимо добавить его в Яндекс Вебмастер.Затем выберите блок «Индексирование» -> «Повторный обход страниц» (см. Рис).

Повторное сканирование страниц в Яндекс Вебмастере

Для молодого сайта обязательно включите в этот список домашнюю страницу. Нередки случаи, когда робот заходит на главную страницу и индексирует с нее все внутренние ссылки. Таким образом можно проиндексировать более 20 страниц.

Быстрая индексация сайта в Google

Аналогично Яндексу, чтобы ускорить индексацию нового сайта в Google, его необходимо добавить в Google Webmaster (Google Search Console).Вам нужно выбрать вкладку «Skinning» -> «View as GoogleBot».

Просмотреть как функцию GoogleBot

И в открывшейся форме вставьте адрес нужной страницы, нажмите «Сканировать». После этого вы увидите результат сканирования страницы и появится волшебная кнопка «Запросить индексирование».

Индексирование функциональных запросов

Нажмите на кнопку, и вы увидите что-то вроде этого:

Как проиндексировать сайт в Google

Здесь обязательно выберите «сканировать этот URL и прямые ссылки».В этом случае робот попытается пройти по всем внутренним ссылкам на указанной вами странице. С большой долей вероятности все они войдут в индекс Google как можно быстрее!

Индексирование нового сайта на старом домене

В данном случае задача не такая тривиальная, как кажется. На доменах с историей часто бывает сложно проиндексировать новый сайт. Этот процесс может занять недели или месяцы. Это зависит от истории домена: были ли ранее на него санкции и какие.

Схема действий в этом случае простая:

  • Добавить сайт в Яндекс и Google вебмастер
  • Запросить переиндексацию через соответствующий функционал
  • Подождите 2-3 обновления.
  • Если ничего не изменилось — напишите в поддержку и решите этот вопрос индивидуально.

Способы ускорения индексации молодого сайта

Помимо методов, которые я указал выше, есть еще несколько, которые работают:

  1. Обмен материалами в социальных сетях … Рекомендую использовать: Вконтакте, Facebook, Twitter, Google+ (несмотря на то, что социальная сеть Google на самом деле мертва, помогает ускорить индексацию новых страниц)
  2. Регулярное обновление сайта … Со временем сайт собирает статистику публикации новых материалов, помогает индексировать новые страницы. Регулярно обновляйтесь и, возможно, вы сможете «накормить быстрого робота» (в этом случае индексация новых страниц займет 1-10 минут).
  3. Для новостных сайтов: введите Яндекс Новости … Это не так сложно, как может показаться, но эффект будет потрясающий. Быстрый робот обитает на всех сайтах Яндекс Новостей.
  4. Грамотная внутренняя структура сайта … Обязательно используйте ссылки, ТОП-материалы и т.д. Увеличение количества внутренних ссылок на странице (в разумных пределах) также ускорит индексацию

Быстрая индексация новых страниц старого сайта

FAQ по индексации молодых сайтов

У вас есть вопросы по индексации молодых сайтов? Задайте их в комментариях!

Q: Следует ли закрыть новый сайт из индексации?
A: Я рекомендую не открывать ваш сайт для поисковых систем, пока он не заполнен начальным содержанием.По моему опыту, повторная индексация существующих страниц занимает намного больше времени, чем индексация новых.

Q: Сколько времени нужно Яндексу, чтобы проиндексировать новый сайт?
A: В среднем это 1-2 обновления (от 1 до 3 недель). Но ситуации бывают разные.

Q: Какие могут быть проблемы с индексацией молодого сайта?
A: Наверное, основная проблема — плохой контент. По этой причине сайт не может быть проиндексирован. Были и случаи, когда выкатывали молодой, но большой сайт с тысячами страниц.У поисковой системы все еще есть воспоминания о дорвеях, поэтому молодые сайты с тысячами страниц имеют «особое отношение».

Q: Со скольких страниц следует открывать новый сайт для индексации и как часто его следует обновлять?
A: Вы можете открыть сайт для индексации с 1 страницы. Важно придерживаться простого правила: не размещайте сразу тысячи страниц на сайте, потому что это можно расценивать как поисковый спам, а на сайт регулярно добавляются новые материалы. Пускай 1 материал в 3 дня, но регулярно! Это очень важно!

Q: Как часто Яндекс индексирует сайты?
A: По официальной информации Яндекса периодичность индексации может составлять от 2 дней до нескольких недель.А про методы разгона написано выше.

Здравствуйте! Сегодня я расскажу вам несколько очень важных вещей, если вы их пропустите, вы можете потерять трафик. Часто при работе с сайтами необходимо определить: какие страницы проиндексированы, а какие нет. Какие страницы требуют дополнительного внимания для того, чтобы их проиндексировать.

Это особенно заметно при работе с интернет-магазинами: при работе с огромным количеством товаров / разделов постоянно добавляются все новые и новые страницы.Поэтому нам нужен жесткий контроль над индексацией вновь добавленных страниц, чтобы не терять поисковый трафик.

В этом коротком руководстве я расскажу вам, как проверять страницы сайта на предмет индексации.

Как проверить страницы на предмет индексации

Я уже описал, как я проверяю индексацию конкретной страницы с помощью панели RDS.

Ну или можно просто вбить этот код в Яндекс:

Url: www..ru / about

Или в Google:

Инфо: https: // site / about

Конечно url сайт / около сдачи на вашу.

А что, если вам нужно проверить индексацию десятков / сотен, а то и более статей? Действую так:

  1. Ставим замечательную бесплатную программу YCCY (скачать ее можно отсюда).
  2. Запускаем и заходим в Индексатор:

  3. В левой части программы загружаем список URL-адресов для проверки на предмет индекса:

  4. В настройках при работе с Яндексом ставил работать через Яндекс XML. и с чем его едят, я уже рассказывал:

  5. Выбираем интересующую нас поисковую систему, отмечаем, что нас интересует (в нашем случае «Индексирование») и нажимаем на кнопку «Начать проверку» :

  6. И вуаля, справа вы увидите отдельный список проиндексированных страниц, а также то, что еще нет в индексе:

Что делать с неиндексированными страницами?

Сервисы для ускорения индексации

Я обычно запускаю неиндексированные страницы с помощью разных сервисов, я предпочитаю этот getbot.гуру. Да, конечно, не 100% страниц попадают в индекс с его помощью, но все же в среднем около 70-80% вытесненных URL обычно попадают в индекс (это сильно зависит от адекватности страниц тоже).

Услуга, конечно же, платная, за каждый URL нужно платить. За те страницы, которые не включены в индекс, последует возврат средств, что очень честно и заманчиво (в зависимости от тарифа). И уже те страницы, которые не попали в индекс, я повторно отправляю в сервис.Опять же, при следующем обновлении некоторые из этих страниц попадут в индекс.

Думаю разобраться самостоятельно, ничего сложного. Зарегистрируйтесь -> Создать проект -> Запустить проект. Единственное, что может вызвать затруднения при выборе тарифа. Я предпочитаю работать с тарифом «Абсолютное обновление» (кликните на изображение, чтобы увеличить):

Кстати, обратите внимание, что в сервисе вы также можете проверять страницы на предмет индексации. Цена вопроса — около 10 копеек за URL.Я предпочитаю бесплатный YCCY, о котором я писал выше.

На страницы из проекта отправляется квикбот Яндекс, периодически проверяется индексация страниц проекта в Яндексе, на страницы, не попавшие в индекс, квикбот отправляется заново. После выполнения задачи для страниц, не включенных в индекс, средства автоматически возвращаются на баланс. Мы не используем социальные сети и методы спама для привлечения быстрых роботов. Сервис использует собственную сеть новостных сайтов, владельцами которых мы являемся.

Ускорение индексации с помощью Twitter или новостных сайтов

Что ж, если вы не любите прогоны с помощью таких сервисов, то можете использовать Twitter. Ссылки в Twitter очень хороши для поисковых систем, если учетные записи более или менее адекватны.

Относительно подробно об этом я уже писал в уроке «». Там, помимо Twitter, я проанализировал и другие способы быстрой индексации.

Повторное индексирование существующих страниц

Аналогичным образом вы можете отправить страницу на повторное индексирование.Проверяя кеш страницы в поисковых системах, вы можете узнать, проиндексирована страница или нет. Я рассказал, как проверить кеш страницы.

Работа с индексом с помощью программы Comparser

Хотя YCCY — старая программа, мне она очень нравится. Я использую его для проверки индексации знакомых мне страниц.

Если нужно узнать, какие страницы сайта еще не проиндексированы (я уже писал об этом целый урок). Его принцип прост: он выгружает все URL-адреса сайтов, которые вы разрешили для индексации (этот элемент можно изменить в настройках), и проверяет каждую страницу на предмет индексации.Или он выгружает первые 1000 страниц из индекса с помощью простого вызова.

Самая популярная поисковая система (что это такое?)

Теперь, когда фраза «Google it» так прочно вошла в наш повседневный язык, мы склонны думать, что поиск в Google — это то же самое, что поиск в Интернете. Но Google — это всего лишь поисковая система, то есть инструмент, который отображает информацию в Интернете на основе вашего конкретного запроса. Другими словами, это каталог Интернета.

Google был запущен в качестве исследовательского проекта основателями Ларри Пейджем и Сергеем Брином в 1996 году, и, несмотря на попытки продать идею менее чем за миллион долларов в 1999 году, он стал самым популярным способом поиска в Интернете в мире, и одна из самых ценных компаний в мире.

Однако есть много других инструментов, которые вы можете использовать для поиска в Интернете, но насколько легитимны эти другие инструменты? Кто-нибудь вообще ими пользуется?

Оказывается, несмотря на доминирование Google на рынке, все еще существует значительная часть поискового трафика, которой он не владеет. В какой-то момент это может измениться, но, вероятно, не скоро. Но чтобы дать вам представление о том, как выглядит поисковая индустрия, мы составили список самых популярных поисковых систем в мире.

поисковых систем в 2019 г. по доле на мировом рынке

[Источник]

Что такое поисковая машина?

Мы используем поисковые системы в качестве основной точки доступа к Интернету, и это заставляет многих из нас думать, что поисковые системы — это Интернет. Но это не так.

Вместо этого они представляют собой проиндексированные каталоги контента, доступного в Интернете, что означает, что информация, отображаемая через поисковую систему, на самом деле представляет лишь часть того, что там есть, хотя Google делает довольно хорошую работу по обеспечению индексации как возможно много страниц.

Поисковые системы работают с использованием ботов и алгоритмов для сканирования контента в Интернете, чтобы определить его качество и соответствие популярным поисковым запросам. Этот процесс состоит из следующих трех компонентов:

  • Пауки. Боты, которые сканируют Интернет и переходят по гиперссылкам для обнаружения нового контента.
  • Индексы . Когда боты находят новый контент, они проверяют его на релевантность, используя такие вещи, как ключевые слова, а также смотрят на некоторые статистические данные о производительности страницы, чтобы определить, считается ли контент авторитетным для людей, использующих поисковую систему.На основании того, что они находят, они индексируют или каталогизируют его, чтобы инструмент поиска мог получить к нему доступ, когда это потребуется пользователю.
  • Программное обеспечение интерфейса поиска. Это «домашняя страница» поисковой системы. Его задача — прочитать ваш запрос, найти наиболее релевантную информацию и отобразить ее так, чтобы в первую очередь отображались наиболее релевантные результаты, что в конечном итоге улучшает впечатление пользователя.

Важно понимать это определение, чтобы мы могли различать фактически поисковые системы (Google, Bing, Yahoo!) и сайты, которые выглядят как поисковые системы, но на самом деле не являются (YouTube).

Первая поисковая система

Для многих из нас первыми поисковыми системами, которые мы когда-либо использовали, были Yahoo !, Magellan, Excite и Northern Light, а для многих из нас Google — единственная поисковая система, которую мы когда-либо знали.

Однако примеры поисковых систем появились вместе с первыми версиями Интернета. Примеры включают «Кто есть» и «Информационная система Knowbot», но эти инструменты полагались на индексирование отдельных пользователей Интернета, а не на контент, что означает, что нужно было вручную загрузить контент со своего компьютера в каталог поиска, чтобы он появился в результатах поиска.

Однако изобретение всемирной паутины в 1993 году сделало возможным автоматическую загрузку контента, что открыло дверь для быстрого роста поисковых систем, имевшего место на протяжении 1990-х годов.

Многие из этих оригинальных инструментов со временем потеряли актуальность, но некоторые остались до наших дней. Теперь поиск в Интернете превратился в крупную отрасль; Одни только американские компании тратят около 70 миллиардов долларов в год на то, чтобы добиться того, чтобы их контент занимал первые места в результатах поиска в поисковых системах. Этот процесс известен как поисковая оптимизация.

Самые популярные поисковые системы

Первый из них будет очевиден, но некоторые из имен в остальной части этого списка самых популярных поисковых систем в мире могут вас удивить.

Google

То, что Google — самая популярная поисковая система в мире, никого не должно удивлять. Однако вы можете удивиться, узнав, насколько велик и могущественен Google в мире интернет-поиска. Например:

[1], [2], [3], [4]

Частично причина того, что Google смог захватить рынок такой мертвой хваткой, заключается в том, что это была одна из первых поисковых систем, которая начала продавать поисковые запросы.Основатели Ларри Пейдж и Сергей Брин осознали ценность подробного индекса Интернета, который может предложить компаниям на раннем этапе, и они начали продавать рекламу по ключевым словам в 2000 году. Часто это первые результаты, которые появляются в верхней части страницы результатов поиска. слово «Объявление».

Google в конечном итоге расширил эту область и теперь использует историю поиска и множество других данных, предоставленных пользователями, для показа целевой рекламы для своих многочисленных партнеров. Эта практика обеспечивает большую часть доходов компании; В 2018 году выручка от рекламы составила для Google около 116 миллиардов долларов.

Однако, несмотря на эти впечатляющие статистические данные о доминировании Google на рынке поиска, Google удалось расширить свое присутствие в нашей жизни, предлагая широкий спектр других продуктов, от которых мы зависим, наиболее известными из которых являются GMail, Google Docs и операционная система Android.

Эти линейки продуктов сами по себе являются лидерами отрасли и помогают показать, насколько важным стал Google в нашей жизни сегодня.

Bing

Главный конкурент Google — Bing, принадлежащий Microsoft.Однако, имея всего около 5% рынка поиска, Bing вряд ли представляет серьезную угрозу гегемонии Google. Это поисковая система по умолчанию на ПК с Windows (пока вы не войдете в систему и не измените ее на Google), но эта тактика помогает ей оставаться актуальной. Однако беглый взгляд на статистику показывает, что Bing сильно отстает в гонке.

В настоящее время Bing принимает около 1,3 миллиона уникальных посетителей в день и только около 10 миллиардов поисковых запросов в месяц. Чтобы поместить это в контекст, Google выполняет такое же количество ежемесячных поисков Bing всего за два или три дня.

Когда вы выполняете поиск в Bing, он выглядит почти так же, как Google, даже если иногда отображает другие результаты.

ПРОТИВ

При внимательном осмотре обнаруживаются еще несколько существенных различий, но на первый взгляд практически невозможно отличить их друг от друга. Это может быть частью причины, по которой Bing изо всех сил пытается претендовать на большую долю рынка; он фактически делает то же самое, что и Google, но мир настолько привык к Google, что, похоже, он не хочет меняться.

Bing действительно предлагает программу вознаграждений через Microsoft, которая позволяет вам зарабатывать баллы за покупки через поиск, которые можно обменять на скидки и подарочные карты, но даже это не смогло вывести людей из рук Google.

Yahoo!

В первые дни Yahoo! был основным конкурентом Google, но с годами все немного изменилось. В настоящее время ей принадлежит менее 4 процентов мирового рынка поиска, а Yahoo! Поиск теперь выполняется с помощью Bing, а это означает, что результаты поиска, которые вы получаете от одного, скорее всего, будут такими же, если не полностью похожими на результаты, полученные от другого.

Однако Yahoo предлагает другие услуги, такие как электронная почта и фэнтези-спорт, и поэтому остается актуальным веб-сайтом в современном мире. В настоящее время он занимает 9 место в рейтинге Alexa самых популярных веб-сайтов в мире.

Baidu

Поисковой системе Baidu удалось охватить менее 1 процента глобального объема поиска, но это популярный инструмент поиска в Китае, стране, где Интернет ограничен, а Google часто даже недоступен. Однако, несмотря на эти ограничения, Baidu по-прежнему остается четвертым по посещаемости сайтом в мире.Это напоминает нам об одной неопровержимой истине: китайский рынок огромен.

В результате это означает, что, хотя Baidu является небольшим игроком в мире глобального поиска, он является важным компонентом любой маркетинговой стратегии, связанной с поиском, нацеленной на китайский рынок.

Однако за пределами Китая Baidu значительно менее актуален. В настоящее время он отображает результаты только на китайском языке, и из-за этого трудно увидеть сценарий, в котором Baidu сможет занять долю рынка в других частях мира, особенно с учетом доминирования Google.

Яндекс.ру

Подобно Baidu в том, что он работает в основном в одной стране, Yandex.ru является одной из ведущих поисковых систем в Российской Федерации. В общей сложности на его долю приходится около половины поисковых запросов в России, что дает ему около 0,5% доли мирового рынка.

Однако, как и Baidu, трудно ожидать выхода Yandex.ru на другие рынки, хотя у него есть возможности захватить больший процент российского рынка поиска. Несмотря на эти ограничения роста, позиция Яндекс.ru (который получил свое название от «Еще один индекс») на российском рынке, что делает его чрезвычайно ценным поисковым инструментом.

Компания стала публичной в 2011 году и привлекла 1,3 миллиарда долларов, что, по данным Reuters, стало крупнейшим публичным размещением в области поисковых систем с 2004 года. Сегодня Яндекс приносит чуть менее 2 миллиардов долларов годового дохода за счет продажи рекламы так же, как Google делает это в других частях мира.

DuckDuckGo

Утка

С момента запуска в 2010 году DuckDuckGo значительно увеличила количество поисковых запросов, выполняемых на сайте.В 2019 году он уже обработал более 30 миллионов поисковых запросов, что вдвое больше, чем за весь 2018 год.

Отчасти причина того, что DuckDuckGo так быстро растет, заключается в том, что она делает упор на безопасность. Он не профилирует людей и не обслуживает результаты поиска на основе того, что они запрашивали в прошлом. Такой подход призван стать прямым оскорблением политики Google, которая, по мнению многих, нарушает личную жизнь и дает компании слишком много власти.

За этой поисковой системой будет интересно наблюдать в ближайшие годы.Его быстрый рост в недавнем прошлом отражает общий сдвиг в сторону конфиденциальности в Интернете, вызванный желанием людей иметь больший контроль над своими личными данными и тем, что компании знают о них. Только время покажет, позволит ли эта стратегия поисковой системе занять огромную долю рынка, которую в настоящее время занимает Google.

Достойных упоминаний

Есть несколько других поисковых систем, таких как Ask (первоначально AskJeeves) и AOL Search, но эти сайты имеют дело с такой небольшой частью глобального объема поиска, что на самом деле не стоит изучать их дальше.

Однако есть еще три веб-сайта, которые генерируют такой объем поискового трафика, что их стоит включить в этот список, а именно Facebook, Amazon и YouTube, который является частью Google

.

Эти три гиганта не вошли в исходный список, потому что их сайты не являются полноценными поисковыми системами, то есть они индексируют контент не со всей сети, а только со своего собственного сайта.

Более конкретно, нужно загрузить контент на свой сайт, прежде чем он появится в результатах поиска.Это отличается от поисковой системы, потому что для отображения в результатах поиска все, что нужно сделать, это загрузить контент в Интернет. Затем поисковая система найдет ваш контент и отобразит его, если он актуален, чего не делают YouTube, Facebook и Amazon.

Это означает, что информация, которую эти сайты отображают для пользователей, значительно более узкая по объему, но они обладают таким большим объемом информации и обрабатывают такой большой объем веб-трафика, что интересно отметить некоторые их статистические данные, связанные с поиском.

YouTube

Чтобы еще больше продемонстрировать степень доминирования Google, предположим, что второй по популярности поисковой системой в мире является YouTube, принадлежащий Alphabet, той же компании, которая владеет Google. Однако, несмотря на генерирование тонны поискового трафика, они совершенно разные: YouTube специализируется на отображении загруженного пользователями видеоконтента.

Согласно рейтингу Alexa, YouTube является вторым по популярности веб-сайтом в мире, уступая только Google.В настоящее время около 1,3 миллиарда человек ежемесячно используют YouTube, чтобы смотреть около 5 миллиардов видео в день. Точные цифры поиска установить сложно, но мы можем ожидать, что они будут близки к количеству просмотренных видео, что не так уж сильно отстает от поискового трафика YouTube и Google. Довольно невероятно, учитывая, что он отображает видео.

Из-за всей этой активности поисковый трафик YouTube чрезвычайно ценен. Он позволяет лучше понять предпочтения и интересы пользователей, что делает его отличным местом для демонстрации целевой рекламы, основного источника дохода компании.В общей сложности YouTube приносит своей материнской компании Alphabet более 13 миллиардов долларов дохода от рекламы в год.

Однако вопрос о том, действительно ли YouTube является поисковой системой, вызывает споры, поскольку некоторые утверждают, что это скорее платформа социальных сетей, чем поисковая система. Но сложно не заметить YouTube при составлении списка самых популярных поисковых систем.

Amazon

Хотя Amazon — это портал электронной коммерции, который позволяет вам покупать практически все, и в настоящее время он доставляется к вам домой всего за день, — это место номер один, куда люди идут, чтобы выполнить поиск продукта .Раньше Google занимал это место, но две компании поменялись местами в 2018 году, в результате чего Amazon занял первое место по поисковым запросам, связанным с покупками в Интернете. Тот факт, что кто-то смог обогнать Google во всем, говорит о влиянии Amazon на сегодняшний цифровой мир.

Facebook

Запущенный как веб-сайт, на котором люди могли общаться с друзьями и узнавать, чем они занимаются, Facebook теперь представляет собой нечто большее, и он становится все более актуальным как инструмент поиска. Фактически, в 2018 году он превзошел Bing по общему количеству ежедневных поисков.Однако, поскольку Bing и Facebook делают разные вещи, мы не можем сказать, что Facebook имеет большую долю глобального объема поиска по сравнению с Bing. Интересно видеть, как люди все больше и больше используют Facebook для поиска, и мы, безусловно, можем предположить, будут ли они использовать это в будущем для увеличения охвата Facebook и увеличения прибыли.

Заключение

Если посмотреть на мир поисковых систем, ясно одно: Google — король (а также королева, принц, принцесса, султан, премьер, премьер-министр, президент и все остальное между ними).Он потребляет так много рынка, что его конкурентам не остается другого выбора, кроме как убрать некоторые отходы. Веб-сайты, работающие в странах, где Google ограничен, преуспевают, но в странах, где работает Google, он доминирует.

Время покажет, продлится ли это долго (если мы что-то знаем о мире технологий, так это то, что всегда есть кто-то, кто хочет произвести фурор). Но лидерство Google настолько велико, что мы можем ожидать, что он станет ведущей поисковой системой на многие годы вперед, и теперь, когда мы видим, что Google расширяется во многие другие уголки технологического пространства, остается единственный вопрос: что будет что делать дальше?

Страница отладки находится в индексе Яндекс

Это не считается дублированным содержимым.К любому адресу страницы вы можете добавить столько параметров URL, сколько захотите, но страница будет такой же, и поисковые системы знают об этом.

В любом случае, когда включена отладка, плагин добавляет метатег noindex в заголовок, поэтому страницы не должны индексироваться.

Если вы считаете, что эти URL-адреса проиндексированы, я предлагаю вручную удалить их из индекса ИЛИ включить удаленную отладку, чтобы на страницах присутствовал тег noindex.

Когда яндекс просканирует эти страницы, он обнаружит тег noindex и удалит их из индекса.

Тег должен выглядеть примерно так:

Я проверю возможность создания этого тега всякий раз, когда присутствуют параметры URL отладки.

В любом случае, у вас есть канонических тегов на страницах, поэтому поисковые системы знают, какая страница является «исходной»:

https://moz.com/learn/seo/canonicalization

Спасибо за такой быстрый ответ. Но Яндекс — тупой поисковик, канонический тег не понимает. Как отключить режим отладки? Не могу найти эту кнопку. Я правда не включал. Это произошло после обновления плагинов и WordPress до последних версий.

Вы можете отключить удаленную отладку, но это предотвращает создание отладочной информации только при использовании параметров URL:
https: // adinserter.pro / документация / отладка

Кажется, яндекс где-то нашел эти адреса и проиндексировал их.
В любом случае, я не вижу здесь проблем — все страницы отображаются нормально даже с параметрами url.

Обратите внимание, что кто угодно может размещать ссылки на ваши страницы с некоторыми параметрами url. Следовательно, ни одна поисковая система не вызывает никаких проблем из-за этого.

Большое спасибо за ответ.

Как оптимизировать краулинговый бюджет для Google и Яндекс

Поисковые системы не обновляют свои базы данных мгновенно.Процесс индексации может занять недели или даже месяцы. Это определенно не пойдет на пользу SEO. Давайте посмотрим, что такое краулинговый бюджет и почему вам нужно его оптимизировать.

Что такое краулинговый бюджет

Бюджет сканирования — это количество страниц, которые робот поисковой системы просматривает на вашем сайте за один раз. Другими словами, он показывает, сколько новых и обновленных страниц вы можете предоставить поисковому роботу за одно посещение.

Это число может немного меняться, но достаточно стабильно.Важно понимать, что лимит различается от сайта к сайту. Старый и популярный сайт сканируется постоянно, а любой новый веб-ресурс сканируется только частично и с задержками.

Причина проста: ресурсы поисковых систем ограничены. Центров обработки данных никогда не будет достаточно, чтобы мгновенно отслеживать каждое изменение на миллиардах веб-сайтов по всему миру. Особенно, если речь идет о бесполезных и непопулярных веб-ресурсах. Когда бот сканирует некачественные страницы, краулинговый бюджет сокращается.Это отрицательно скажется на рейтинге вашего сайта.

Почему это вообще имеет значение: поисковый робот просматривает заданное количество страниц наугад. Вы не можете вручную заставить его сканировать определенные URL-адреса. Например, ваша страница «О нас» может получить больше посещений, чем новая категория продуктов с новейшими предложениями.

Можете ли вы повлиять на поисковые системы, чтобы увеличить краулинговый бюджет? Да, в некоторой степени. Ниже мы рассмотрели основные методы оптимизации краулингового бюджета.

Как работает веб-сканирование

Робот поисковой системы получает список URL-адресов на вашем веб-сайте для сканирования и время от времени сканирует их.Как создается этот список? Он сформирован на основе следующих элементов:

  • Внутренние ссылки на вашем веб-сайте, включая инструменты навигации.
  • Карта сайта в формате XML (sitemap.xml).
  • Внешние ссылки.

Файл Robots.txt сообщает роботам поисковых систем, какие страницы вашего сайта сканировать. Роботы проверяют текстовый файл, чтобы узнать, можно ли просканировать конкретный URL. Если URL-адрес не указан в файле, он будет добавлен в список сканирования.Тем не менее, обратите внимание, что инструкции в файле robot.txt не являются обязательными для роботов, выполняющих веб-сканирование. Это всего лишь предложение и рекомендация. В некоторых случаях URL все равно будет проиндексирован. Например, если ссылки указывают на него или перенаправляют на эту страницу в индексе, или любые другие сигналы, которые заставляют паук поисковой системы думать, что URL-адрес необходимо сканировать. В результате страница все равно будет просканирована, и Google отправит вам предупреждение «Проиндексировано, но заблокировано файлом robots.txt».

Гэри Иллис объяснил процесс сканирования роботов Google.Google формирует список URL-адресов и сортирует их по приоритету. Сканирование выполняется сверху вниз по списку.

Как вы определяете приоритеты? — Прежде всего, Google учитывает PageRank страницы. Среди других факторов — карта сайта, ссылки и многое другое.

Как только поисковый робот просканирует URL-адрес и проанализирует его содержимое, он добавляет новые URL-адреса в список для их сканирования (немедленно или позже).

Не существует надежного способа составить список причин, по которым бот-поисковый робот будет сканировать URL-адрес и почему нет.Однако, если он решит сканировать страницу, он обязательно это сделает. В конце концов. Когда именно это произойдет, отчасти зависит от вас.

Как определить проблему обходного бюджета?

Когда робот поисковой системы находит много ссылок на вашем сайте и дает вам большой бюджет сканирования, у вас не будет никаких проблем. Однако что, если ваш сайт состоит из сотен тысяч страниц, но бюджет сканирования невелик? В этом случае вам придется месяцами ждать, пока поисковая система заметит какие-либо изменения на вашем сайте.

Вот что вы можете сделать, чтобы выяснить, есть ли у вас проблема с краулинг-бюджетом:

  • Укажите, сколько страниц вашего веб-сайта следует проиндексировать (эти страницы не должны иметь метатег NOINDEX или быть перечислены в файле robots.txt).
  • Сравните количество проиндексированных страниц с общим количеством страниц на вашем сайте с помощью инструментов Google и Яндекс для веб-мастеров.
  • В зависимости от поисковой системы выберите инструмент «Статистика сканирования» или отчет «Статистика сканирования».Google работает методично и обычно сканирует страницу за страницей. При этом в Яндексе нет явной системы (см. Скриншот). Иногда он вообще не сканирует сайт или сканирует только некоторые страницы.

  • Разделите количество страниц на среднее количество просканированных страниц в течение дня. Если результат в 10 раз превышает количество страниц, сканируемых веб-сканером в день, вам необходимо оптимизировать краулинговый бюджет. Если ваше число меньше 3, все в порядке.

Полезно сравнить количество страниц в поисковых индексах Google и Яндекс. Обходные пути для этих систем разные, но разница должна быть незначительной. Более того, различия в наборе данных этих панелей для веб-мастеров помогут вам получить больше информации и идей.

Как увеличить краулинговый бюджет

Этот абзац включает в себя множество моментов, которые следует учитывать. Поэтому мы начнем с самых простых до самых сложных.Тем не менее, все эти методы эффективны.

Общий принцип, который необходимо усвоить, заключается в том, что любая ранее проиндексированная страница, которую робот-робот не может просканировать несколько раз подряд, удаляется из поискового индекса. Это относится к страницам, которые недоступны по техническим причинам (например, из-за 500 ошибок), и страницам, индексирование которых заблокировано намеренно — например, с помощью тега NOINDEX.

Деиндексирование страниц Google занимает много времени. Длится месяц.В течение всего этого времени Google проводит периодические проверки, чтобы убедиться, что страница доступна. Яндекс быстрее деиндексирует «битую» страницу. Однако он будет продолжать индексировать и деиндексировать его неоднократно, пока вы не устраните проблемы.

Устранить проблемы

Существует только два типа действительных ответов сервера для правильно настроенного веб-сайта: 200 (ОК) и 301 (постоянное перенаправление). Обратите внимание, что первое должно значительно преобладать над вторым. Все остальные ответы требуют внимательного рассмотрения и исправления, и вот почему.

  • Если вы по какой-то причине использовали временные 302 редиректы вместо постоянных 301, то бот поисковой системы будет вести себя соответствующим образом: поскольку контент временно недоступен, поисковая система не удалит его. Вместо этого он будет периодически перепроверять страницу. Таким образом, вы просто тратите свой краулинговый бюджет.
  • Второй пример — использование ошибки 404 (не найдено) вместо ошибки 410 (ошибка пропавшего). Логика проста: если страницу удалить, система попытается деиндексировать и забыть об этом.В случае ошибки 404 сканеры сайта планируют перепроверить страницу позже.
  • 500 ошибок — худшие. Это явный признак некачественного ресурса. Из-за этих ошибок снижается предел скорости сканирования. В результате роботы-роботы сканируют ваш сайт все реже и реже.

Если вы видите это в своих журналах или отчетах SiteAnalyzer, Screaming Frog SEO Spider или их аналогов, выясните причины и примите срочные меры.

Еще один важный источник информации об ошибках — это инструменты для веб-мастеров.Используйте их для отслеживания наиболее важных страниц, чтобы получать уведомления об ошибках и быстро их исправлять.

Избавьтесь от ненужных файлов и дублированного содержимого

Индекс поисковой системы не должен включать служебные страницы, страницы клиентов, дублирующие другие страницы, страницы фильтров, страницы сравнения продуктов, страницы с параметрами UTM и черновики страниц. Остановите индексирование этих страниц с помощью файла robots.txt.

Сайты электронной коммерции больше всего страдают от дублирования контента. Дублированный контент означает, что похожий контент доступен в нескольких местах (URL) в Интернете, и в результате поисковые системы не знают, какой URL показывать в результатах поиска.Иногда Google индексирует страницы продуктов и даже сеансы клиентов, включая продукты из корзины.

Главное правило — сохранять только одну версию каждого URL!

Иногда удалить дублирующийся контент просто невозможно. В таких ситуациях вы можете использовать канонические теги, которые сообщают поисковым роботам, какую страницу следует проиндексировать, а какие страницы следует игнорировать. В этом случае канонический тег действует как мягкое перенаправление 301.

Вот пример такого случая: карточка товара попадает в две разные товарные категории и отображается с разными URL-адресами.Похоже, у вас две одинаковые страницы с разными URL-адресами. Поисковые системы могут рассматривать одну из этих страниц как копию другой и индексировать только главную страницу. Однако затем они могут снова проиндексировать обе страницы. А затем удалите один из них из поискового индекса. Чтобы избежать этого и не тратить впустую краулинговый бюджет, используйте канонические теги, если система управления контентом сайта не предоставляет лучшего решения.

Другой возможный вариант — использовать метатег NOINDEX. Однако имейте в виду, что такие страницы в любом случае сканируются, только реже, чем обычно.Таким образом, краулинговый бюджет продолжает уменьшаться. Кстати, не забудьте добавить в тег NOINDEX атрибут Follow. Таким образом вы предотвратите накопление таких страниц PageRank.

Если вы хотите избавиться от дублированного контента раз и навсегда, вам придется принять более радикальные меры, чем использование метадиректив для поисковых роботов. Если возможно, подумайте об удалении повторяющегося содержимого.

Например: вы можете использовать варианты одного и того же товара, которые немного отличаются друг от друга (цвет, размер и другие параметры).

Свернуть перенаправления

Первое, что вам нужно сделать при проведении технического SEO-аудита сайта, — это проверить перенаправления с домашней страницы. Он может быть доступен через HTTP или HTTPS, а также иметь URL-адреса, отличные от WWW и WWW. Это дублированные версии одной и той же домашней страницы. Поисковая система может выбрать любое перенаправление в качестве основного. Вы потеряете контроль и потратите впустую свой краулинговый бюджет. Вот почему вы должны настроить 301 (постоянное) перенаправление на правильную версию.

Кроме того, вам нужно будет убедиться, что вы используете только одно перенаправление, которое используется между начальным URL и целевым URL.Неправильные настройки перенаправления могут привести к цепочке из двух или трех перенаправлений. Это плохо, и вот почему. Поисковый робот видит новые URL-адреса и добавляет их в свой список URL-адресов для сканирования. Тем не менее, это не означает, что он немедленно проверит эти URL-адреса. Чем длиннее цепочка перенаправлений, тем дольше будет процесс. В результате сканирование задерживается.

Вот типичный пример неправильного перенаправления HTTPS:

Уменьшение количества ссылок — еще одна проблема, связанная с чрезмерным количеством перенаправлений.Объем ссылок уменьшается с каждым перенаправлением, что снижает эффективность построения ссылок.

Домашняя страница — не единственное место, где вы должны проверять двойные перенаправления. Если при анализе просмотров страниц вы столкнулись с множеством проблем, не забудьте провести тест перенаправления.

Создание XML-файла Sitemap

Карта сайта должна включать полный список страниц веб-сайта, которые следует проиндексировать. Только важные вещи! Поисковые системы используют его как средство навигации и получают список URL-адресов для сканирования.Файл sitemal.xml может содержать информацию о дате создания, дате последнего изменения, приоритете важности, скорости сканирования и т. Д.

Не думайте, что поисковый робот всегда учитывает ваши инструкции. Вы можете только надеяться, что робот увидит ваш список URL-адресов для сканирования и в конечном итоге использует его. Все остальное обычно игнорируется, чтобы избежать манипуляций. Однако это не означает, что вы не должны использовать эти директивы. Делайте все, что в ваших силах, но не ожидайте, что это даст стопроцентный эффект.

Не каждая CMS позволяет создать карту сайта в соответствии с вашими планами. Он может включать много нежелательных элементов. Что еще хуже, некоторые CMS даже не позволяют создавать карты сайта. В таких случаях вы можете использовать сторонний плагин или вручную отправить карту сайта, созданную с помощью программного обеспечения или внешней службы.

Некоторые эксперты рекомендуют удалять все URL-адреса из карты сайта, как только страницы будут проиндексированы. Не делайте этого, поскольку это может повредить вашему краулинговому бюджету.

Проверьте карту сайта.xml время от времени. Файл не должен включать удаленные страницы, перенаправления и URL-адреса ошибок.

Создайте хорошую структуру веб-сайта

Это, наверное, самый сложный шаг для выполнения. Реструктуризация функционирующего веб-сайта будет непростой задачей. Создать правильную структуру сайта на стадии разработки намного проще.

Плоская структура сайта — это веб-сайт, на котором все страницы находятся на расстоянии четырех или менее кликов от домашней страницы. Глубокая иерархия сайтов состоит из пяти или более подуровней.

Общий принцип: глубокие и сложные структуры сайтов труднее обходить, чем плоские.Кроме того, они менее удобны для посетителей. Добавьте сюда неэффективную навигацию и отсутствие мобильной оптимизации, и у вас будет полный набор проблем с SEO.

Используйте передовой опыт плоской структуры сайта, чтобы сделать важные страницы доступными всего за несколько кликов. Плоская, горизонтальная конструкция предпочтительнее вертикальной.

Однако учтите, что плоская структура без категорий также не эффективна. Вам необходимо разработать структуру, которая сочетает в себе простоту и последовательность иерархии.Однако эта тема требует отдельного обсуждения.

Вам нужно будет использовать нетривиальные методы, выходящие за рамки технического SEO, для оптимизации структуры вашего сайта. Начать следует с визуализации существующей конструкции. В этом вам могут помочь многие инструменты аудита веб-сайтов. На этом этапе можно приступить к внесению небольших корректировок.

Если вы планируете внести глобальные изменения, начните с семантики и группировки запросов. Определите, что можно соединить, объединить или поднять на уровень выше.Возможно, вы сможете полностью удалить некоторые страницы.

Обратите внимание, , что Google и Яндекс ранжируют сайты по-разному. Ваш рейтинг в Google не повысится, если у вас будет куча спамерских страниц. В то же время Яндекс ставит более крупные сайты выше, даже если их содержание не на высшем уровне. Поэтому придется искать компромисс.

Использовать заголовок Last-Modified

Большинство разработчиков веб-сайтов и системных администраторов игнорируют этот важный технический параметр.К сожалению, даже некоторые специалисты по SEO не понимают важности последнего измененного заголовка ответа.

Заголовок Last-Modified используется для:

  • снизить нагрузку на сервер;
  • ускорить индексацию сайта;
  • повысить скорость загрузки сайта.

Последний измененный заголовок ответа особенно важен, если ваш сайт большой и вы обновляете его ежедневно. Однако многие веб-мастера вообще не используют его.

Как работает заголовок Last-Modified

Поисковый робот или браузер обращается к определенному URL-адресу, запрашивая веб-страницу.Если он не изменился с момента последнего взаимодействия, сервер возвращает заголовок «304 Not Modified». В этом случае нет необходимости перезагружать уже проиндексированный контент. Однако, если были изменения, то сервер отправит ответ «200 OK», и новый контент будет загружен.

Помимо улучшения производительности, поисковая система обновляет дату содержания страницы. Это очень важно с точки зрения рейтинга, особенно для областей, связанных со здоровьем человека и финансами (YMYL).

Last-Modified позволяет поисковому роботу удалить из своего списка некоторые страницы, которые не были обновлены. Он сканирует обновленные страницы, которые были оптимизированы вами. Вы помогаете расставить приоритеты и сэкономить краулинговый бюджет.

Примечание. Используйте заголовок Last-Modified на страницах с наиболее статичным содержимым. Сквозной блок с обновленным содержимым — это не то, что обновленное содержимое, и сканеру это может не понравиться. Как минимум уменьшите количество таких блоков на целевых страницах. То, что хорошо работает на главной странице, не требуется на других целевых страницах.

Для проверки этого заголовка можно использовать средство проверки ответа заголовка HTTP или аналогичные инструменты.

Улучшите свой ссылочный профиль

Если есть проблемы с индексацией веб-сайта, вам следует проверить ссылочный профиль. Улучшение ссылочного профиля — самый медленный и самый сложный способ оптимизации краулингового бюджета, но он очень полезен.

Обратите внимание, что мы говорим не только о внешних ссылках. Внутренние ссылки также ускоряют индексацию. Когда сканер поисковой системы получает ссылку на часто просматриваемой странице, новая страница будет проиндексирована быстрее.

То же самое касается ссылочного капитала, который передается по внутренним ссылкам. Чем больше ссылок ведет на страницу, тем выше ее важность для бота. Распределите ссылочный вес с умом.

Страницы, ссылающиеся на самих себя, «Висячие узлы» и страницы-сироты

Эти ошибки напрямую связаны с внутренними ссылками и вызывают проблемы с индексированием и сканированием. К счастью, эти проблемы легко решить.

Самый простой пример ссылки на страницу — это цепочка навигации, которая указывает, где находится пользователь на сайте.Он не обязательно должен быть интерактивным — вы можете использовать его только для навигации по посетителям. Однако вы также можете просто избавиться от хлебных крошек — это не вызовет проблем с удобством использования.

«Висячий узел» — страница без исходящих ссылок. Он получает ссылочный вес, но не распределяет его. Это тупик для краулера поисковой системы, которому некуда деться со страницы. Обычно такие страницы не вызывают проблем, но их нужно проанализировать и по возможности внести коррективы.

Орфанные страницы представляют собой гораздо более серьезную проблему.Это страницы, которые не связаны ни с какими другими разделами сайта. К счастью, такие страницы очень редки в современных CMS. Например, страница не перечисляется в категориях, не является частью навигации сайта или, что еще хуже, сайт взломан, и злоумышленники разместили свой контент по внешним ссылкам.

Заставьте сканеры сканировать ваш сайт

Вы можете вручную влиять на процессы сканирования. Есть несколько способов сделать это.

Переиндексируйте страницы в панелях для веб-мастеров.И Google, и Яндекс позволяют вручную заставлять сканеры сканировать измененные или новые URL-адреса. Самый большой недостаток процесса — долгое время выполнения (до 10 минут) в Google и ограничение в 20 URL в Яндекс.

Делайте репосты в социальных сетях. Да, все еще работает. Выберите социальную сеть, которую отслеживают и сканируют сканеры, и оставьте там свою ссылку. Не стесняйтесь пользоваться своим Твиттером или ВКонтакте.

Проверка журналов

Проверка журналов сервера позволяет узнать все о расписании веб-сканеров.Однако в некоторых случаях вы не сможете получить к ним доступ. Если у вас возникла такая проблема, вам лучше сменить хостинг.

Если у вас нет навыков администратора сервера, журнал вас наверняка напугает. Данных слишком много, и большая их часть бесполезна. Если ваш сайт небольшой, вы сможете работать с логами даже в Notepad ++. Однако попытка открыть журнал большого интернет-магазина может привести к сбою вашего компьютера. В этом случае вам следует использовать профессиональное программное обеспечение для сортировки и фильтрации данных.

Для анализа данных можно использовать настольное программное обеспечение, такое как GamutLogViewer или Screaming Frog Log File Analyzer. Существуют также онлайн-сервисы, такие как splunk.com. Имейте в виду, что онлайн-сервисы дороги и рассчитаны на большие объемы данных.

Есть проблема: не каждый GoogleBot, который вы найдете в журналах, на самом деле является GoogleBot. Вот почему вам следует проверить IP-адрес бота и использовать WHOIS для фильтрации фейков.

Ваша цель — обработать данные за достаточно большой период (оптимально месяц) и найти закономерности.Вы должны проверить следующие факторы:

  • Как часто сканер посещает ваш сайт?
  • Какие URL-адреса наиболее посещаются поисковыми роботами?
  • Какие URL-адреса игнорируются поисковыми роботами?
  • Встречались ли ошибки на сайте?
  • Сканирует ли файл Sitemap?
  • Какие категории требуют больше всего ресурсов?

Получив эти данные, вы узнаете, нравятся ли сканерам поисковых систем ваши целевые страницы и почему.

Добавить комментарий

Ваш адрес email не будет опубликован.