Как поисковые системы индексируют сайт

Перед показом страницы в выдаче её основательно обрабатывают роботы поисковых систем. Вначале роботы сканируют страницу, затем вносят контент в индекс и предоставляют результаты в выдаче. Мы уже детально раскрыли процесс сканирования страниц, а сегодня поговорим об индексировании.

Индексирование — объединение и систематизация всей собранной на этапе сканирования информации о страницах с помощью создания специальной базы, индекса.

Не все просканированные страницы попадают в индекс. При сканировании робот вносит в свою базу все страницы, которые может обнаружить, но в индекс войдут только те, которые робот сочтет полезными для пользователя.

Также не стоит путать индексирование с ранжированием. На данном этапе ранг документу не присваивается, так как база постоянно пополняется новыми страницами и определить релевантность документа однозначно нельзя — через секунду может появится более релевантная страница. Поэтому ранг странице присваивается непосредственно в момент поиска.

Как формируется индекс?

Индекс содержит данные о словах на странице, о их местоположении, данные из основных тегов и атрибутов, например, тегов title и атрибутов alt. Построив индекс, роботы поисковых систем легко проводят поиск нужных документов.

Большинство роботов используют «инвертированный индекс» — для каждого термина создается список документов, которые содержат этот запрос.

Например:

Термин	Документ
Термин 1	Документ 1, Документ 3, Документ 5, Документ 7
Термин 1	Документ 3, Документ 5, Документ 4
Термин 1	Документ 3, Документ 6

Если посмотреть на создание инвертированного индекса глазами робота, то выглядит это примерно так:

1. Конверсия в чистый текст — робот удаляет нетекстовые элементы (разметка, графика).
2. Токенизация — робот создает выборку слов для выделения лексем (семантических единиц для обработки).
3. Лингвистическая обработка лексем. Собранные лексемы всех слов со всех текстов упорядочиваются по алфавиту и для каждой из них добавляется номер вхождения и информация о номере страницы, откуда лексема была взята.
4. Собственно составление индекса.

Сама запись в индексе выглядит примерно так, но для экономии места роботы могут усложнять ее структуру:

Лексема / номер страницы + номер вхождения / номер страницы + номер вхождения / номер страницы + номер вхождения /

Как управлять индексированием?

Как стимулировать роботов внести страницы в индекс:

1. Открыть закрытые для индексирования страницы.

2. Проследить, чтобы страницы просканировались, добавляя ссылки для сканирования в очередь с помощью вебмастера. Также можно использовать «ловцов ботов» — программы, основная задача которых предоставлять поисковым роботам ссылки на важные страницы сайта.

3. Размещать релевантный контент, метатеги, оптимизировать изображения, следить, чтобы рекламные блоки занимали максимум 30% первого экрана сайта.

Как ограничить доступ роботов к индексированию контента:

1. Добавить специальный метатег в верхней части HTML-страниц: <meta name=»robots» content=»noindex» />.

2. Добавить специальный HTTP-заголовок: X-Robots-Tag: noindex.

Как проверить, попала ли страница в индекс?

1. Вручную, через строку поиска.

1.2. С помощью оператора поиска site:domen.com проверить индексацию всего сайта:

1.3. С помощью оператора site:domen.com/page1, где domen.com/page1 — url проверяемой страницы:

1.4. С помощью оператора поиска cache:domen.com/page1, где domen.com/page1 — url проверяемой страницы :

2. С помощью вебмастера Google:

3. С помощью плагина RDS Bar:

Больше интересных фишек для проверки наличия страницы в индексе, включая специальную таблицу для массовой проверки url-адресов.

Почему страница выпадает из индекса?

1. Установлен запрет на сканирование в robots. txt, есть метатег <meta name=»robots» content=»noindex» />. Если страницы уже попали в индекс, при повторном сканировании робот увидит запрет и страницы выйдут из базы индексируемых.

2. На странице существует атрибут rel=»canonical» для другой страницы сайта.

3. Ответ сервера содержит HTTP-статус 4XX или 5XX, это препятствует обработке страницы роботом.

4. Сайт находится под фильтрами поисковых систем (из-за неуникального контента, манипулирования ссылочными факторами и так далее).

5. На странице присутствуют дубли контента.

6. Страница перенаправляет робота — отображается 301 код ответа сервера.

Выводы

1. Во время индексирования роботы поисковых систем систематизируют собранные в процессе сканирования данные о страницах сайта.
2. SEO-специалист может влиять на индексирование контента сайта (но нет стопроцентной гарантии, что роботы поисковых систем к нему прислушаются).
3. Сканирование страницы не гарантирует того, что контент будет проиндексирован, а индексация контента не означает, что он будет ранжироваться.

Остались вопросы? Пишите в комментариях, или ищите ответы в других выпусках рубрики «Азбука SEO».

Ускорить индексацию сайта: 8 способов

Поисковики – инертные системы. Они похожи на гигантских неповоротливых монстров, а сайты – это пища для них. Они очень-очень медленно пережёвывают сайты, поглощая их, и занося в свою базу поиска. Поэтому вебмастерам хочется ускорить индексацию сайта, сделать так, чтобы новые страницы как можно скорее попадали в поиск. В этой статье разбираемся в том, как это сделать.

Как индексируют поисковики

Поисковые системы содержат в своей базе информацию о миллиардах страниц сайтов всего мира. Именно поэтому они такие медленные и инертные. Это глобальные системы, которые требует огромного количества вычислительных ресурсов, чтобы каждый день беспрерывно обрабатывать и хранить такие большие данные.

Каждый день поисковики сканируют миллионы страниц и заносят новую информацию из них к себе в базу. Они также иногда заново сканируют те страницы, которые уже имеются в их базе, чтобы зафиксировать обновления, если они были. Именно поэтому работа поисковиков происходит так медленно.

Если ускорить индексацию сайта, то одна новая страница попадёт в базу Google примерно через 2-5 дней. Яндекс работает намного медленнее – ему нужно несколько недель. Поэтому у нового сайта первый SEO трафик будет именно из Google, потому что этот поисковик “съест” сайт быстрее.

Добавление сайта в поисковики

Чтобы ускорить индексацию сайта, для начала добавьте его в панели управления поисковиков. Это действие приведёт к тому, что поисковик узнает, о том, что ваш сайт вообще существует и будет сканировать его периодически, и заносить подходящие страницы в свою поисковую базу.

Добавление сайта в Google

Чтобы добавить сайт в Google, перейдите на страницу Google search console, вверху слева нажмите на список и выберите пункт “Добавить ресурс”.

Вы увидите два поля. Впишите доменное имя вашего сайта в поле “Ресурс с префиксом в URL”. Указывать домен следует с протоколом https. Затем нажмите “Продолжить”.

Затем подтвердите право владения своим сайтом, скачав из Google search console предложенный файл, и загрузив его в корневую папку вашего сайта.

Добавление сайта в Яндекс

Чтобы добавить сайт в Яндекс, перейдите в панель Яндекс Вебмастера и укажите доменное имя вашего сайта, дописав протокол https вначале. Нажмите кнопку “Добавить”.

Затем подтвердите право владения сайтом удобным вам способом. Самый простой способ – скачать из Вебмастера файл подтверждения и загрузить его в корневую папку сайта.

Создание карты сайта sitemap.xml

Sitemap.xml – это файл карты сайта, в котором находятся ссылки на все публикации, которые подлежат индексации. Ссылки находятся в таком виде, который удобен поисковым системам. В карте появляются ссылки на новые публикации автоматически.

Поисковики периодически будут сканировать страницы, которые имеются в карте, заносить их в индекс, и проверять, не появилось ли на них что-то новое. А также будут сканировать и индексировать, если в карте появляются ссылки на новые публикации. Всё это ускоряет индексацию сайта, страницы быстрее попадают в поисковик, обновления на сайте становятся быстрее известны поисковику.

Создание sitemap.xml

Для создания карты сайта на WordPress есть немало плагинов. Вот пара самых популярных из них (на сайте должен быть только один плагин для XML карты сайта).

XML Sitemap Generator for Google

WPSSO WP Sitemaps XML

Также такие популярные SEO плагины как Yoast SEO и All in one SEO pack имеют в своём функционале возможность создания sitemap.xml.

Добавление sitemap.xml в поисковики

Чтобы поисковики увидели sitemap.xml, добавьте карту сайта в панели управления. В Google search console это можно сделать в разделе “Файлы Sitemap”. Укажите ссылку на карту сайта и нажмите кнопку “Отправить”. Обратите внимание, что доменное имя уже указанно, напишите URL карты после доменного имени.

На обработку добавленной карты понадобится несколько дней. После успешного добавления, она будет работать и ускорять индексацию сайта.

Чтобы добавить sitemap.xml в Яндекс Вебмастера, перейдите в раздел “Индексирование”, в подраздел “Файлы Sitemap”. Укажите полностью ссылку на карту сайта, и нажмите кнопку “Добавить”.

Карта сайта будет обработана в течение нескольких дней и потом станет участвовать в процессе индексации.

Ручное добавление новых страниц на индексацию

Чтобы ускорить индексацию сайта, у поисковиков есть функция, с помощью которой вебмастер может добавить новые публикации своего сайта на индексацию, и тем самым указать поисковику, что на сайте появилось что-то новое и это надо проиндексировать.

В Google search concole чтобы ускорить индексацию страницы, введите её URL в верхнем поле и нажмите клавишу Enter.

Дождитесь обработки URL, а потом нажмите на кнопку “Запросить индексирование”.

Запрос будет обработан в течение пары минут и потом Google проиндексирует эту страницу. Она сразу же окажется в поисковой базе, но в результатах поиска появиться через несколько дней (если на странице имеется качественный контент).

Чтобы ускорить индексацию в Яндекс Вебмастере и заявить поисковику о том, что у вас появился новый материал, перейдите в раздел “Индексирование”, в подраздел “Переобход страниц”. Укажите URL на новую страницу в поле и нажмите на кнопку “Отправить”.

Страница будет проиндексирована поисковиком, но в результатах поиска появится только после ближайшего апдейта поисковой выдачи.

Создание файла robots.txt

Чтобы ускорить индексацию сайта, сделайте так, чтобы поисковик видел только нужные части сайта (контентные), которые надо добавлять в поиск, и не видел ненужные части (дубли страниц, технические страницы), которые не надо добавлять в поиск. Тогда поисковик не будет тратить ресурсы и время на сканирование не нужного и сразу будут работать с нужными частями сайта.

Создание внутренней перелинковки

Внутренняя перелинковка – это ссылки с одной страницы сайта на другую. Это ускоряет индексацию сайта. Когда поисковик индексирует одну страницу и видит на ней ссылку на другую, он переходит по ссылке и индексирует другую. Поэтому рекомендуется делать внутренние ссылки. Но ими нельзя спамить – ссылки должны быть нужными аудитории сайта. Если переходов по ним не будет, то они будут играть небольшую роль в индексации сайта.

Создание внешних ссылок

Внешние ссылки также влияют на ускорение индексации сайта. Внешние ссылки – это ссылки, которые ведут с другого сайта на ваш. Поисковик, индексируя другой сайт, увидит на нём ссылку на ваш, перейдёт по ней и проиндексирует ваш тоже. Польза от внешней ссылочной массы будет в том случае, если сайт, откуда идёт ссылка, более авторитетен, чем ваш, и если по этой ссылке будут переходы живых людей.

Простая структура сайта

Структура сайта, а именно уровень вложенности, влияют на ускорение индексации сайта. Если уровень вложенности слишком глубокий, то индексироваться будет дольше или вообще не будет.

Полезные публикации должны находиться на не более чем втором уровне вложенности. Это значит, ссылки у них должны быть не более чем exmaple. com/category/subcategory/post_name. То есть не более, чем две категории (рубрика и подрубрика). Но в идеале было бы лучше добавлять статьи в одну категорию, без подкатегории – exmaple.com/category/post_name

Если сделать ещё более глубокий уровень вложенности, то есть добавить подрубрику подрубрике, то индексация будет затруднена. Надо стремиться упрощать структуру сайта.

Создание качественного контента

Качество контента имеет очень большое значение. В первую очередь под качеством понимается уникальность. Но также влияет и востребованность контента у пользователей сайта. Если контент на страницах сайта будет низкого качества, то репутация будет падать, и поисковик будет ограничивать ресурсы для его индексации, новые страницы попадать в поиск будут медленнее. Если качество контента будет высоким, если он будет нравиться аудитории, то поисковик будет увеличивать ресурсы для его индексации, и его страницы будут попадать в поиск быстрее.

Также по этой теме:

Сколько времени требуется Google для индексации новой страницы

Вы, возможно, часто задавались вопросом, с точки зрения владельца бизнеса или даже обычного пользователя, сколько времени требуется Google для индексации новой страницы?

До сих пор грязный секрет остается частью алгоритма поиска Google, даже после бесчисленных обновлений: нет поддающейся количественной оценке гарантии того, как быстро Google очищает и индексирует ваши страницы.
Вероятно, это не то, что вы хотели услышать об алгоритме поиска Google. С декабря 2000 года, когда панель инструментов Google была запущена с новым рейтингом PageRank панели инструментов, в течение почти 16 лет не было четкого ответа на вопрос, когда новый контент наконец появится в результатах поиска Google.

Единственный правдивый ответ, который вы получите на эту тему, к сожалению, таков: это может занять дни или месяцы, а в редких случаях этого не происходит вообще.

Давайте сначала разберемся, как работают поисковые системы.

Для этой темы и на очень высоком уровне важно понимать, что поисковые системы используют «пауков» для сканирования сети. Эти «пауки» (которые на самом деле представляют собой небольшие фрагменты компьютерного кода) ищут, что нового в сети, и выясняют, о чем идет речь (они делают это с помощью очень сложных алгоритмов).

В настоящее время «пауки» очень умны и будут искать и точно определять общий пользовательский опыт и намерения, стоящие за поиском пользователя (он же «намерение пользователя»).

Это означает, что поисковые системы будут искать наиболее близкое к идеальному соответствие между намерениями пользователя и целевой страницей (и общим пользовательским опытом веб-сайта).

Сортировка страниц по содержанию (и другим факторам) — это то, как создается ИНДЕКС. Когда делается поисковый запрос, поисковые системы ранжируют результаты на основе более чем 200 факторов, частью которых являются свежий контент, качество сайта и страницы, пользовательский контекст, чтобы предоставить наилучшие возможные результаты для этого пользователя и этого запроса.

На странице Google «Как работает поиск» вы найдете забавный, интерактивный и простой способ объяснить это.

В качестве первого шага к индексации при создании нового веб-сайта или новой страницы вам нужно будет отправить ее поисковым роботам Google, чтобы ее можно было просканировать, понять и проиндексировать. Разместите свой контент в Google.

Действительное понимание SEO — это ремесло, и хорошо выполненное может значительно улучшить результаты, но плохое внедрение может привести к большим ударам по вашему онлайн-бизнесу.

Теперь, когда вы понимаете основные функции поисковых систем, давайте вернемся к тому, как вы можете заставить Google ускорить процесс индексации.

Вот что вы можете контролировать

Что ясно , так это то, что есть способы улучшить шансы страницы индексироваться быстрее и на более высоком уровне. Тактика достижения того или другого, по сути, совершенно одинакова.

Алгоритм поиска Google отдает приоритет тому, что он считает лучшим контентом, а поисковая оптимизация (SEO) — это процесс определения того, как алгоритм решает, что является лучшим. Лучшая тактика SEO позволит вашим страницам быстрее попасть в Google и соответственно получить более высокий рейтинг в поиске.

Сосредоточьтесь на проверенных тактиках SEO

Вот несколько подходов SEO, которые, как доказано, привлекают внимание Google:

• Отправьте файл Sitemap в Google Search Console.
  

  Вы, должно быть, слышали об этом, но с его прежним названием «Инструменты Google для веб-мастеров». Консоль поиска Google позволяет веб-мастерам проверять и контролировать статус индексации, а также оптимизировать видимость своих веб-сайтов. Это простой первый шаг, известный тем, что ваша полная карта сайта попадает в поле зрения Google и приводит к более быстрому индексированию. Следуйте этому руководству, чтобы узнать, как отправить карту сайта в Google Search Console.

  Этот пост SEM Rush, в котором они представляют 10 потрясающих визуальных, проверенных инструментов для создания карты сайта, которые помогут вам в решении этой задачи. Визуальные карты сайта также помогут вам «визуализировать» весь ваш сайт и принять соответствующие меры, например решить, что оставить в файле Robot.txt.

• Использовать Robots.txt
  

  Вам следует рассмотреть возможность использования протокола исключения Robots.txt, который указывает поисковым системам, какие страницы ваших сайтов НЕ следует сканировать (исключать).

  С помощью файла Robot.txt вы можете заставить поисковую систему сканировать ваш сайт быстрее, так как сканеры не будут использовать ваш краулинговый бюджет (максимальное количество страниц, которые Google сканирует на веб-сайте) с ненужными страницами. Вы также можете использовать их, чтобы защитить любой «дублированный контент», который у вас может быть (по разным причинам), от штрафов.

• Получите как можно больше обратных ссылок на свой сайт.
  

  Это основа всего SEO. Алгоритм поиска Google считает страницы с множеством внешних гиперссылок, ведущих к ним, достойными более высокого рейтинга по сравнению со страницами, которые больше похожи на одинокие острова, без обратных ссылок, соединяющих их с большим Интернетом. Но держитесь подальше от хитроумной стратегии построения ссылок. С Penguin 4.0, теперь больше, чем когда-либо, Google охотится за неорганическими ссылками.

• Максимально используйте социальные сети.
  

  Заставьте людей говорить. Взаимодействуйте с онлайн-сообществом. И при этом получить как можно больше ссылок на ваш контент. Большое присутствие в социальных сетях сильно коррелирует с более быстрой индексацией и более высоким рейтингом в поиске.

• Используйте свой блог с пользой.

  Возможно, вы уже это сделали, но NetSuite SuiteCommerce не поддерживает собственные функции блога. Вам необходимо настроить свой веб-сайт SuiteCommerce, чтобы он включал блог в том же домене сайта.

  Результаты стоят затраченных усилий, учитывая важность эффективного контент-маркетинга в основных инициативах цифрового маркетинга. Нил Патель, один из ведущих отраслевых авторитетов, говорит: «Блоги — это трудолюбивые SEO-машины».

• Свяжите свою новую страницу со старыми и уже ранжированными страницами.

  Когда вы создаете новую страницу, даже если это целевая страница конкретной кампании, убедитесь, что на нее есть ссылки с других страниц вашего сайта, и убедитесь, что они релевантны.

  Старайтесь не держать изолированные страницы, на которые не будет ссылок с вашего сайта.

• Отправить URL для индексации

В консоли поиска при проверке определенного URL-адреса есть возможность протестировать действующий URL-адрес и отправить его на индексацию. Этот процесс может ускорить индексацию этого URL-адреса, если он требует, чтобы страница была проиндексирована. Обычно на индексацию страницы уходит до одного часа, если все в порядке. Если этого не произошло, нужно проанализировать, почему Google решил не индексировать эту страницу. Это может быть полезно, если необходимо проиндексировать несколько страниц. Тем не менее, применять эту стратегию для многих страниц нерационально.

Pro Tip

— Убедитесь, что вы отправили www. и без www. в Google Search Console.

Следуя этим основным советам и разработав целевой план SEO для своего бизнеса, вы сможете противопоставить нематериальному алгоритму поиска Google правильные данные, чтобы убедиться, что он замечает ваш контент.

Если вы заинтересованы в использовании SEO, чтобы получать больше кликов от нужных пользователей и как можно быстрее индексировать свой контент, свяжитесь с нами, чтобы узнать больше.

Сколько времени Google индексирует новые сайты?

Скотт С. Бейтман

Хранится в разделе Маркетинг и помечен как SEO

У Google, Bing и других поисковых систем разные графики времени, необходимого им для индексации новых веб-сайтов.

Издатели новых веб-сайтов, естественно, хотят, чтобы их сайты появились в поисковых системах как можно скорее.

Заставить Google, Bing и другие поисковые системы индексировать новый сайт не сразу. Вместо этого процесс может занять от нескольких дней до нескольких недель. Некоторые люди утверждают, что Google потребовалось несколько месяцев, чтобы проиндексировать их новые веб-сайты.

В любом случае издателям нужно немного терпения, чтобы их сайты начали появляться в поисковых системах. Они также могут предпринять несколько важных шагов, чтобы ускорить процесс.

Google Индексирование нового сайта

Эта компания опубликовала шестистраничный микросайт в качестве небольшого проекта. Это был эксперимент по влиянию микросайтов на обратные ссылки и реакцию поисковых систем на домены ключевых слов. Домен ключевых слов — это доменное имя с некоторыми из тех же слов, которые пользователи используют при посещении поисковых систем.

Google проиндексировал сайт менее чем за неделю. Сначала он проиндексировал только домашнюю страницу. Страница не появилась ни на одной из первых 10 страниц результатов поиска по доменному имени. Затем Google проиндексировал каждую из следующих пяти страниц по одной за раз.

Еще через несколько дней страницы стали появляться в первых 10 страницах результатов поиска Google по соответствующим ключевым словам.

Для справки: для получения достойного рейтинга микросайта требуется гораздо больше усилий, чем просто домен с ключевыми словами. Эти усилия включают в себя больше контента и различные маркетинговые усилия, такие как социальные сети и обратные ссылки.

Но время отклика Google для такого маленького сайта является примером того, как быстро эта поисковая система индексирует новый сайт.

Bing индексирует новый сайт

Через две недели после запуска Bing все еще не проиндексировал новый микросайт. Поисковый трафик Bing для многих сайтов намного ниже, чем у Google, и поисковая система мало уважает небольшие сайты.

Тем не менее, любой сайт с амбициозными целями захочет, чтобы Bing проиндексировал его как можно скорее. Bing также предоставляет те же результаты для Yahoo, поэтому сочетание двух сайтов может существенно повлиять на общую численность аудитории.

Хотя Bing еще не проиндексировал микросайт, он проиндексировал предыдущий проект микросайта. Это просто требует времени.

Как улучшить индексирование нового сайта

Bing и Google предлагают инструменты, повышающие шансы на более быстрое индексирование и повышение рейтинга новых сайтов.

Продукт Bing называется Инструменты для веб-мастеров, а продукт Google — Search Console.