Что такое индексация сайта в поисковых системах Google и Яндекс

Чтобы пользователи узнали о вашем сайте и, к примеру, совершили покупку или прочитали статью — он должен отображаться в поисковых системах, вроде Google и Яндекс. Для этого каждый ресурс проходит индексацию. Этот процесс отличается от ранжирования тем, что при индексации сайт просто попадает в базу данных поисковиков, а при ранжировании — встает на конкретное место.

Мы спросили мнение у экспертов в области веб-оптимизации и рассказали в статье о том, как происходит индексация сайтов и что делать, если ваши страницы не индексируются поисковиками.

Что значит индексация сайта и почему она важна

«Индексирование сайта — это процесс, в ходе которого поисковые системы получают информацию о страницах ресурса. Полученные данные хранятся в базе, которую называют поисковым индексом. Так Яндекс, Google и другие поисковики узнают, что ваш сайт существует и наполнен полезным контентом. Индексация нужна для того, чтобы юзеры могли найти ваши страницы при поиске» — так определяет индексацию Сергей Шабуров, руководитель группы оптимизации сайтов Kokoc Group.

Эксперт Роман Огрин добавляет, что индексация — важный этап запуска любого проекта, на котором планируется активное SEO-продвижение или есть планы по развитию органического трафика. Исключения составляют рекламные форматы, вроде контекстной рекламы, — для них процесс индексации не является ключевым.

Для индексирования поисковик, например Яндекс или Google, отправляет на сайт роботов, они считывают код и регулярно посещают страницы ресурса. Периодичность зависит от того, как часто меняется контент, от количества страниц и объема трафика.

Как происходит индексация сайта

Анастасия Шестова, руководитель направления поискового продвижения в ИнтерЛабс, сравнивает индексацию с добавлением книги в библиотеку: когда определен жанр, автор и название книги, она занимает свое место в библиотеке, и читатель может ее найти. Поэтому индексацию сайта вернее рассматривать как двухэтапный процесс: сначала идет сканирование страниц, затем — их обработка. 

Сканирование страниц

Сканирование страниц — это основная задача поискового робота. Когда он попадает на новую страницу, то получает два набора данных:

• Содержание, информацию о сервере и служебные данные.
• Перечень ссылок на страницах.

Затем робот передает данные в обработку, а после — сохраняет в базе. Самый простой способ индексации страниц в рамках домена — создание карты сайта sitemap.xml. 

Чтобы Google и Яндекс увидели ваш сайт, нужно cначала добавить его в сервисы, а затем прикрепить ссылку на файл Sitemap в Google Search Console и Яндекс.Вебмастере. Это специальные сервисы для веб-мастеров, которые помогают работать с индексацией. 

Чтобы добавить файл Sitemap в Google Search Console, зайдите в сервис, добавьте свой сайт и перейдите в раздел «Сканирование». В пункте «Файлы Sitemap» выберите  «Добавить файл Sitemap» и вставьте ссылку на файл Sitemap.

В Яндекс.Вебмастере путь похож: зайдите в ваш аккаунт, выберите нужный сайт. Затем в левом меню нажмите на раздел  «Индексирование» и выберите вкладку «Файлы Sitemap». В строку «Добавить файл Sitemap» вставьте ссылку файла и нажмите «Добавить». Кстати, если вы внесли изменения в карту сайта, то просто отправьте карту на перепроверку, нажав на стрелочки рядом с файлом Sitemap.

Обработка страниц

После сбора роботами информация проходит обработку и потом попадает в базу данных. Это необходимо для ускорения дальнейшего поиска.

В начале программа формирует страницу со всем содержимым: скрипты, эффекты, стили. Важно, чтобы робот имел полный доступ ко всем файлам, потому что без них индексатор не сможет понять структуру. 

Вы можете посмотреть, одинаково ли видят страницу пользователи и поисковой робот. Для этого зайдите в Google Search Console, выберите отчет «Посмотреть как Googlebot» в разделе «Сканирование». 

Затем робот анализирует текст страницы: упрощает слова и определяет частоту упоминания ключевого слова, проверяет уникальность. Так, если ваш контент уже индексировали в интернете, то у страниц будет низкая уникальность. Значит, робот может не добавить их в поисковый индекс. Поэтому важно наполнять свой сайт уникальным и полезным контентом.

Как проверить индексацию 

Эксперты выделяют три способа, чтобы проверить, отображается ли сайт в поисковиках: запрос в поисковой системе, использование бесплатных сервисов для автоматической проверки и использование сервисов для веб-мастеров. 

Если значения проиндексированных страниц в Google и Яндекс сильно различаются, это свидетельствует о проблемах в оптимизации сайта.

Дарья Каблаш, основатель маркетингового агентства Dvizh

Поисковая строка

Роман Огрин, руководитель группы оптимизации в Kokoc Group, называет специальные операторы самым быстрым и простым способом проверки индексации. Яндекс и Google поддерживают оператор site, который помогает отображать проиндексированные страницы. Базовый синтаксис использования: site:sitename.com

Например: site:gosuslugi.ru

Но поисковые системы могут ограничить работу этих операторов для снижения нагрузки. Поэтому рекомендуют использовать дополнительные способы для проверки индексации. 

Бесплатные плагины

«Можно использовать специальные бесплатные сервисы, например, be1.ru и pr-cy.ru. Для проверки введите адрес сайта в специальную строку и нажмите «Проверить». Обычно такие сервисы, помимо количества страниц в индексе популярных поисковиков, предоставляют еще много интересных данных» — Николай Полушкин, директор веб-студии DIUS.

Веб-сервисы Яндекс.Вебмастер и Google Search Console

Сергей Шабуров, руководитель группы оптимизации сайтов Kokoc Group, считает веб-сервисы поисковых систем самым достоверным источником информации о наличии страницы в индексе. В этих инструментах можно получить данные о количестве, динамике индексации, причинах удаления или включения страницы в базу данных, а также многое другое. Минус в том, что доступы к этой информации могут получить только владельцы сайта или те, у кого есть права владельцев. 

Эксперт Роман Огрин рассказывает, как именно посмотреть индексацию в Яндекс.Вебмастере и Google Search Console. Оба сервиса сначала надо «привязать» к исследуемому домену и только потом смотреть точную статистику.

В Яндекс.Вебмастере есть раздел «Индексирование» с подразделом «Страницы в поиске». По клику на вкладку «Все страницы» сервис выдает список проиндексированных на данный момент документов. В Search Console аналогичный инструмент — отчет «Покрытие».

Помимо простого анализа страниц в индексе, оба сервиса предоставляют много полезной статистики. Эта информация поможет сделать правильные выводы при проблемах с индексацией.

Например, посмотрите, совпадает ли количество проиндексированных страниц с количеством страниц вашего сайта. Если у вас 240 страниц, а в индексе только 100, это означает, что есть проблемы с индексацией, ведь поисковая система не знает о большей части контента.

Управление индексацией сайта

Вы можете сами задать параметры индексирования для роботов поисковых систем. Например, настройка канонического адреса необходима, если есть страницы с одинаковым содержанием. Она позволяет указать, какая из них приоритетна для индексации. 

Текстовый файл robots.txt также позволяет управлять поисковыми роботами с помощью директив.

• Директива Disallow закрывает сайт или конкретные страницы от индексации роботами.
• User-Agent указывает поисковую систему для индексации по написанной инструкции.
• Crawl-delay задает частоту обращения роботов к ресурсу. Работает для Яндекса.
• Clean-param закрывает индексирование с конкретными динамическими параметрами.
• Директива Allow разрешает роботам индексирование отдельных страниц.

Что делать, если сайт не индексируется

Есть множество причин, почему сайт не индексируется. Эксперт Сергей Шабуров условно разделяет причины на технические и контентные. Ниже рассмотрим основные из них с примерами из опыта специалистов.

Технические причины

Сайт может быть случайно закрыт от сканирования роботами или из-за ошибки разработчиков. Это можно определить, если проверить:

1. Директиву Disallow в файле robots.txt. Как мы писали выше, эта директива закрывает конкретные страницы от индексации.
2. Мета-теги в разделе <head> HTML-документа, например, <meta name=»robots» content=»noindex» />. Они определяют отношение к сканированию контента в документе.
3. HTTP-заголовок X-Robot-Tag — информация о запрете или разрешении индексации сайта в HTTP-заголовках ответа сервера.
4. Код ответа сервера. В индекс попадают только доступные страницы с кодом ответа сервера 200 Ок, а ресурсы с другими кодами ответа удаляются. Изменение кода ответа — один из способов управления индексацией.
5. Настройки сервера. Для разных IP адресов, User-agent и других параметров серверная часть ресурса может регулировать как скорость, так и саму отдачу информации о странице и ее содержимом.
6. Наличие входящих внутренних или внешних ссылок. Индекс может исключать такие страницы.
7. Низкий трафик. Это может быть следствием малополезной страницы или отсутствием семантического спроса со стороны пользователей по данному контенту.

Николай Полушкин, директор веб-студии DIUS, делится недавним случаем из практики. «Пришел сайт на бесплатный аудит. Клиент жаловался на резкую просадку трафика. SEO-специалист сразу открыл файл robots.txt и нашел строчку  Disallow. Мы сообщили об этом клиенту и объяснили, что сайт закрыт от индексации, и страницы постепенно удаляются из поиска. Заказчик был удивлен и попросил выяснить, кто и когда это сделал. Недавно компания делала редизайн и наш специалист предположил, что страницы на время работ закрыли от индексации, а потом забыли убрать запрещающую директиву».

Контентные причины

Важно помнить, что индексация занимает некоторое время. Поэтому, если страницы нет в индексе, иногда это может значить, что роботы поисковых систем не успели до нее дойти. Либо есть ошибки в контентном наполнении страниц:

1. Отсутствие индексируемого контента. Контент может быть реализован на технологии, которую поисковые системы не умеют считывать или плохо воспринимают к индексации. Так векторная графика, например Flash, не индексируется.
2. Контент без пользы или вредный для пользователей. Сюда относят: спам, малый по объему контент, устаревшая информация, которая никогда не будет востребована, наличие вирусов, фишинга.
3. Дублирующийся контент. Поисковые системы стараются не индексировать или удалять из выдачи страницы, которые содержат повторяющуюся информацию.

«У нас была такая ситуация с кулинарной онлайн-школой. В Google сайт показал хорошие результаты уже в первый месяц работы и вышел в ТОП-3 по прямым запросам. Но в Яндексе страницы вообще отсутствовали.

Чтобы узнать причину, мы зарегистрировали сайт в Яндекс.Вебмастере и отправили на проверку. Результаты показали критическую ошибку. Дело было в том, что на ресурсе дублировались страницы. Владельцы школы публиковали для разных таргетологов страницы с одинаковым контентом, но разными ссылками. Яндекс видел в этом неуникальный контент и не индексировал страницы.

Мы удалили дублирующиеся страницы, перейдя на utm-метки, и отправили сайт на переиндексацию. Через несколько дней проблема решилась, сайт стал отображаться в Яндексе» — Дарья Каблаш, основатель маркетингового агентства Dvizh.

Иные причины

Более редкие случаи неиндексации могут быть связаны, например, с фильтром  «для взрослых».

Сергей Шабуров, руководитель группы оптимизации сайтов Kokoc Group, приводит свежий пример из практики. «Сайт одного из российских операторов мобильной связи перестал ранжироваться по навигационному запросу: «<Название оператора> тарифы» в Яндексе. В выдаче присутствовали побочные сайты, а ресурс оператора отсутствовал. Это неслыханная вещь, при учете, что целевая страница и все остальные были в индексе по данным Яндекс.Вебмастера. По данному запросу сайт должен был занимать как минимум несколько строчек поисковой выдачи. Проблема выявилась при переключении настроек поиска с умеренного фильтра на фильтр без ограничений.

Это значит, что страница перешла из основного индекса в специальный “Фильтр для взрослых” или «Adult-фильтр». После обращения в службу поддержки Яндекса обнаружилось, что это ошибка на стороне поисковой системы, так как на странице не было какой-либо специфичной информации».

Также возможен редкий случай неиндексации — «плохая история» домена. В этом случае был куплен домен, на котором ранее был поисковый спам или adult-ресурс, поэтому сайт сразу может быть под фильтром.

«В нашей практике был пример сайта на домене, на котором ранее был размещен белый каталог сайтов. Ресурс индексировался нормально и потом резко пропадал из индекса поисковых систем. Помогли письма в техподдержку Яндекса и отправка страниц на принудительную переиндексацию. Но даже после этого периодически сайт продолжал полностью вылетать из индекса, за этим приходилось отдельно следить. Чтобы таких моментов не было, перед покупкой домена лучше всего проверять его историю» — Анастасия Шестова, руководитель направления поискового продвижения в ИнтерЛабс.

Заключение

Без индексации пользователи не увидят ваш сайт даже при прямом поисковом запросе. Поэтому индексация — обязательный процесс для ресурсов, которым важен органический трафик.

Во время индексации роботы сканируют и обрабатывают информацию на страницах, заносят ее в специальную базу данных — поисковый индекс. Можно легко проверить, есть ли ваши страницы в поисковой выдаче, например, в Google. Самый надежный способ — использование сервисов для веб-мастеров: Яндекс.Вебмастер и Google Search Console.

Часто сайты, которые должны быть проиндексированы, все равно не попадают в поиск. В таком случае нужно проанализировать возможные технические и контентные причины. В редких случаях работы могут убрать ресурс из выдачи из-за ошибки на стороне поисковой системы или плохой истории домена.

Индексация в поисковиках Google и Яндекс: особенности и их анализ

Краткий курс интернет-маркетинга от WebEvolution

Андрей Батурин, 20 ноября, 2018

Андрей Батурин

Простейшее определение поисковика — система, используемая для поиска информации в Интернете. Специалисты IT-технологий обозначают ее как аппаратно-программный комплекс, занимающийся сбором, анализом, обработкой и хранением всей доступной информации. Алгоритм работы нельзя назвать единым для всех известных поисковиков, но принципы у них во многом схожи. Веб-мастеров и владельцев веб-ресурсов всегда интересует возможность быстрее проиндексировать сайт в Гугл и Яндекс. От этого зависит, как скоро пользователи получат доступ к размещенной информации через поиск. Чтобы ориентироваться в этих процессах, нужно иметь хотя бы общее представление о работе поисковых систем.

Первое различие между Google и Yandex — их принадлежность. Гугл — международная поисковая система, Яндекс работает в Рунете. В каждой стране есть свои сервисы. Иногда местные площадки составляют серьезную конкуренцию Google. Так можно сказать о Yandex в русскоязычном Интернете, Seznam — в Чехии, Baidu — в Китае. О том, что Гугл признал в Яндексе серьезного противника, говорит такой факт: в 2003 году велись почти годовые переговоры о выкупе площадки. Но на поглощение основатели Яндекса не согласились.

Итак, индексация страниц необходима, чтобы информация попала в базы данных поисковиков и была доступна пользователям сети.

Как попасть в индекс поисковых систем

Каждый сервис имеет собственных роботов или ботов, которые проверяют веб-ресурсы и их содержимое на предмет качества контента, его полезности для людей. Алгоритмы их работы, как и стандарты, предъявляемые поисковиками к текстовому материалу, постоянно меняются, становясь все сложнее. Нюанс в том, что до конца они не раскрываются: специалисты отслеживают тенденции и делают выводы на основе практики.

Порталы или блоги, популярные у посетителей, постоянно обновляющие контент, пользуются особым расположением поисковиков. Временной интервал посещений роботом таких онлайн-ресурсов сокращается до пары часов.

Но как быть владельцам обычных площадок — как проиндексировать сайт в поисковиках быстро, если он новый? С чего начинать?

1. Первый шаг для обоих поисков одинаков: регистрация и создание аккаунта в Яндекс.Вебмастер и аналогичном сервисе Google. Дальше нужно подготовить карту сайта, файлы Sitemap и robots.txt для отправки в аккаунты, чтобы проинформировать поиск о появлении нового «подопечного». Опыт многих веб-мастеров подсказывает, что скорость индексации сайта в Гугл выше, чем у его русскоязычного конкурента. Это демонстрирует, что требования и рекомендации к качеству размещаемых материалов несколько различаются. Однако нужно понимать, что скорость такого индексирования составляет в обоих случаях от пары недель и выше.
2. Следующий метод индексации сайта — добавление ссылок на страницах популярных и раскрученных платформ. Это самый быстрый способ, особенно если ссылки качественные, а ресурс обладает авторитетом. Страницы, обнаруженные таким путем, робот расценивает полезными. Индексирование проходит быстрее — от 12 часов до 2 недель.
3. Третий из популярных механизмов быстрой индексации — использование форумов и социальных сетей. Так сайт тоже получает ссылки, но вес их меньше, если сравнивать с крупными уважаемыми площадками, близкими по тематике.

Можно быстро проверить состояние индексации сайта и его страниц в поисковиках. Для этого имеется, как минимум, 3 пути:

• Через аккаунты вебмастеров.
• С помощью команд, которые вводятся в строку поиска. В Яндексе — host: название ресурса с доменом первого уровня. В Google — site: наименование ресурса и домен.
• Можно найти специальные сервисы и воспользоваться их услугами.

Основные навыки поисковых роботов

Они «умеют»:

• Анализировать текст на уникальность;
• Проверять информативность;
• Выделять ключевые слова;
• Вычислять «вес» страниц;
• Обрабатывать показатели отказа и прочие поведенческие факторы.

Поэтому об индексации владельцу нужно начинать заботится еще на этапе создания веб-сайта. Следует уделять внимание качеству контента, его уникальности и грамотности. Любые программные и даже орфографические ошибки отслеживаются роботом и снижают оценку.

Ресурс должен иметь понятную структуру, обязан быть комфортным для посетителей, предоставлять важную и ценную для них информацию. Обязательно нужно проработать раздел контактов и обратной связи, представить портфолио и отзывы, описать регалии и достижения. На интернет-площадке должны присутствовать работающие исходящие ссылки. Следует следить за своевременным обновлением контента и необходимыми доработками функционала ресурса. Все это и многое другое будет учтено!

Особенности индексирования в Яндексе

Здесь два поисковых робота — основной и быстрый (он называется Orange). «Главный» индексирует сеть в целом, Orange отвечает за то, чтобы в поиске можно было найти самые свежие материалы, которые появились, допустим, минуту назад. У каждого робота есть список адресов документов, которые нужно проиндексировать.

Эксперты отмечают, что Яндекс работает медленнее Гугла. Однако он индексирует полезные материалы, исключая все «лишние» результаты.

Как выглядит этот процесс:

1. Робот находит портал.
2. Изучает контент.
3. Сведения вносятся в базу данных.
4. Пройдет около 2 недель, пока успешно проиндексированные страницы попадут в выдачу.

Особенность Google в универсальности. В отличие от него, Яндекс развивается только в России и странах СНГ. Хотя он пытался работать на других рынках, эксперимент пока не увенчался успехом.

Яндекс ориентирован на поиск по запросам из определенных областей и регионов. На региональности во многом строится успешность этой системы. Хотя в целом для русскоязычного сегмента Интернета оба поиска занимают примерно одинаковые ниши.

Yandex указывает, каким ресурсам нужна региональная привязка:

• Информационным с региональной тематикой. В Вебмастере надо указать предпочтительный регион.
• Ресурсам, предлагающим услуги или товары. Как мы понимаем, это огромная сфера — от интернет-магазинов до порталов знакомств.

Яндекс не прижился в других странах из-за того, что там определяющим фактором для поиска является язык и местоположение человека. По этим двум критериям и строится список выдачи Google. Поэтому проиндексироваться в Yandex по языковому принципу не получится. Хотя он различает местоположение пользователя, сделавшего запрос, но не очень на это обращает внимание. Ведь по языковому признаку поделить русские веб-площадки по местностям нельзя. Он может настроить список выдачи только по региональному признаку. В этом состоит оригинальность сервиса.

Буквально на днях Яндекс представил свой новый поиск — «Андромеду». По сообщению представителей поисковика, сервис выходит на новый уровень. Теперь поиск рекомендует места в городе, позволяет собирать пользовательские коллекции, рассказывает о спортивных событиях, помечает сайты значками для указания их статуса, популярности и благонадежности. Как все это повлияет на индексацию, пока неясно.

Неоспоримо важным новшеством 2018 года стала замена тИЦ на ИКС — индекс качества сайта. С новым параметром точно нужно считаться.

Основные параметры Google

Проиндексировать сайт в этом поисковике не сложно, если контент создан для людей. Гугл больше внимания уделяет не анализу текста, он ищет и отсеивает материалы, выполненные и отточенные под роботов.

Еще несколько лет назад тексты создавались под стандарты, предъявляемые автоматизированными программами, они почти не давали полезной информации пользователю. Это заставило Google учитывать показатель отказов, который работает до сих пор, реально определяя качество каждой конкретной страницы.

Параметры поиска роботов меняются очень часто, но такой показатель, как «вес страниц» актуален для Гугла при ранжировании до сих пор. Он входит в группу основных параметров, по которым можно проиндексироваться.

У самой популярной, в том числе и в России, поисковой системы, есть свои преимущества и недостатки. В числе достоинств обычно отмечают:

• Наличие самой большой и объемной базы данных среди всех возможных поисков.
• Мгновенное получение результатов.
• Максимально точный подбор информации по запросу.
• Анализ страниц по качеству выдаваемого контента.

Особенности работы системы позволяют рассчитывать на быструю индексацию страниц. При множестве достоинств Google имеет некоторые недостатки:

• Принцип вечного хранения информации часто провоцирует появление в выдаче устаревших и бесполезных материалов.
• Скорость индексации настолько высока, что в рейтинговом списке часто появляются онлайн-ресурсы, еще находящиеся в разработке. Наличие недостатков в работе Google не уменьшает его популярность.

Особенности индексации в Гугл

Новые страницы появляются в поиске практически мгновенно, после оценки поисковой системой. Если интернет-площадка оценивается положительно, это становится гарантией успешной индексации. Робот быстро приступает к проверке, если сайт расположен на хостинге, который занесен в базу поиска.

Для вывода ресурса в поисковую выдачу Гугл анализирует содержание страницы, проверяет наличие title и description. Проверка затрагивает мета-теги, учитывается популярность у пользователей.

После того как Google избавился от показателя PageRank, стало ясно, что больше нет необходимости покупать внешние ссылки для роста позиций.

Теперь основные инструменты продвижения в выдаче:

• Качественный контент,
• Грамотная внутренняя перелинковка,
• Простота структуры онлайн-ресурса,
• Его удобство для пользователей.

Уже несколько лет этот подход остается постоянным. Необходимо регулярно пополнять контент, чтобы страницы вовремя индексировались, а позиции улучшались. Это позволяет сайту хорошо ранжироваться и занимать высокие позиции в выдаче.

Google развивается, постоянно меняет алгоритмы поиска, добавляет в свой арсенал новые функции. Новшеством системы в этом году стал переход на mobile-first индекс. Это значит, что Гугл оценивает, прежде всего, полезность и удобство сайта для мобильного поиска и мобильных же пользователей, а уже после — для выдачи на десктопе. Что сделать, чтобы ускорить индексацию с этой точки зрения?

• Контролируйте скорость. Если загрузка происходит медленно, в топ выдачи ресурс не выйдет.
• Ориентируйтесь, в первую очередь, на удобство сайта и ценность контента для посетителей.
• Польза — это краткое и емкое изложение ценной информации строго по делу. Не должно быть никакой воды и отступлений.
• Адаптивная верстка, дизайн, оптимизированный именно под мобильные устройства, — крайне важные параметры. Даже если на странице выложен сверхценный текст, но при этом он плохо отображается, шрифт слишком мелкий или крупный, на кнопки трудно нажимать, страница требует горизонтального скроллинга — успеха не ждите.
• Нужно работать с микроразметкой: по ней роботы Гугл определяют важные элементы текста.

Самое главное, что нужно знать об индексации в Гугл:

1. Контент, максимально точно раскрывающий ответ на вопрос пользователя (то есть релевантный), точно попадет в выдачу.
2. Содержимое страниц должно быть оптимизировано не просто под мобильные или под десктоп, а под любые устройства. Это зачтется.
3. Хорошая скорость загрузки станет плюсом для индексации.

— Основной вывод, следующий из этой статьи, таков. У обеих лидирующих поисковых систем есть свои особенности, плюсы и недостатки, однако пользователи все равно постоянно обращаются к ним. Есть две общих закономерности, касающихся и Гугла, и Яндекса. Первая — работать над сайтом нужно с ориентацией на пользователей, а не на роботов. Вторая — делайте оригинальный и ценный контент, привлекательный для аудитории.

Понравилась статья? Сохраните у себя в соцсетях и поделитесь с другими!

Обсудить

Другие статьи по тегам

поисковые системы продвижение seo

Понравилось

0

на эту тему

Долгосрочные стратегии продвижения в Интернете: виды, плюсы, минусы Как карты Google и Яндекс помогают продвижению Распространение информации в Интернете: новые законы и ответственность Какими будут факторы ранжирования в 2019 году Основы контент-аудита Опечатки помогают SEO-оптимизации: миф, блеф или реальность?

Как проиндексировать сайт быстро в Яндекс и Google

HTML карта – страница вашего сайта, где перечислены ссылки на важные разделы и страницы ресурса. Такой формат больше рассчитан на пользователей – помогает быстрее сориентироваться на сайте. Но! У этой карты сайта есть ограничения – не размещайте на странице несусветное количество ссылок, так они либо не все проиндексируются поисковиками, либо html карта сайта вовсе будет исключена из Поиска. Разместите на странице не больше 100 ссылок – и будет вам счастье ☺

Да, и структура HTML карты – древовидная, с развернутыми разделами и подразделами. Если ваша карта получается слишком уж громоздкая, оформите ее при помощи графических элементов и CSS-стилей.

Если на вашем сайте тысячи или сотни страниц, ваш путь – карта сайта XML Sitemap:

XML Sitemap – файл sitemap.xml, живущий в корне сайта. Такой формат карты сайта создан специально для наших любимых поисковиков Яндекс и Google. С помощью такой карты сайта роботы легко распознают и индексируют ваш ресурс. К тому же, в этой карте вам дозволено указывать аж до 50 000 ссылок на страницы сайта. А еще здесь вы сможете выделить важнейшие страницы и указать частоту их обновления.

В сети есть множество программ, помогающих сгенерировать карту сайта. Например, генератор статичной карты gensitemap.ru или динамичной, которую мы рекомендуем. Создайте динамическую карту сайта – так при добавлении новой страницы на сайт она автоматически добавится и в карту. К примеру, на WordPress она генерируется через плагин Google XML Sitemaps.

4. Добавляем файл robots.txt</b>

Robots.txt – файл, предназначенный для роботов поисковых систем. В нем вебмастер указывает параметры индексирования сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.

Проверьте, не значится ли в файле директива Dissalow: /
Такая директива закрывает от индексирования отдельные разделы сайта и учитывает только главную страницу. С ее помощью целесообразно запрещать индексировать исключительно страницы технического характера или страницы, не представляющие ценности для поисковиков и не несущие пользы посетителям сайта.

5. Проверяем код сайта на наличие тегов noindex и noffolow

Тег <noindex> – тег, размещаемый в HTML-коде странички, запрещает боту поисковой системы Яндекс индексировать часть текста. Тег noindex Яндекс ввел по собственной инициативе, поэтому при его использовании Google не будет обращать внимания на тег.

Тег <noffolow>  – атрибут, который работает со всеми поисковиками. Его применение не делает ссылку невидимой, а лишь указывает, что по ней не нужно переходить и заниматься индексацией страницы.

Если вы грамотно прошли 5 описанных шагов– ваш сайт скоро проиндексируется! ☺

А если вы хотите, чтобы ресурс индексировался с космической скоростью – чаще наполняйте его свежими страницами, добавляйте нескучный контент и регулярно работайте с сайтом. В этом плане скоростными в индексации считают новостные ресурсы, ведь у них ежедневно обновляется информация.

А еще не забудьте добавить в раздел «Индексирование» Яндекс. Вебмастера – ПЕРЕОБХОД СТРАНИЦ– так новая страница на вашем ресурсе моментально проиндексируется в Яндексе:

Поздравляем! Ваш сайт проиндексирован и готов к продвижению! ☺

Подпишитесь на рассылку FireSEO

и получайте подборки статей, полезных сервисов, анонсы и бонусы. Присоединяйтесь!

Как проиндексировать сайт поисковиками — Яндекс, Google, Rambler, MSN, Yahoo

 

Наверное, всем понятно, что для успешного продвижения сайта необходима его индексация поисковыми системами. Здесь представлены прямые ссылки для регистрации Вашего сайта в наиболее известные и значимые поисковики. 

Немного теории. А что же такое эта «индексация«?

Все довольно просто. Прежде чем попасть в выдачу поисковых систем необходимо, чтоб поисковый робот посетил Ваш сайт, оценил его содержимое, и если посчитал его «приемлемым», добавил в свою базу данных.
Как же сделать, чтоб мой сайт был проиндексирован?
Прежде всего сделайте карту сайта, сделать это можно на XML-Sitemaps.com или любым другим способом, их сейчас предостаточно.
Далее нужно «скормить» ее поисковику. В Google это делается так: создаете учетную запись Гугл Вебмастер,  добавляете Ваш сайт,  подтверждаете право на владение сайтом и в меню sitemap забрасываете sitemap.xml.

Далее сделайте свой сайт удобным, как для посетителей, так и для роботов, т.е. используйте внутреннюю перелинковку, сделайте так, чтоб на любую страницу сайта посетитель смог попасть не более чем за 3 клика, иначе могут возникнуть затруднения с индексацией внутренних страниц.  Поэтому, при любой конфигурации сайта, обязательно сделайте ссылку с главной страницы на карту сайта.

Есть несколько методов, используемых для индексации сайта:

1) Подать в конкретных поисковых системах запросы на то, чтоб Ваш ресурс был поставлен в очередь на индексацию, через некоторое время роботы поисковика заходят на Ваш сайт, но такой метод может занять довольно много времени (бывали случаи что и до 3 месяцев). Подать заявку на индексацию в Google можно здесь. Заявка на индексацию в ПС Yandex.

Так как первый способ может занять довольно много времени, то обычно его используют вместе с другими методами.

2) Покупка ссылок со страниц сайтов, где информация обновляется довольно часто (поисковые роботы там практически «живут»).

Покупается несколько ссылок с таких страниц, в основном индексация проходит в течении 1-2 дней.

3) Использовать форумы — в каждом форуме в профиле Вы можете ввести свой сайт (да и в подписи тоже), регистрируетесь, заполняете профили на нескольких форумах, пишете по несколько сообщений, и ждете.

Это были только основные способы, с помощью которых можно добавить Ваш сайт в индекс поисковиков и повысить его рейтинг.

 Также на результат выдачи в поисковиках играет роль правильный выбор хостинга  для Вашего сайта .

Подведем итог: первые обязательные шаги для того, чтобы Ваш сайт попал в индексы поисковых систем, достаточно выполнить одно из условий:

1.  Добавить URL сайта через специальную форму, 
2.  Иметь в наличии одну или несколько ссылок ведущих на страницы Вашего сайта,
3. Создать файл sitemap для более качественной индексации (для Яндекса, Google и Yahoo).

Yahoo теперь тоже разрешает добавлять файл sitemap.xml, как это делают Google Webmaster и Яндекс.Вебмастер. 

 

Тиц – тематический индекс цитирования определяет авторитетность ресурсов с учетом качественной характеристики ссылок на них с других сайтов. Качественная характеристика называется «весом ссылки». Большое значение имеет тематическая близость вашего ресурса и ссылающихся на него сайтов. Общее количество ссылок тоже влияет на Тиц вашего сайта.

PR (Page rank) – также основывается на количестве и качестве ссылок на Ваш ресурс, но учитываются далеко не все ссылки.

Расчет PageRank (PR) для страницы

PageRank (PR) – рассчитывается для каждой веб-страницы отдельно, и определяется PageRank’ом (цитируемостью) ссылающихся на нее страниц. Своего рода замкнутый круг. Главная задача заключается в том, чтобы найти критерий, выражающий важность страницы. В случае с PageRank таким критерием была выбрана теоретическая посещаемость страницы.

Таблица показывает примерную зависимость PR вашей страницы от PR и количества ссылающихся на нее других страниц, а также равноценность разного количества страниц с разным PR.

 

Сколько достаточно иметь ссылок со страниц с PR ->		1	2	3	4	5	6	7	8	9	10
чтобы получить PR своей страницы (без учета перелинковки) не менее: ->	2	101	18	3	1	1	1	1	1	1	1
	3	555	101	18	3	1	1	1	1	1	1
	4	3055	555	101	18	3	1	1	1	1	1
	5	16803	3055	555	101	18	3	1	1	1	1
	6	92414	16803	3055	555	101	18	3	1	1	1
	7	0.5 млн.	92414	16803	3055	555	101	18	3	1	1
	8		0.5 млн.	92414	16803	3055	555	101	18	3	1
	9		2.8 млн.	0.5 млн.	92414	16803	3055	555	101	18	3
	10	84 млн.	15 млн.	2.8 млн.	0.5 млн.	92414	16803	3055	555	100	18

Рассмотрим кратко работу поисковых систем

Поисковая система это аппаратно-программный комплекс, предназначенный для сбора, анализа, обработки и хранения огромного массива данных. На рисунке ниже представлена упрощенная блок-схема алгоритма работы поисковых систем. Она будет одинакова для всех существующих поисковиков.

Что делает поисковик для того, чтобы сайт в поисковых системах был проиндексирован? Программа «spider» бродит по сети Интернет и скачивает страницы сайтов в виде html-разметки. Это важно понимать, поисковик видит страницы не так как пользователи Интернета. Поисковая система понимает html-разметку т.е умеет анализировать тэги. Отличает где заголовок «h2», а где обычный абзац «p». Также распознает основной текст и отделяет его от служебного.

Программа «Crawler», которую называют «паук странствующий» находит ссылки на веб-страницах и указывает маршрут следования для программы «spider». Все что было найдено «пауками» и скачано попадает в руки «индексатора». «Indexer» подвергает тщательному анализу все полученные из Интернета документы. Сортирует полученную информацию и отправляет в хранилище баз данных.

В базах данных поисковика информация хранится в измененном виде удобоваримом для поисковой системы. Когда пользователь вводит свой поисковый запрос на странице поискового сервера, по кнопке «Найти» в работу включается система выдачи результатов поиска. Эта часть поисковой системы отвечает за релевантную выдачу результата и правильное ранжирование найденных в базе данных документов. Если быть точным, находит и выводит ссылки с описанием тех страниц, которые наиболее полно соответствуют поисковому запросу пользователя, по ее мнению на первую страницу поисковой выдачи.

Принцип работы поисковых машин одинаков, но алгоритмы ранжирования найденных документов в поисковой выдаче разные. Об этом надо знать. Не во всех поисковых системах выдача будет одинаковой. И даже не все документы будут одинаково проиндексированы ими. На это влияет множество факторов, порой даже независящих от вас. Однако хотелось бы сказать — сайт в поисковых системах считается хорошим тогда, когда приблизительно одинаковое количество его страниц попало в индексную базу этих поисковиков. Это один из основных показателей хорошей индексации сайта и его качества с точки зрения поисковой машины.

Надеюсь, эта информация поможет Вам в быстрейшем продвижении Вашего сайта. Удачи.

Как ускорить индексацию в Яндексе

Согласитесь, красиво оформленный сайт, выбор правильного доменного имени и безупречно работающего хостинга – лишь полдела всей работы над сайтом. 

По статистике LiveInternet на июль-август 2015 года – аудитория Яндекса составляет 51%. 

Мечта любого владельца – вывести его на первые позиции в поисковой выдаче Яндекса, если аудитория сайта – русскоязычная и находится в России и русскоговорящих странах. 

Давайте разберемся, как ускорить индексацию в Яндексе сайта  и вывести его потом в ТОП-10. 

Во-первых, давайте определимся! 

Индексация – действия поисковых роботов для внесения информации сайта в базу данных поисковой системы. Облегчает пользователю задачу после набора запроса найти нужную информацию и ознакомиться с ней.

Есть много разных методов…

Но мы поговорим о прозрачных, законных методах ускорения индексации, чтобы не попасть под поисковые фильтры и избежать бана от Яндекса.

Итак, если вы мечтаете взорвать свой трафик законным путем

Шаг №1

Чтобы понять, как быстрее индексироваться в поиске, нужно сначала определиться с аудиторией сайта.

• Кто читатели?
• По каким словам будут искать публикуемую на сайте информацию?

Выяснили?

Теперь приступим к сбору нужных высокочастотных, среднечастотных и низкочастотных ключей и их группировке.

На основе этого продумаем карту сайта и дадим каждому разделу название. Оно должно заинтриговать и побудить открыть раздел и ознакомиться с содержимым.

Шаг №2

Составим приблизительный план публикаций.

Желательно, как минимум, два раза в неделю.

План рекомендуется четко выдерживать, чтобы роботы Яндекса привыкли «приходить» за очередной порцией контента в одно и то же время.

Не все страницы, статьи индексируются одинаково быстро. Лучше сразу принять это как факт и не сбрасывать оборотов по написанию и публикации контента!

Шаг №3

Пишите на темы, в которых реально разбираетесь. Которые на самом деле интересны читателям.

Разбавляйте свои материалы цитатами, интересными и достоверными статистическими данными.

Это побудит читателей следить за обновлениями на сайте, внести его к себе в закладки.

Каждый публикуемый материал должен быть:

• новым взглядом на что-то привычное;
• приобретенным опытом;
• описанием неудачной попытки с выводами, как не нужно делать;

Это один из основных факторов индексации и ранжирования.

Шаг №4

Создавайте контент, вызывающий эмоции. Не суть важно, негативные или позитивные.

Главное чтобы информация:

• не оставляла равнодушным;
• побуждала писать комментарии;
• мотивировала кликать на кнопки соцсетей;
• становилась вирусной;

Шаг №5

Правильно выбирайте шрифт.

Нужен простой, легко воспринимаемый.

Поэтому не нужны засечки, вензеля. Самые удобные и доступные для всех браузеров шрифты: Times New Roman, Verdana, Georgia. С размером от 14 до 18.

Цвет шрифта и фона — еще один фактор, от которого хочется порой бежать без оглядки с некоторых сайтов. Итог — ухудшается поведенческий фактор, процент отказов растет.

Лучший шрифт — это темный шрифт на светлом фоне. Желательно, не ярко-черный на ослепительно белом. А темно-серый на бледно-бледно сером или матовом. Чтобы одинаково хорошо читали люди разных возрастов и с разным уровнем зрения.

Шаг №6

От формы поиска информации зависит время нахождения читателя на сайте и степень его удовлетворенности. Обычно форма поиска находится в шапке сайта или боковом сайдбаре.

Главное, чтобы форма умела догадываться о содержимом запроса, невзирая на неправильную раскладку клавиатуры, ошибки, опечатки, распознание разных вариантов написания.

Среди бесплатных наиболее популярный «поиск для сайта» от Яндекса.

Шаг №7

Для ускорения индексации добавьте новый материал в карту html и sitemap.

HTML карта находится в отдельном файле в корне сайта на хостинге. Файл Sitemap можно создать на многих сервисах и разместить его на сайте.

Нужно, чтобы сообщить Яндексу:

• какие страницы подлежат индексации, а какие нет;
• об обновлениях информации на сайте;
• индексирование каких страниц является приоритетным;

Более детально можно прочитать о sitemap на официальном сайте.

Шаг №8

Пройдите регистрацию в Веб-мастер Яндекса

После публикации новой статьи обязательно добавьте её в раздел «Добавить сайт» и впишите в соответствующее поле ссылку.

Это лишний повод напомнить о себе роботам Яндекса.

Соблюдайте внутреннюю перелинковку сайта, грамотно связав статьи между собой. Поисковый робот попадет на страницу входа на сайт и пройдет дальше по внутренним ссылкам. Еще одна возможность для облегчения индексации.

Шаг №9

Составьте список экспертов, людей в вашей сфере, постарайтесь у кого-то из них взять интервью на злободневную или интересную тему. Можно также опубликовать с разрешения автора-эксперта интересный контент у себя на сайте.

При цитировании или репосте авторского контента пишите имя автора вместе с символом @. А если дополните пост замечаниями, выскажете свое отношение к освещаемому вопросу — вовлечете читателей в интересные дискуссии.

Это:

• польстит автору
• вам добавит экспертности в глазах читателей
• вашему сайту органического трафика с хорошим поведенческим фактором

Шаг №10

Для удобства читателей используйте форму древовидных комментариев.

Удобная и интуитивно понятная форма! Ведь каждый новый ответ размещается под тем комментарием, к которому он адресован.

Исследования Quick Sprout убедили многих блогеров — форма древовидных комментариев в среднем увеличивает время пребывания читателей на сайте и количество их дискуссий на 16-33%.

Развернутые комментарии также положительно влияют на индексацию, ведь в них бывают интересные низкочастотные запросы, которые «видит» Яндекс.

Чтобы проверить индексацию комментариев, можно:

• Cкопировать текст комментария из какой-то старой статьи.
• Перейти в раздел «Расширенный поиск Яндекса» и вставить его в строчку «Я ищу», а ссылку в строку «На сайте».

Если поиск ничего не даст, значит, комментарии не проиндексированы.

Шаг №11

Используйте тематические форумы, сервисы типа Ответы Mail.ru для ответов на вопросы, в которых вы разбираетесь. Используйте свое реальное имя и фотографию.

Бескорыстно помогайте читателям решить их проблемы, активно участвуйте в дискуссиях.

Таким образом ваш сайт и ваши ссылки не будет восприниматься как СПАМ.

Шаг №12

Разбавляйте текст хорошими иллюстрациями, картинками. Они притягивают внимание, облегчают восприятие текста.

Хотя сегодня много картинок в интернете, но лучше публиковать качественные и уникальные, не растиражированные фотографии или картинки.

Трудность в том, что картинка должна усиливать текст, а значит должна совпадать по теме со статьей.

Есть масса сервисов для легального скачивания картинок.

В помощь еще фото, доступные по лицензии Creative Commons из Google, Flickr, Яндекс. А также вездесущая Википедия с целым разделом «Источники изображений».

Найти нужную фотографию или картинку – это только полдела. Следующая половина – это оптимизация картинки, нужная для генерации трафика, повышения скорости загрузки сайта.

Поэтому при публикации правильно называйте картинки.

Если вы делитесь с читателями информацией о очищающем мицелярном лосьоне Авен, логичнее назвать картинку avene-ochischayuschiy-mitselyarn-loson-200_64141.jpeg.

А не catalog/product/cache/1/image/9df78eab33525d08d6e5fb8d27136e95/1/1/111643_1.jpg.

Обращайте внимание при оформлении картинки на прописывание атрибута alt . Он дает описание картинки, отображаемой на страничке при условии сбоя во время загрузки картинки.

Прописывайте в описании 4-5 слов, лаконично сообщающая о чем идет речь в картинке. Впишите, органично, конечно, в картинку, в основном на первом экране, ключевое слово, по которому будет индексироваться статья.

alt=”http:///askorbin.ru/image/imgLec2/avene-ochischayuschiy-mitselyarn-loson-200_64141.jpeg"

Если не получается, просто опишите картинку. А еще лучше, когда хорошее содержание текста вокруг картинки абсолютно релевантно ей.

Яндексу так проще понять о чем идет речь.

Шаг №13

Яндекс, как и другие поисковики, пользуется для улучшения поисковой выдачи стандартом Schema.org.

Воспользуйтесь микросемантической разметкой для ранжирования картинок в Яндекс картинках.

Еще один, пусть небольшой, но источник трафика.

Используйте разметку schema.org/ImageObject для изображений, чтобы улучшить результаты ранжирования ресурса в поиске по картинкам. Для этого заполните ссылку на файл картинки на сайте в поле «contentUrl»

А также поля: thumbnail, name, caption, description, height, width.

Подробнее об этом можно узнать на странице Яндекс.Вебмастер.

Шаг №14

Создайте аккаунты наиболее популярных соцсетей и публикуйте там полные анонсы своих статей. С вступлением, картинкой и ссылкой на исходник .

Самые интригующие, важные посты прикрепляйте в самом верху новостей.

В Фейсбуке это можно сделать с помощью стрелочки в правом верхнем уголке поста, чтобы выбрать строчку «Выделить сверху».

В Вконтакте кликнуть на время публикации поста и нажать «Закрепить».

Всегда и везде добавляйте призывы к действию!

Это лишь небольшой перечень действий, которые можно предпринять для ускорения индексации в Яндексе.

Конечно, их намного больше. Что использовать из этого перечня, решать вам.

Можно только добавить, что работа над сайтом должно проводиться с определенной регулярностью.

Интернет быстро меняется. Яндекс постоянно вносит изменения в процесс продвижения и раскрутки сайта. Помните об этом.

Экспериментируйте с разными стилями написания текстов, пишите интересно, неизбито. Снабжайте тексты инфографикой, пусть простой для начала, выкладывайте на сайте видео.

Если предпринимать хотя бы часть шагов со скрупулезным старанием, то через 3-6 месяцев можно по многим ключевым запросам увидеть свой сайт в ТОП 10 Яндекса!

P.S. Если эта статья показалась вам полезной, подписывайтесь на обновления блога и посоветуйте её друзьям, особенно тем, кто интересуется продвижением своего сайта.

Индексация сайта в поисковых системах

СОДЕРЖАНИЕ

Что такое индексация сайта и как она происходит

Как проверить индексацию сайта

Проверить индексацию сайта в Яндекс.Вебмастере

Проверка индексации сайта в Google Search Console

Индексация сайта в Майл (Mail.ru)

Индексация сайта в Bing.com

Сервисы проверки индексации сайтов

Как ускорить индексацию сайта

Быстрая индексация сайта в Яндексе

Индексация картинок сайта

Вопросы

Как запретить индексацию сайта

Как открыть сайт для индексации

Когда последний раз проходил индексацию сайта

Как добавить сайт на индексацию

Что такое индексация сайта и как она происходит

SEO продвижение сайта невозможно без индексации сайта. Чтобы повысить поведенческие факторы, необходимо, чтобы страницы были проиндексированы. Индексация сайта — что это такое простыми словами? У каждой поисковой системы есть свой собственный поисковый робот. Он может в любой момент зайти на сайт и «погулять» по нему, передавая все отсканированные документы (весь html-код, текст, изображения, ссылки и все остальное) в базу своей поисковой системы. Этот процесс принято называть «сканированием».

Далее поисковая система анализирует полученные данные и выставляет ссылки на документы в поисковую выдачу. Именно это и подразумевается под фразой «индексация сайта».

Ну а теперь давайте искать ответы на вопросы «как ускорить индексацию?» и «как улучшить индексацию?»

Как проверить индексацию сайта в Google и Яндекс

Существует несколько способов получения ответа на вопросы «а проиндексирована ли эта страница?», «сколько страниц проиндексировано?» и т.п. Рассмотрим некоторые из самых эффективных. Но для начала маленькое уточнение – обработка поискового запроса и формирование поисковой выдачи происходит на основе проиндексированных «копий» страниц, находящихся в базе данных поисковой системы, а не на основе имеющихся на сайте страниц. Ну а теперь о трех способах проверки индексации:

1. Кабинеты поисковых систем Яндекс, Google, Mail.ru и т.д. Уж там-то со 100% вероятностью можно получить все необходимые данные.

2. В Рунете полно подходящих онлайн-сервисов. Практически все они работают одинаково: указывается адрес сайта и получаем данные и вся история индексации сайта как на ладони.

3. Ручная проверка с помощью оператора site:. Т.е. вбиваем в поисковую строку site:your-site.guru и тут же получаем и список проиндексированных страниц (в виде поисковой выдачи), и их количество.

Проверить индексацию сайта в Яндекс.Вебмастере

Заходим в https://webmaster.yandex.ru/ и логинимся. Далее переходим в «Индексирование сайта» — «Страницы в поиске» (как вариант — «Индексирование сайта» — «История» — «Страницы в поиске»). Здесь можно посмотреть статистику последних изменений в индексации и даже выявить исключенные из индекса страницы.

Проверка индексации в сайта Google Search Console

Чтобы проверить индексацию сайта в Google, нужно первым делом зайти в https://www.google.com/webmasters/tools/home, логинимся, после чего на боковой вкладке «Индекс Google» выбираем «Статус индексирования».

Индексация сайта в Майл (Mail.ru)

У поисковой системы Mail.ru тоже есть свой вэбмастерский кабинет — https://webmaster.mail.ru/. Заходим туда, логинимся и через форму go.mail.ru/addurl добавляем сайт на индексацию. Радует тот факт, что Mail.ru все-таки решила разрабатывать и продвигать свои собственные инструменты для вебмастеров.

Индексация сайта в Bing.com

Кто не в теме, поисковая система Bing была разработана корпорацией Microsoft (ей и принадлежит), чтоб заменить поиск Live Search. В России она пользуется очень малой популярностью. Однако, есть те, кто успешно получает с нее достаточно много поискового трафика. К слову, «пригласить поискового бота» можно и без регистрации – заходим на www.bing.com/toolbox/submit-site-url, вводим адрес сайта, капчу, кнопку «Отправить» и всё!

Сервисы проверки индексации сайтов

В Рунете существует достаточно большое количество сервисов по массовой проверке индексации сайтов. О некоторых из них мы и поговорим.

1) Сервис http://www.seogadget.ru/sepages

Здесь можно сразу закинуть столбиком список сайтов, которые необходимо проверить на индексацию. Причем в списке могут быть как исключительно имена доменов (например, your-site.go), так и ссылки на какие-то конкретные документы (например, your-site.go/content/domashka/) – это не имеет значения, т.к. имена доменов сервис «вычленяет» автоматически.

Данный сервис умеет проверять индексацию в Google и Яндексе. Допускается до 250 проверок в сутки.

2) Сервис http://xseo.in/indexed

Если коротко, то сервис полностью аналогичен предыдущему, за двумя исключениями:

• сервис проверяет индексацию «поштучно», т.е. за один заход можно проверить только один сайт;
• можно проверить индексацию еще и в Bing’е.

Как ускорить индексацию сайта

Вряд ли у кого-то из вас возникнет вопрос «а зачем ускорять индексацию?», т.к. ответ на него и так очевиден: чтоб как можно быстрее предпринять все необходимые меры для завоевания всех топовых позиций по продвигаемым запросам.

Самое первое, что нужно сделать – добавить сайт в Ваши вебмастер-кабинеты от Google и Яндекса. Если этого не сделать, то сайт будет индексироваться очень медленно и очень редко, оставляя вебмастера наедине со своими пестами о покорении хотя бы ТОП-10.

Далее необходимо правильно настроить robots.txt, т.к. за одно посещение поисковый робот может отсканировать лишь определенное количество страниц. И будет очень обидно, если робот начнет сканировать страницы «технического» характера (например, страница регистрации на сайте, либо страница ввода логина-пароля), которым в индексе делать нечего. Чтоб этого не происходило, в файл robots.txt заносятся данные о том, какие страницы сканировать не нужно. О том, как составляется robots.txt, сейчас рассказывать не будем, т.к. у нас уже есть подробнейшая статья на эту тему.

Следующим этапом является настройка xml-карты сайта (sitemap.xml). Она содержит в себе список всех страниц, которые должны быть проиндексированы поисковыми системами. Также можно указать приоритет индексирования, и даже интервалы. Чем чаще будет обновляться карта сайта – тем выше вероятность того, что поисковый робот примет решение заходить на сайт почаще (а нам именно это и нужно, верно?).

Скорость работы сайта также может повлиять на индексацию, т.к. чем быстрее поисковый робот получает ответ на свой запрос – тем лучше, ибо если сказать роботу «у нас обед, приходите через час» — робот просто уйдет, причем надолго.

Ошибки в коде также могут повлиять на индексацию, только негативно. Поэтому крайне важно, чтоб ошибок в коде не было совсем, т.к. вместо кода 200 (а именно такой код отдается при правильной работе) поисковый робот может получить код, например, 404, либо другой, свидетельствующий об ошибке.

В большинстве случаев, описанных выше мер достаточно, чтоб сайт индексировался достаточно быстро.

Быстрая индексация сайта в Яндексе

Есть еще пара неочевидных способов ускорить индексацию нового сайта в Яндексе. Мы уже многократно упоминали о регистрации в вебмастер-кабинетах от Яндекса, Google, Bing и Mail.

В данных кабинетах можно получать статистику о переиндексации страниц, а также получать уведомления о тех или иных ошибках, связанных с работой сайта.

А вот теперь небольшой «лайфхак». В Яндекс.Вебмастере идем в «Индексирование» — «Переобход страниц» и указываем адрес только что созданной страницы. Да, мы не спорим, это не всегда срабатывает, т.к. поисковый робот Яндекса после уведомления действует на свое усмотрение и не всегда принимает решение о посещении этой страницы, но он о ней как минимум узнает. Поэтому мы рекомендуем пользоваться данным инструментом для ускорения индексация нового сайта или его страниц.

Индексация картинок сайта

В основном получение данной информации будет полезно в том случае, если Вы продвигаете, скажем, фотохостинг.

Важно отметить, что у Google, Bing и Яндекса текст и картинки индексируются разными роботами. Быстрее всего картинки индексируются Google’ом. Яндекс индексирует картинки гораздо медленнее по сравнению с Google, но гораздо быстрее по сравнению с Bing, причем последняя медленно индексирует только рунетовские сайты. Не доверяет?

Однако, есть один универсальный совет по оптимизации изображений – прописать в коде атрибуты alt=”” и title=”” для каждого изображения, т.к. они оба очень важны.

Если навести на картинку, то может «всплыть» поясняющая текстовая подсказка, чтобы пользователю было проще понять «куда смотреть и что видеть». Текст этой самой подсказки и прописывается в атрибуте title=””

Также бывают ситуации, когда изображение по каким-то причинам не загружается (может оно удалено, может в браузере отключена загрузка картинок – неважно). В этом случае вместо фотографии должен появиться текст, описывающий, что именно изображено на картинке, которая не загрузилась. Именно этот текст и прописывается в атрибуте alt=””.

Как узнать, сколько картинок проиндексировано поисковиком?

Ответ предельно прост: идем в интересующую нас поисковую систему, в поисковой строке вбиваем оператор site:, после двоеточия без пробела прописываете имя домена, подтверждаем запрос клавишей Enter, а затем переходим на вкладку «Изображения» или «Картинки» (в зависимости от поисковой системы). Вы увидите сами картинки, а также узнаете их точное количество.

Для Яндекса это будет выглядеть вот так:

А для Google – вот так

Вопросы

Как запретить индексацию сайта

Иногда возникает необходимость установить запрет на индексацию сайта. Причин на это может быть несколько – технические работы на сайте, либо тестируется новый дизайн, и т.д.

Способов сказать поисковым системам «не надо тут ничего индексировать» несколько.

Самый первый, самый популярный и самый простой – через файл robots.txt. Достаточно просто прописать вот этот код:

User-agent: *

Disallow: /

Теперь давайте разберем, что этот код означает.

User-agent – это директива, в которой указывается имя поискового робота, для которого сформирован список правил. Если в качестве имени указана звездочка – значит список актуален для всех поисковых роботов (кроме тех, для кого составлены индивидуальные списки правил). Если же указать вместо звездочки имя поискового робота, то список правил будет действовать именно для него:

Директива Disallow: предназначена для того, чтобы сообщить поисковым роботам, какие файлы/папки сканировать не нужно. В нашем случае одиночный слеш показывает, что запрещено индексировать весь сайт целиком.

Бывают и особые случаи, когда требуется закрыть индексацию для всех поисковых систем, кроме какой-то конкретной. В этом случае у нас будет 2 списка (один из которых приведен выше на скриншоте), а второй – индивидуальный список для какого-то конкретного робота. В данном случае – робота поисковой системы Яндекс.

User-agent: *

Disallow: /

User-agent: Yandex

Allow: /

С User-agent и Disallow разобрались, теперь разберемся с директивой Allow. Она является разрешающей директивой. Говоря простым языком, приведенный выше код файла robots.txt запрещает индексацию сайта всем поисковым системам, кроме Яндекса.

Да, мы не спорим, не смотря на запреты, поисковые системы все равно могут проиндексировать сайт. Однако, это бывает настолько редко, что даже статистической погрешностью можно назвать с большой натяжкой.

Второй способ – метатег robots. Для этого необходимо в код сайта добавить следующую строку:

META NAME=”ROBOTS” CONTENT=”NOINDEX, NOFOLLOW”

ВАЖНО!!! Можно ее добавить таким образом, чтоб она прогружалась в код каждой страницы сайта без исключения, а можно добавить на какие-то отдельные страницы. Но в обоих случаях данный мета-тег должен быть размещен в области head html.

По сравнению с первым, второй способ является более сложным для массового запрета на индексацию, и более легким для точечного.

Третий способ – закрытие сайта через .htaccess

Способ тоже довольно простой – добавить в файл .htaccess следующий код:

Теперь поисковый робот не сможет без пароля получить доступ к сайту.

Это самый верный способ закрыть сайт от индексации, но появляется другая проблема – возникают сложности со сканированием сайта на наличие ошибок, т.к. не каждый парсер умеет авторизовываться.

Способ 4 представляет собой настройку заголовка ответа HTTP

Данный способ так же достаточно эффективен для точечного запрета на индексацию. Работает это следующим образом – вместе с кодом ответа сервера отдается еще и X-Robots-Tag заголовок с пометкой noindex. Получив такой «сопроводительный» ответ, поисковая система не будет индексировать данную страницу.

При необходимости можно отдавать несколько X-Robots-Tag заголовков. В данном случае их два noarchive и unavailable_after.

При необходимости можно перед директивой указывать еще и поискового робота, которому адресована директива, да и сами директивы можно писать через запятую. Например, вот так:

Ну и, конечно же, Вы уже и сами догадались, что при отсутствии имени юзер-агента команда будет выполняться всеми роботами. Т.е. директивы можно по-разному комбинировать для разных поисковых роботов.

Как открыть сайт для индексации

Ответ ранее уже прозвучал – с помощью директивы Allow (вспомните пример, когда с помощью robots.txt мы закрывали от индексации сайт для всех поисковых систем, кроме Яндекса).

Еще раз:

Allow: / разрешает индексацию сайта, а Disallow: / запрещает.

Когда последний раз проходила индексация сайта

Посмотреть и историю обхода страниц поисковыми роботами Google достаточно просто. Для начала в поисковую строку вбивается оператор site:, после двоеточия без пробелов указывается имя Вашего домена, затем кликаем в «Инструменты» и выбрать в одном из столбцов подходящий период. Если выбрать «за последние 24 часа», то можно получить либо список станиц, которые были проиндексированы за последние 24 часа, либо получить «Ничего не найдено». Это значит, что за последние 24 часа переиндексации Вашего сайта не было.

В Яндексе же сделано все еще проще – вся необходимая информация и история доступна в Яндекс.Вебмастере:

Как добавить сайт на индексацию

Данная информация будет полезна всем, кто только что создал свой первый сайт, т.е. чем быстрее проиндексируется сайт – тем быстрее Вы получите свой первый поисковый трафик.

Добавление сайта в Google

Для начала переходим по ссылке http://www.google.com/addurl/?continue=/addurl, логинимся (при необходимости), вводим URL, проходим капчу (в данном случае – ставим галочку «Я не робот» и проходим 1-2 задания с картинками), и жмем «Отправить запрос».

Затем Вам будет выдано вот такое сообщение. Оно означает «ОК, сайт принят к сведенью, скоро мы туда заглянем».

Если с сайтом все в порядке, то индексация произойдет очень быстро.

Добавление сайта в Яндекс

Первым делом заходим на https://webmaster.yandex.ru/, регистрируемся, затем переходим в «Индексирование» — «Переобход страниц» и добавляем туда имя домена Вашего сайта. Всё.

Добавление сайта в Bing

Тут все еще проще – идём сюда http://www.bing.com/toolbox/submit-site-url, вводим имя домена, капчу, и все – готово! Регистрация при этом не требуется.

ВАЖНО!!! На данный момент продвигать в Bing русскоязычные сайты бессмысленно, в отличие от англоязычных. Это связано с тем, что в России крайне мало кто знает про поисковую систему Bing.

Добавление сайта в Поиск Mail.ru

Данная процедура тоже достаточно проста – переходим в кабинет вебмастера mail.ru по ссылке http://go.mail.ru/addurl, регистрируемся/логинимся, затем указываем имя домена сайта, вводим капчу и жмем «Добавить».

Затем на экран будет выведено вот такое сообщение:

Готово!

P.S. Индексация сайта на WordPress, Wix, Joomla, Ucoz или на любой другой CMS или конструкторе — ничем не отличается. Все зависит от набора правил, которые прописаны в файле robots.txt или же в самом коде страниц. Более подробно узнать о том, как правильно настроить файл robots.txt, а также как открыть или закрыть страницы от сканирования в Яндекс и Google прочтите ЭТУ статью! Также, в статье вы найдете готовые файлы robots для правильной индексации сайтов WordPress, Joomla, Wix в Яндексе и Гугле.

Быстрая индексация в Яндекс и Google: секреты индексирования страниц сайта

Специалист SEO-сервиса Labrika Добавляя информацию на сайт, нам хочется, чтобы она сразу же попала в выдачу, а еще лучше сразу в топ. Но поисковые системы так не делают, у них свое расписание, и иногда приходится неделями ждать индексации. У всех свои методы решения этой проблемы, мы расскажем о наиболее действенных средствах ускорения индексации.

Быстрая индексация в Google

1. Google Webmaster

После появления нового материала на сайте, необходимо добавить ссылку на него в файл sitemap.xml. И отправить карту сайта Google через аккаунт в GWT. Еще одной полезной фишкой данного сервиса является возможность отправки URL новой страницы непосредственно на индексацию. Вы сообщаете Google, что у вас появилась новая страница (даете ссылку) и робот в ближайшее время ее проиндексирует.

Как это сделать?

Заходите в аккаунт Google Webmaster и выбираете в меню «посмотреть как Googlebot». Далее указываете ссылку на новую страницу и нажимаете «Получить и отобразить». Google просканирует страницу и отобразит результат в графе «статус».

Если все прошло успешно, у Вас появится действующая кнопка «Добавить в индекс», туда и жмем. Откроется вот такое окно:

Здесь можно выбрать 2 варианта:

• Сканировать только этот URL. Будет проиндексирована только данная страница. Лимит 500 страниц в неделю
• Сканировать этот URL и прямые ссылки. В этом случае будут добавлены в индекс и те страницы, на которые идут ссылки с указанного URL. Лимит 10 в месяц.

Гарантий индексации это не дает. Но если информация на странице полезная, все требования поисковой системы к качеству соблюдаются – считайте она в индексе.

2. Социальные сети

Еще один очень популярный и действенный способ ускорения индексации в Google – это добавление ссылок в соц.сети. Лучше всего в этом вопросе помогает Twitter. Важно, чтобы указанная ссылка не просто появилась в Twitter, а распространялась. Поэтому у Вашего аккаунта должно быть как можно больше подписчиков, иначе получить желаемый результат не получится.

Полезная фишка данного способа – хэштеги. Если Вы найдете популярный хэштег дня, подходящий к теме Вашей статьи (хотя бы отдаленно), Ваш пост будет более популярным. Значит, и поисковый робот быстрее обратит свое внимание на ссылку.

3. RSS

Установите на наиболее обновляемые разделы сайта RSS канал. Так робот сможет отслеживать все новые публикации. Есть специальные сервисы для работы с RSS, например, FeedBurner. Этот сервис принадлежит Google, поэтому его добавление на сайт не останется незамеченным. Но помимо ускорения индексации, FeedBurner может исправить ошибки в RSS ленте, чтобы она корректно отображалась у всех пользователей.

Фишка в том, чтобы совместить Twitter и RSS. То есть, настраиваем кросспостинг из RSS в Twitter и ускоряем процесс индексации. Да и подписчики Ваши будут быстрее узнавать об обновлениях.

4. Перелинковка

О пользе правильной перелинковки уже говорилось много раз. Мы решили добавить ее в список лишь как напоминание. Если у Вас крупный многостраничный сайт – без нее индексация будет очень затрудняться. Позаботьтесь о правильной перелинковке сайта в первую очередь. Иначе все остальные труды по ускорению индексации будут напрасны.

Время индексации

Googlebot работает очень быстро. Мы говорили, что он посетит страницу в ближайшее время. Стоит уточнить, что «ближайшее время» — это буквально минут 10. Естественно, лучше всего применять все указанные способы вместе. Тогда страница появится в поиске моментально.

Быстрая индексация в Яндекс

Проблемы индексации в Яндексе мучают оптимизаторов постоянно. Мы дадим 6 советов о том, как повлиять индексацию, но предоставить гарантии быстрого попадания в индекс, все же, не можем. Многое зависит от самого сайта, качества текстов, специфики. Так что, опять вспоминаем о перелинковке и внутренней оптимизации, а потом переходим к советам:

1. Обязательно добавьте сайт в Яндекс.Вебмастер

Помимо того что Яндекс будет в курсе существования Вашего сайта, Вы сможете найти там полезные функции. Например, защиту контента от воровства с помощью сервиса «Оригинальные тексты». Это, кстати, хороший способ показать Яндексу, что у Вас появился новый материал. А еще добавьте в аккаунт свою карту сайта.

2. Социальные сети

Они полезны как в Google, так и в Яндексе. Стоит отметить, что Яндекс придает им гораздо меньше значения, но лишним это точно не будет. Особенно если у Вас популярный аккаунт с большим количеством подписчиков, например, +500 в Twitter, то быстроробот Яндекса не останется в стороне.

3. RSS

Опять же плюсом к соцсетям. Все как с Google: добавляете RSS-канал, устраиваете кросспостинг в Twitter и ставите FeedBurner (это по желанию, конечно, но польза есть).

4. Каталоги

Прогон по каталогам может помочь в ускорении индексации, но только если сделать все правильно. Подобрать правильную тематику, правильное количество каталогов и загрузить в правильное время. Иначе можно только хуже сделать.

5. Распорядок

Основные сложности с индексацией возникают, когда на сайте появляется сразу много новых материалов. Если добавлять страницы с определенным интервалом, допустим, 2 статьи в неделю, то робот будет приходить как раз вовремя. Но это если Вы уже достаточно намучились с Яндексом и заслужили его уважение как полезный трастовый сайт.

6. Реклама Яндекс.Директ

Это наиболее действенный метод ускорения индексации. При добавлении на страницу рекламы от Яндекс.Директ, поисковая система должна просканировать контент и подобрать подходящее объявление. Поэтому индексация таких страниц происходит практически моментально. Но ставить объявления на каждую страницу не всегда возможно.

Время индексации

В среднем, срок индексации может сократиться до 7-10 дней. Звучит не очень радостно, но по сравнению с обычными месяцами ожидания, это очень быстро.

Инициатива

Bing и Яндекса IndexNow подчеркивает важность использования «времени до индексации» как ключевого показателя эффективности

.

Поиск способов максимально быстрого и эффективного индексирования контента долгое время был одним из столпов органического поиска и технического SEO.

Это сложный ландшафт, в котором легко потеряться. Давайте возьмем пример крупномасштабного бизнеса электронной коммерции. Ежедневно добавляются и удаляются тысячи новых страниц продуктов, поэтому медленная или неточная индексация может напрямую обернуться потерей трафика и, возможно, продажами.

Проблемой может быть не только индексация новых страниц. Подумайте о последствиях, которые может иметь медленное индексирование для компании, которую попросили удалить страницу по юридическим причинам. Конечно, это более редкая проблема, но она может иметь серьезные последствия, не в последнюю очередь в отношении репутационного ущерба.

Для многих приятно, что Microsoft Bing и Яндекс представили дополнение к текущему набору инструментов индексирования. Инициатива под названием IndexNow означает, что любая поисковая система, которая хочет, может позволить владельцам сайтов легко уведомлять поисковые системы о новом, обновленном или удаленном содержании.

«Как только поисковые системы получают уведомления об обновлениях, они быстро сканируют и отражают изменения веб-сайтов в своем индексе и результатах поиска», — пишет Microsoft в своем блоге.

веб-сайтам будет разрешено отправлять до 10 000 URL-адресов в день. Конечно, это означает, что тем, у кого на больше , чем это число, придется расставить приоритеты, какие URL-адреса они хотят пометить, и, в свою очередь, понять, какие страницы имеют для них наибольшее значение в разные моменты года. (Это особенно актуально для тех, кто работает в сезонных отраслях, таких как мода и спорт.)

Также стоит отметить, что разработка идет как раз к Черной пятнице и Киберпонедельнику. Не следует упускать из виду, что IndexNow предоставляет еще один ценный инструмент индексации для предприятий электронной коммерции, которым, естественно, приходится выполнять свою работу в течение этого основного периода годовых продаж.

Мы движемся к более эффективному Интернету

Одной из самых мощных функций IndexNow является то, что URL-адреса, отправленные в поисковую систему с поддержкой IndexNow, автоматически отправляются во все других поисковых систем с поддержкой IndexNow.Это первая инициатива по индексации, предлагающая что-либо подобное. Подобные протоколы до сих пор применялись только к имеющейся поисковой системе:

• Bing уже имеет подключаемый модуль API, который позволяет пользователям отмечать обновленное содержимое, но отправленные URL-адреса , только помечены для Bing.
• API индексирования Google в настоящее время применяется только к объявлениям о вакансиях и контенту прямой трансляции.

Все это способствует более широкому видению, которое будет становиться все более распространенным в ближайшие месяцы и годы.Microsoft заявляет об этом видении в своей прессе вокруг IndexNow, заявляя, что цель инициативы — «сделать Интернет более эффективным». IndexNow помогает бизнесу получать самую своевременную и актуальную информацию для своих клиентов, создавая при этом лучший общий опыт для всех », — говорит Бинг.

Разумеется, более эффективный Интернет — это хорошая новость не только для бизнеса и потребителей, но и для окружающей среды. Любые нововведения, касающиеся скорости индексации, оказывают положительное влияние на углеродный след Интернета.Другими словами, чем меньше вычислительной энергии требуется для индексации страниц, тем меньшее влияние Интернет оказывает на окружающую среду.

Очки действия

Использование IndexNow, наряду с другими методами ускорения индексации, может помочь компаниям сократить выбросы углекислого газа.

Прямо сейчас Bing и Яндекс — две поисковые системы, которые приняли протокол, но любой может принять участие. Итак, кто будет следовать?

Мы думаем, что, вероятно, большее количество небольших локальных поисковых систем могут использовать IndexNow, как, например, граждане Чешской Республики, которые часто используют местные поисковые системы.Google пока не раскрывает никаких планов последовать его примеру, но мы не думаем, что это слишком надумано, чтобы ожидать этого в ближайшем будущем. Точно так же мы считаем, что Naver тоже может принять этот протокол.

Что, пожалуй, наиболее показательно для потенциальной скорости внедрения IndexNow, так это тот факт, что Akamai и Cloudflare — два крупнейших поставщика услуг доставки контента — уже интегрировали его.

Системы управления контентом

, которые планируют поддерживать его в ближайшие недели (согласно этому блогу Bing), включают:

Однако некоторые игроки поисковой индустрии более осторожны.Йост де Валк, основатель плагина WordPress для SEO Yoast SEO, недавно написал в Твиттере: «Мы не добавили поддержку @yoast SEO для этого, причина проста, мы еще не увидели его ценности».

IndexNow следует использовать в соответствии с полным набором методов индексации

IndexNow определенно является интересным дополнением к индексации инвентаря, имеющегося в распоряжении предприятий. Но важно помнить, что процесс ускорения индексации многогранен. Есть много методов, которые компания может использовать для уменьшения метрики времени до индексации, и они должны использовать все методы, которые могут.

Например, такие методы, как использование XML-карт сайта, по-прежнему очень ценны. (Это традиционный способ перечисления всех URL-адресов в XML, чтобы поисковые системы могли прийти и проверить.) Аналогичным образом, демонстрация ваших наиболее важных ссылок, ближайших к вашей домашней странице или другим ключевым страницам, является важной частью помощи поисковым системам в поиске ваших новых или обновленных контент быстрее. RSS-каналы и протокол WebSub также являются полезными инструментами индексации, которые нельзя упускать из виду (подробнее об этих методах ниже).

Имея все это в виду, нельзя недооценивать ценность работы с партнером для решения технических проблем индексирования.

Все компании должны рассматривать время до индексации как ключевой показатель эффективности.

Конечно, IndexNow пришла не от Google. Но тот факт, что от концепции к реализации две ведущие поисковые системы мира, кажется, символизирует нечто — в основном то, что теме более быстрого индексирования следует постоянно уделять должное внимание. На самом деле компании должны рассматривать время до индексации как ключевой показатель эффективности. И они должны обращаться с этой метрикой с таким же усердием и осторожностью, как и с любыми другими маркетинговыми или операционными показателями.Здесь уместно воспользоваться моментом, чтобы воздать должное Bing и Яндексу за продвижение этой инициативы. Всегда приятно видеть позитивный и активный шаг, исходящий за пределами арены Google.

В Merj мы помогаем нашим клиентам улучшить показатели времени до индексации, применяя полностью целостный и детальный подход к индексации. Как упоминалось выше, это действительно не ситуация выбора. Компании должны использовать все доступные им тактики индексации , хотя мы понимаем, что это легче сказать, чем сделать из-за технических ограничений платформы и ограничений данных, доступных компаниям.Мы помогаем нашим клиентам преодолеть эти барьеры, исследуя, создавая прототипы и интегрируя решения, обеспечивающие максимальный охват.

Вот краткое описание некоторых из используемых нами техник:

Файлы Sitemap для динамического XML

Одно из разработанных нами решений — использование временных динамических XML-карт сайта. Это включает создание динамических XML-карт сайта с новыми веб-страницами, которые затем контролируются мониторингом журналов сервера. Это позволяет нам отслеживать, когда поисковые системы посещают эти новые веб-страницы.После того, как посещение было инициировано, мы можем удалить его из соответствующей динамической XML-карты сайта, чтобы поисковые системы могли легко получить доступ к другим URL-адресам без лишнего шума.

RSS и ATOM-каналы

Эти каналы в первую очередь позволяют сторонним агрегаторам, таким как Feedly и Slack, показывать новый контент подписанным пользователям. Однако Google позволяет отправлять URL-адреса через RSS-каналы, чтобы также находить новый контент.

Веб-сайт

Websub (ранее PubSubHubbub) — это расширение RSS-канала, посредством которого разрешены потоки производителя и потребителя.Подобно IndexNow, Websub позволяет поисковым системам отслеживать обновления. Хотя — это , поддерживаемый Google, этот метод в прошлом не применялся реже, возможно, из-за отсутствия примеров и документации.

Отметка времени

Мы создаем аудит уведомлений о событиях временного ряда, в котором отмечаются временные метки для всех новых веб-страниц, добавляемых на веб-сайт. Веб-страницы подразделяются на типы страниц, что позволяет нам просматривать изменения отдельных страниц или в агрегированном виде.Новые веб-страницы отправляются в различные службы индексирования с записью времени их отправки.

Внутренняя ссылка

Ссылки на самые важные новые веб-страницы из существующих важных веб-страниц могут помочь поисковым системам быстрее обнаруживать эти новые веб-страницы. Это связано с более высокой частотой сканирования существующих веб-страниц. Важные веб-страницы могут включать в себя домашнюю страницу, веб-страницы со списком продуктов первого уровня или бизнес-страницы верхнего уровня.

В конечном итоге IndexNow снова привлекает наше внимание к теме, которая будет становиться все более распространенной по мере расширения Интернета. Это означает необходимость постоянного осмысления того, как мы справляемся с таким гигантским, сложным ландшафтом — и мы, со своей стороны, здесь для этого.

Когда это индекс? Скажем, IndexNow, Bing и Яндекс.

Ежедневные функции Search Engine Land включают ежедневную аналитику, новости, советы и важную информацию для сегодняшних маркетологов поисковой системы. Если вы хотите прочитать это раньше, чем остальные в Интернете, Зарегистрируйтесь здесь Чтобы его можно было ежедневно доставлять на ваш почтовый ящик.

Доброе утро, маркетологи, что, по вашему мнению, является самой большой угрозой техническому успеху SEO?

Более четверти респондентов (27) заявили, что, согласно техническому отчету Ira and Women of Tech по поисковой оптимизации (не закрытый контент), организационная нехватка ресурсов (что означает, что никто не может изменить ситуацию). Существует более серьезная профилактика, чем. SEO. В отчет также включены комментарии 17 специалистов. Если вы — агентство, у которого остались ресурсы, вы поставите 2022 год в очень хорошее положение.«Большему количеству команд необходимо понимать, что при покупке. [Для] SEO им также необходимо убедиться, что другие, вспомогательные ресурсы доступны (полный рабочий день / нет необходимости в выделении)

Я провёл много исследований, но некоторые из них легко усвоить, благодаря интуитивно понятному интерфейсу, или они всеобъемлющие, особенно с точки зрения полезности внутренних, агентских и внештатных SEO-специалистов, а также инструментов, наборов навыков и технического SEO. Независимо от того, занимаетесь ли вы практикой или руководите маркетингом своего бизнеса, в исследовании собраны данные и идеи, которые помогут вам принимать более обоснованные решения.

Джордж Нагин,
Редактор.

---

Index Nine — новая инициатива Microsoft и Яндекс по доставке контента в поисковые системы.

Microsoft и Яндекс анонсировали Index Nine, новый протокол, в котором может участвовать любая поисковая система, чтобы владельцы сайтов могли мгновенно индексировать свои страницы и контент поисковыми системами.

В настоящее время Microsoft Bing и Яндекс — две поисковые системы, которые полностью вовлечены в эту инициативу, но другие могут принять этот открытый протокол.Кроме того, любая поисковая система, которая принимает этот протокол, должна согласиться с тем, что отправленные URL-адреса будут автоматически передаваться всем другим участвующим поисковым системам, включая Bing. И Яндекс избавит от необходимости отправлять обе или дополнительные поисковые системы, если он будет принят более широко. Кроме того, сторонние сайты, такие как eBay, LinkedIn, MSN и GutHub (последние три принадлежат Microsoft), согласились интегрировать Index Now API, и Microsoft также предоставила код WordPress. Предоставляется, который можно использовать для интеграции девятого индекса в вашу CMS.

Почему нас это волнует Когда дело доходит до предоставления новейшего контента поисковым системам, быстрое индексирование — мечта SEO. Google очень строго придерживается своего API индексирования приложений, который используется только для объявлений о вакансиях и контента прямой трансляции. Таким образом, хотя похоже, что Google, возможно, не сможет участвовать в Index Now в ближайшем будущем, такие поисковые системы, как Microsoft Bing и Яндекс, прилагают все усилия, чтобы продвинуть этот шаг.

Протокол очень прост и требует очень небольших усилий разработчика для добавления на ваш сайт, поэтому имеет смысл реализовать его, если вы заботитесь о быстрой индексации.Похоже, что в этом будет участвовать все больше и больше поисковых систем, но с точки зрения большого Google это не совсем ясно.

Подробнее здесь.

---

Рекламодатели Microsoft могут анализировать поведение после нажатия, анализировать взаимодействие с новой интеграцией определений.

Объяснение Microsoft, бесплатный инструмент компании, помогающий владельцам сайтов лучше понять поведение посетителей, будет интегрирован с Microsoft Advertising в качестве пилотной программы, сообщила компания в понедельник.

Почему нас это волнует Реклама может помочь привлечь потенциальных клиентов на ваш сайт, но нет никакой гарантии, что эти пользователи совершат конверсию — они могут отказываться, потому что не могут найти то, что искали, или из-за неработающей кнопки или ссылки.Не удалось продолжить свой путь от описания Microsoft, которое может помочь владельцам сайтов анализировать поведение пользователей после публикации с помощью визуальных карт шляп (показанных выше), которые включают клики или страницы по несуществующим ссылкам, такие как взаимодействие с пользователем, воспроизведение отдельного сеанса и другие показатели. Задает количество пользователей, выполняющих прокрутку вверх и вниз. Нахождение того, что было нелегко найти. Эта информация может быть использована для лучшего понимания вашего пути конверсии или для выявления и устранения потенциальных препятствий для клиентов.

Подробнее здесь.

---

Это американские горки Google.

Жизнь или смерть — избранный фрагмент и то, что на главной странице. За последний месяц все мы застряли с изменениями заголовков, но есть и другие опасные способы, которыми могут воспользоваться поисковые системы, такие как Google. Неправильная интерпретация нашего контента.

Найдите MUM особенности, найденные в джунглях. Kenichi Suzuki жестом размещает скриншоты необычных функций Google «Улучшить этот поиск», «Расширить этот поиск» и «Что следует учесть» (ранее «Что следует изучить»).Все эти функции построены на других технологиях, но Google ожидает, что они улучшатся с помощью MUM в ближайшие месяцы — это могло уже начаться.

Давай избавимся от мемов. На прошлой неделе Google объявил о непрерывной прокрутке результатов мобильного поиска. Премия Search Engine Land Mem Award становится официальной. Алида Солис. Его точка оперной ссылки и. Шон Хакинг. Никогда не сдавайся

---

Что мы читаем: вместо повышения цен Шэрон Уильямс выбирает скрытую надбавку за цепочку поставок в размере 4% во время оформления заказа.

Летом американцы испытали самый высокий уровень инфляции за 13 лет.По данным Министерства труда, потребительские цены выросли на 5,4 процента. Чтобы усилить недовольство потребителей, некоторые предприятия вводят неожиданные надбавки к цепочке поставок во время оформления заказа — один из таких предприятий — продавец красок Шэрон Уильямс.

«В случае с Шервином Уильямсом на самом деле они позволяют себе рекламировать нормальные цены, но увеличивают потребительские расходы до 4% в кассовом аппарате — когда у вас есть краска, а у большинства людей нет. пойти по магазинам », — написал Давид Лазарус. Лос-Анджелес Таймс. .

По мере приближения сезона праздничных покупок эти скрытые расходы могут стать более распространенными, поскольку более низкие цены на рекламу могут помочь розничным торговцам оставаться конкурентоспособными. Но есть уловка 22: продвижение низких цен, которые не соответствуют мнению покупателя во время оформления заказа, может вызвать недоверие и негативное впечатление, но прямое повышение цен может препятствовать продажам. ۔ Однако, если ваш бренд верит в прозрачность и уважает клиента, тогда выбор очевиден.

«Решение очень простое: принять закон, регулирующий потребительские цены», — написал Лазарус.۔ «Я живу в странах, где окончательной ценой является цена рекламы, и это облегчает процесс покупок — представьте, что вы никогда не знаете, что вам придется платить больше налогов, потому что интернет-магазин Продавец работает в вашем штате. Я сомневаюсь, что в ближайшее время это будет эффективно, но движение можно поддержать, если скрытые платежи останутся.

---

Об авторе

Джордж Нагин — редактор Search Engine Land, который охватывает обычный поиск, подкастинг и электронную коммерцию.Его опыт работы в журналистике и контент-маркетинге. До прихода в индустрию он работал радиоведущим, автором, ведущим подкастов и учителем в государственной школе.

Поисковые системы Ping с URL-адресами для мгновенного индексирования

Microsoft Bing и Яндекс объявили о новой инициативе под названием IndexNow, которая позволяет владельцам сайтов проверять связь с протоколом IndexNow для мгновенного индексирования участвующими поисковыми системами. Сейчас участвующие поисковые системы — это только Bing и Яндекс; Ни Google, ни другие поисковые системы пока в него не входят.

На IndexNow.org есть веб-сайт, на котором кратко излагается, о чем идет речь: «IndexNow — это простой способ для владельцев веб-сайтов мгновенно информировать поисковые системы о последних изменениях контента на своем веб-сайте. В своей простейшей форме IndexNow — это простой пинг, поэтому что поисковые системы знают, что URL-адрес и его содержимое были добавлены, обновлены или удалены, что позволяет поисковым системам быстро отражать это изменение в своих результатах поиска «.

Теперь метод проверки связи и отправки URL-адресов довольно прост, и он задокументирован здесь.

Чтобы отправить URL-адрес с помощью HTTP-запроса (замените URL-адресом, предоставленным поисковой системой), отправьте запрос по следующему URL-адресу: https: /// indexnow? Url = url-changed & key = your-key

Итак, правильно теперь это будет https://www.bing.com/IndexNow?url=url-changed&key=your-key или https://yandex.com/indexnow?url=url-changed&key=your-key

Отправить набор URL-адресов с использованием HTTP-запроса отправляет ваш POST-запрос JSON на URL-адрес, предоставленный поисковыми системами. Просто замените имя хоста поисковой системы.Вы можете отправить до 10 000 URL-адресов для каждого сообщения, при необходимости смешивая URL-адреса http и https.

Как сделать ключ для подтверждения права собственности на сайт? Два метода:

(1) Размещение текстового ключевого файла в корневом каталоге вашего хоста.

(2) Размещение текстового ключевого файла на вашем хосте.

Как я уже сказал, в него входят только Bing и Яндекс. Google спросили, но они не являются его частью. Байду, наверное, нет. Возможно, спросили и других. Чтобы поисковые системы приняли протокол IndexNow, они должны согласиться с тем, что отправленные URL-адреса будут автоматически передаваться всем другим участвующим поисковым системам.Для участия поисковые системы должны иметь заметное присутствие хотя бы на одном рынке.

Здесь вы можете найти ответы на часто задаваемые вопросы.

Платформы CMS, CDN и инструменты SEO заинтересованы в работе с этим протоколом IndexNow, как мне сказали.

Это не заменяет API отправки URL-адресов Bing, который будет в некоторой степени дублировать эти усилия, но API отправки URL-адресов Bing работает только с индексом Bing. Кроме того, это не влияет на API отправки содержимого Bing. Просто кажется, что Bing удваивает метод «выталкивания», а не «вытягивания» для индексации и пытается убедить другие поисковые системы принять его.В этом есть смысл, это более эффективный метод получения новых страниц, но будет ли достаточно их принятия?

К вашему сведению, я быстро активировал это, потому что этот сайт использует CloudFlare, который добавил поддержку с этим объявлением.

Почему нет Google? У них есть собственный API индексирования, использование которого ограничено. Я подозреваю, что Google получает массу сигналов от сканирования и не готов отказаться от этих сигналов. Джон Мюллер из Google пошутил по поводу объявления:

😉 мы тоже хотели бы, чтобы сканирование выполнялось реже.

— 🧀 John 🧀 (@JohnMu) 18 октября 2021 г.

Обсуждение на форуме в Twitter и WebmasterWorld.

Индекс когда? IndexNow, скажем, Bing и Яндекс; Ежедневная сводка вторника

Ежедневная сводка Search Engine Land содержит ежедневную аналитическую информацию, новости, советы и важную информацию для современного поискового маркетолога. Если вы хотите прочитать это раньше, чем это сделает остальная часть Интернета, зарегистрируйтесь здесь , чтобы получать его ежедневно на свой почтовый ящик.

Доброе утро, маркетологи, что, по вашему мнению, является самым большим риском для успеха технического SEO?

Более четверти респондентов (27%) заявили, что организационная нехватка ресурсов (что означает, что никто не может добиться внесения изменений) является самым большим сдерживающим фактором, согласно Отчету о состоянии технического SEO (не закрытый контент) от Aira и Women in Техническое SEO.В отчет даже включены комментарии 17 профессионалов: «Ресурс — это слово у всех на устах прямо сейчас. «Если вы агентство, у которого есть лишние ресурсы, вы достигнете 2022 года в действительно отличной позиции», — сказала Пейдж Хобарт, директор группы SEO в Roast. «Большему количеству команд необходимо понимать, что, покупая [для] SEO, им также необходимо обеспечить наличие других поддерживающих ресурсов (не обязательно полностью / полностью посвященных)», — сказала Натали Арни, внештатный консультант по SEO.

Я наткнулся на множество исследований, но немногие из них настолько легко усваиваются, благодаря интуитивно понятному интерфейсу, или настолько обширны, с разделами, специально предназначенными для внутренних, агентских и внештатных SEO-специалистов, а также инструменты, набор навыков и техническая эффективность SEO.Независимо от того, являетесь ли вы специалистом-практиком или руководите маркетингом для своего бизнеса, в исследовании есть данные и идеи, которые могут помочь вам принимать более обоснованные решения.

Джордж Нгуен,
Редактор

---

IndexNow — новая инициатива Microsoft и Яндекс по продвижению контента в поисковые системы

Microsoft и Яндекс анонсировали IndexNow, новый протокол, в котором может участвовать любая поисковая система, чтобы владельцы сайтов могли мгновенно индексировать свои страницы и контент поисковой системой.

В настоящее время Microsoft Bing и Яндекс — две поисковые системы, полностью участвующие в инициативе, но другие могут принять этот открытый протокол. Более того, любая поисковая система, которая принимает этот протокол, должна согласиться с тем, что отправленные URL-адреса будут автоматически передаваться всем другим участвующим поисковым системам, что устраняет необходимость отправки как в Bing, так и в Яндекс или дополнительные поисковые системы, если это получит более широкое распространение. Кроме того, сторонние сайты, такие как eBay, LinkedIn, MSN и GitHub (последние три принадлежат Microsoft), продемонстрировали поддержку интеграции IndexNow API, а Microsoft даже предоставила код WordPress, который он может использовать для интеграции IndexNow в свою CMS.

Почему нам не все равно. Когда дело доходит до предоставления поисковым системам наиболее актуального содержания, мгновенное индексирование — это мечта оптимизатора поисковых систем. Google очень строго относится к API индексации своих приложений, который используется только сейчас для размещения объявлений о вакансиях и контента в прямом эфире. Таким образом, хотя кажется, что Google может не участвовать в IndexNow в ближайшем будущем, поисковые системы, такие как Microsoft Bing и Yandex, стремятся активно продвигать эту инициативу.

Протокол очень прост, и для его добавления на ваш сайт требуется совсем немного усилий со стороны разработчика, поэтому имеет смысл реализовать его, если вы заботитесь о быстрой индексации.Кажется, что все больше и больше поисковых систем будут участвовать, но с точки зрения самой большой, Google, это остается неясным.

Подробнее здесь.

---

Рекламодатели Microsoft могут анализировать поведение после нажатия, анализировать взаимодействие с новой интеграцией Clarity

Компания объявила в понедельник, что

Microsoft Clarity, бесплатный инструмент компании, помогающий владельцам сайтов лучше понимать поведение посетителей, будет интегрирован с Microsoft Advertising в качестве пилотной программы.

Почему нам не все равно. Ads может помочь привлечь потенциальных клиентов на ваш сайт, но у этих клиентов нет гарантии, что они совершат конверсию — они могут отказаться, потому что не могут найти то, что искали, или не смогут продолжить свой путь из-за неработающей кнопки или ссылки. Microsoft Clarity может помочь владельцам сайтов анализировать поведение пользователей после щелчка с помощью визуальных тепловых карт (показанных выше), которые иллюстрируют взаимодействие с пользователем, повторы отдельных сеансов и другие показатели, такие как клики по несуществующим ссылкам или количество пользователей, которые прокручивали страницу вверх и вниз в поиск чего-то, что они не могли легко найти.Затем эту информацию можно использовать для лучшего понимания вашего пути к конверсии или выявления и устранения потенциальных препятствий для клиентов.

Подробнее здесь.

---

Google представляет собой американские горки — садитесь и пристегивайте ремни

Жизнь или смерть — избранный фрагмент по сравнению с тем, что находится на реальной странице. В прошлом месяце мы все столкнулись с изменениями заголовков, но есть и другие ужасные способы, с помощью которых поисковые системы, такие как Google, могут искажать наш контент.

Особенности MUM от Search On замечены в дикой природе. Совет Кеничи Судзуки за публикацию снимков экрана с функциями Google «Уточните этот поиск», «Расширьте этот поиск» и «Что следует учитывать» (ранее «Что нужно знать»). Все эти функции основаны на других технологиях, но Google рассчитывает улучшить их с помощью MUM в ближайшие месяцы — это может уже начаться.

Давайте прямо сейчас избавимся от мемов. На прошлой неделе Google анонсировал непрерывную прокрутку в результатах мобильного поиска.Премия Search Engine Land Meme Award ™ (не официальная) присуждается Алейде Солис за ее своевременное упоминание Опры и Шону Хеккину за то, что он никогда не терял надежды.

---

Что мы читаем: вместо того, чтобы повышать цены, Sherwin-Williams выбирает скрытую надбавку за цепочку поставок в размере 4% при оформлении заказа

Летом американцы испытали самый высокий уровень инфляции за 13 лет. По данным Министерства труда, потребительские цены выросли на 5,4%. Чтобы усугубить разочарование потребителей, некоторые предприятия могут вводить неожиданную дополнительную плату за цепочку поставок при оформлении заказа — Sherwin-Williams, розничный продавец красок, является одним из таких предприятий.

«В случае с Шервин-Вильямс они на самом деле позволяют себе рекламировать нормальные цены, но увеличивают затраты клиентов на 4% в кассовом аппарате — после того, как ваша краска смешана, и когда большинство людей, вероятно, не будет ходить. от покупки », — написал Дэвид Лазарус для Los Angeles Times .

По мере приближения сезона праздничных покупок эти скрытые расходы могут стать более распространенными, поскольку реклама низких цен может помочь розничным торговцам оставаться конкурентоспособными. Однако здесь есть уловка-22: продвижение низких цен, которые не соответствуют тому, что клиенты видят во время оформления заказа, ведет к недоверию и негативному восприятию, но прямое повышение цен может препятствовать продажам.Однако, если ваш бренд верит в прозрачность и уважение к потребителю, выбор кажется очевидным.

«Решение простое: принять закон, требующий, чтобы потребительские цены были всеобъемлющими, — писал Лазарус, — другими словами, потребовать, чтобы полочная цена включала все расходы, включая налоги и сборы». Я жил в странах, где окончательная цена — это объявленная цена, и это значительно упрощает процесс покупки — представьте, что вам никогда не придется выяснять, придется ли вам платить больше налогов, потому что в вашем штате работает интернет-магазин.Я сомневаюсь, что это принесет плоды в ближайшее время, но если скрытые сборы сохранятся, движение может получить сторонников.

---

Об авторе

Джордж Нгуен — редактор Search Engine Land, освещающий обычный поиск, подкастинг и электронную коммерцию. Его опыт работы в журналистике и контент-маркетинге. До прихода в индустрию он работал радиоведущим, писателем, ведущим подкастов и учителем в государственной школе.