Индексация сайта | Weblium Help Center

Статьи по: SEO

Эта статья также доступна на:

Поисковые системы ищут информацию по запросу в своих индексах сайтов, а не на самих сайтах. Таким образом, попасть в индекс очень важно для вашей SEO оптимизации.

Google использует специальное программное обеспечение, именуемое поисковыми роботами, которые анализируют страницы и переходят по ссылкам на них, после чего они отправляют сведения о ресурсах на серверы Google. Вы можете узнать более подробную информацию о том, как работает и упорядочивает информацию Google поиск в этом руководстве.

Сайты, которые были созданы на Weblium, хорошо индексируются, ведь здесь уже есть нужные для поисковых роботов технические настройки:
метатеги Title и Description;
настраиваемые URL страниц;
теги h2-h4 для заголовков;
alt-текст для изображений;
автоматическая карта сайта (sitemap.xml);
автоматический файл robots. txt и другие.

На Weblium есть все SEO-настройки для быстрой индексации сайта, но итоговый результат зависит от уникальности контента, правильного заполнения SEO-настроек и работы над продвижением сайта.

Перед началом работы убедитесь, что вы выключили опцию Запретить поисковым системам включать сайт в результаты поиска во вкладке Общая информация в Настройках сайта:

Важно: только сайты с платными подписками могут индексироваться поисковыми роботами.

Чтобы проверить, был ли ваш сайт проиндексирован и когда именно, введите site:domain.com в поиске браузера, где domain.com — это ваше доменное имя:

Список всех проиндексированных страниц появится в результатах поиска. Если там ничего нет, сайт еще не был проиндексирован.

Подсказка: если у вас есть определенная страница, которая еще не готова, или на ней находится скопированный контент, который вы не хотите показывать поисковым роботам и клиентам, обратитесь к статье Скрытие страницы от поисковиков для получения соответствующих инструкций.

Чтобы узнать версию страницы, которую в последний раз видели поисковые системы, нажмите на маленький треугольник и выберите опцию Сохраненная копия в выпадающем списке:

В верхней части нового окна вы увидите дату и время, когда ваш сайт был проиндексирован в последний раз.

Важно: даже несмотря на то, что ваш сайт может быть в индексе, Google не может гарантировать, что каждая его страница будет проиндексирована.

Используя нашу инструкцию Добавление сайта в Google Search Console (GSC), вы сможете ускорить процесс индексации. Для этого в GSC нужно отправить карту сайта (sitemap) на проверку. Обратитесь к нашей статье Доступ к карте сайта (sitemap) для получения информации о том, как открыть карту сайта.

Также в Google Search Console вы можете воспользоваться Инструментом проверки URL, чтобы отправить запрос на индексирование конкретной страницы.

Мы также настоятельно рекомендуем следующее:
Для того, чтобы поисковые системы могли найти и распознать изображения на сайте, добавьте Alt-тексты.
Добавьте ссылки на свой сайт в социальных сетях (Facebook, Twitter и другие).
Регулярно создавайте новый и качественный контент, например, используя Блог на сайте.

Важно: обычно сайты индексируются в течение 2-6 недель после публикации. Преимуществом вашего сайта для алгоритмов поисковых систем будет качественный контент, оптимизированный для SEO. Вы можете найти подсказки по продвижению в поискавиках в нашей инструкции Основы SEO.

Если сайта нет в индексе, на это есть несколько причин:
Вы опубликовали сайт недавно, и Google еще не успел его просканировать. Обычно сайты индексируются в течение нескольких недель после публикации.
На ваш сайт пока нет ссылок с других сайтов. Никто не ссылается на ваш сайт и поисковые роботы просто не знают о его существовании. Попробуйте рассказать о вашем сайта на других сайтах/платформах или поделиться ссылкой в социальных сетях.
Поисковая система получила ошибку при сканировании вашего сайта по причине запрета индексации. Это ошибка решается достаточно просто: в настройках сайта вам нужно открыть сайт для индексации вручную, воспользовавшись нашей инструкцией.
Также необходимо проверить открыты ли необходимые страницы для индексации в SEO-настройках страницы по настоящей инструкции.
Поисковая система просканировала ваш сайт/страницу, но не добавила в индекс. В таком случае рекомендуем:
проверить контент на уникальность и релевантность;
посчитать количество слов на сайте. Минимальное количество — от 250-300 слов;
проверить заполнение всех SEO-настроек.

Обновлено на: 12/12/2022

Индексация сайта и методы влияния на неё

Что такое индексация сайта?

Индексация сайта – это процесс обхода сайта краулерами и добавления его в базу поисковых систем в особом виде. Поэтому те страницы, которые есть в выдаче и называются проиндексированными. Этот процесс является очень важным для работы и продвижения сайта, поскольку при неправильных указаниях поисковым роботам, в выдачу могут попадать страницы с личными данными, дубли и другие мусорные страницы.

Добавление сайта в индекс поисковика

Для того чтобы поисковая система знала о появлении нового сайта, её нужно уведомить об этом особым образом. Для этого есть несколько способов, которые могут отличаться скоростью или эффективностью.

Добавление в сайта в Яндекс Вебмастер и Google Search Console

Данный способ является самым оптимальным вариантом, поскольку таким образом поисковая система не только узнает о новом сайте, но также и вы получите возможность воочию наблюдать процесс индексации и контролировать его. Именно поэтому начинать следует именно с этого метода.

Добавление по средствам «Аддурилок»

Также в Яндекс.Вебмастере и GoogleSearchConsole есть так называемые аддурилки (от англ. слов add url). Это специальный сервис, с помощью которого можно дать указания поисковику для быстрого обхода определенных страниц сайта. Обычно обход страниц происходит в течении от 1 до 24 часов. Мы рекомендуем добавлять сайты через аддурилки сразу после того, как вы настроили вебмастера поисковых систем. Для Google вы можете добавить ссылки сюда.

Для того чтобы добавить сайт на быстрый обход в Яндексе, нужно настроить Вебмастер и зайти в раздел Индексация и подраздел Переобход страниц.

Добавление внешней ссылки на ваш сайт

Данный метод заключается в том, чтобы на определенном ресурсе, у которого хорошая индексируемость, вы размещаете ссылку на свой сайт, и краулеры, при обходе сайта-донора, увидят ссылку на непроиндексированный сайт и добавят его в очередь. Лучше всего размещаться на популярных информационных или новостных порталах, поскольку у них, чаще всего, роботы могут бывать на сайте каждые 2-3 часа. Такой способ добавления сайта менее быстрый и менее надежный, но все же также действенный.

Добавление внешней ссылки с социальных сетей

Данный метод стал достаточно актуальным года 2-3 назад, когда поисковик начал в полной мере оценивать страницы социальных сетей как полноценные ресурсы. Необходимо просто добавить ссылку на сайт. Но очень важным нюансом есть то что ссылка должна быть именно ПРЯМАЯ, поскольку ссылка через редирект не даст никакого результата. (Например в VK).

Индексируемость сайта: как узнать

Чтобы понять насколько эффективно проиндексирован сайт, необходимо знать количество страниц на сайте которые должны быть проиндексированы и страницы которые уже в были обойдены роботами.

I= N1(проидексированные страницы)/N2(все необходимые страницы сайта)*100%

Значение переменной N1 можно узнать несколькими способами:

• вставив в поисковую строку следующий код site:site.ru и долистав до последней страницы результатов поиска посмотреть реальное количество страниц в индексе. Необходимо для каждого поисковика это делать отдельно.

 

• второй способ подходить только для Google. Вы можете посмотреть количество проиндексированных страниц в SearchConsole в разделе Индекс Google подраздел Индексация, там указывается количество проиндексированных страниц.

Значение переменной N2 можно либо пересчитать:

• по количеству адресов в карте сайта.
• по количеству адресов в выгрузке сайта после удаления мусорных страниц

Например: проиндексированных страниц в Яндексе 321, в Гугл – 330. А всего страниц на сайте 350. Тогда получается это так

Индексируемость в Яндекс: 

Индексируемость в Google: 

Если процент индексации менее 50% то это является очень плохим показателем и означает что у сайта есть большие проблемы с индексацией и нужен глубокий анализ причин.

Если показатель колеблется от 50% до 80% тогда на сайте проблемы с индексацией незначительные и скорее всего это связано с неправильной настройкой robots.txt и sitemap.xml.

Если показатель  от 80% до 100% тогда индексация сайта нормальная. И никаких кардинальных правок проводить не нужно.

Если данный коэффициент более 100% то вероятнее всего на сайте присутствуют проблемы с неправильной настройкой robots.txt или не полной картой сайта.

Как улучшить индексируемость сайта?

Для того чтобы максимально ускорить индексацию сайта необходимо правильно настроить взаимодействие сайта с поисковыми роботами, и предельно четко им показывать что нужно сканировать, а что нет. Для этого используются различные методы и функционал. Для запрета индексирования мы используем 3 доступных способа, отдельно про каждый поговорим ниже. Для того, чтобы показать роботам что нужно индексировать мы составляем специальные списки адресов, называемые картами сайта, тоже опишем ниже.

Файл robots.txt

С помощью директив в файле, вы можете дать рекомендации поисковым роботам, что нужно индексировать, а что нет. Но страницы закрытые в robots.txt могут попадать в выдачу, поскольку указания имеют совещательный характер при обходе страниц. Также если у Вас появились мусорные страницы в выдаче, удалить их вы их не сможете, а просто сгоните в «сопли» (Supplemental index или results) – дополнительная выдача Гугл с низкокачественными страницами. Для того чтобы страницы пропали из индекса и краулеры их точно не индексировали нужно применять другие методы.

МЕТА-тег “Robots”

Данный метод закрытия страниц от индексирующих роботов уже является не рекомендательным, а обязательным к исполнению. Используя meta robots можно удалять страницы из поисковой выдачи, чего не позволял robots.

txt. Также с помощью данного тега можно не только управлять индексированием содержимого, а также и переходами по внутренним и внешним ссылкам.

Список директивы которые применяются:

• Index – дает разрешение на индексирование страницы
• Noindex – закрывает доступ роботам к странице
• Follow – разрешает переходить по всем ссылкам на странице
• Nofollow – запрещает переходы по гиперлинкам
• All – разрешает индексировать и переходить по ссылкам
• None – запрещает обход страницы и переходы по линкам

Тоесть:

<meta name=“robots” content=“index,follow”> = <meta name=“robots” content=“all”>  — разрешается индексация и переходы

<meta name=“robots” content=“noindex,follow”> — нельзя загружать содержимое страницы, но можно переходить по ссылкам

<meta name=“robots” content=“index,nofollow”> — можно загружать контент страницы, но переходы запрещены

<meta name=“robots” content=“noindex,nofollow”> = <meta name=“robots” content=“none”> — запрещается все

Применение http-заголовка X-Robots-Tag

Данный способ управления является самым продвинутым и самым гибким, поскольку дает указания по работе со страницей сразу при загрузке http ответа сервера. Особенностью есть то, что применяется он не только для html-страниц, но и для любых файлов: картинок, видео, документов и т.д. С помощью meta robots можно закрывать лишь html-страницы.

Директивы у X-Robots-Tag такие же как и у метатега robots:

• index;
• noindex;
• follow;
• nofollow;
• all;

Пример http ответа сервера страницы с использованием тега X-Robots-Tag:

Индексирование страниц по карте сайта

Карта сайта  — это файл со списком всех страниц сайта, которые должны быть проиндексированы и добавлены в поисковую выдачу. С помощью данного сайта мы упрощаем поисковому роботу работу. Он не просто будет переходить по внутренним ссылкам, при этом тратя время, краулинговый бюджет и мощности сервера, а посещать именно те страницы, которые указаны в карте сайта.

Также очень важно, что в карте сайта можно указывать приоритет сканирования и дату последнего изменения. Это очень важные параметры при большом сайте или ресурсе с постоянно изменяющимся контентом. Например, если указана дата редактирования (<lastmod>), зачем роботу обходить заново страницы, которые не менялись с последнего раза, лучше выгружать те, на которых менялся контент. Либо если указан приоритет (<priority>), тогда краулер будет обходить в первую очередь страницы с более высоким приоритетом, при прочих равных условиях.

Например у нас есть такой такая карта сайта:

<url>

                <loc> URL1</loc>

                <lastmod>2018-01-02T12:41:56+01:00</lastmod>

                <priority>1.0</priority>

</url>

<url>

                <loc>URL2</loc>

                <lastmod>2018-01-02T12:41:56+01:00</lastmod>

                <priority>0.8</priority>

</url>

<url>

                <loc>URL3</loc>

                <lastmod>2018-01-05T12:41:56+01:00</lastmod>

                <priority>0. 8</priority>

</url>

Тогда первым будет индексироваться страница URL3(изменялась позже всех) , далее за ней URL1 (поскольку приоритет 1),. А

Иванченко Сергей Руководитель группы поискового продвижения

Узнайте, как мы можем помочь вашему бизнесу развиваться

Сважитесь с нами!

похожие статьи

подписаться:

# SEO 28 мая 2021

# SEO 2 июля 2021

# SEO 9 августа 2021

Комментарии

Как более точно измерить количество проиндексированных страниц

Тристан Пируз

Специалист по маркетингу

Давайте делиться

16 ноября 2015 г. | 3 минуты чтения

Если возникает необходимость проверить, сколько страниц сайта проиндексировано (т. е. те URL-адреса, которые возвращаются в результатах поиска), первая реакция многих SEO-специалистов — вернуться к сайту: запрос, но на самом деле этот запрос возвращает все URL-адреса, о которых знает Google, включая канонизированные страницы, поэтому, вероятно, неточны.

Имея это в виду, давайте рассмотрим несколько более точных способов поиска проиндексированных страниц, а затем метод их объединения для получения более точной конечной цифры.

 

Search Console

 

Отчет о статусе индекса (Индекс Google > Статус индекса)

Этот высокоуровневый отчет покажет вам количество страниц в индексе, которое можно сравнить с вашими собственными подсчетами, хотя могут включать дубликаты, которые могут быть отфильтрованы из «реальных» результатов поиска.

 

Счетчик индексации файлов Sitemap (Сканирование > Карты сайта)

Показывает количество индексаций ваших файлов Sitemap. Если количество представленных страниц соответствует количеству проиндексированных страниц, вы знаете, что 100% URL-адресов проиндексированы. Если у вас есть файлы Sitemap с меньшим количеством файлов в каждом, вы, скорее всего, сможете использовать эту информацию.

 

Счетчик индексации карты сайта с уникальным URL-адресом

Джон Мюллер из Google рекомендует создать файл Sitemap, содержащий все ваши уникальные URL-адреса, а затем отправить его в Search Console. Это даст вам более точную информацию о количестве уникальных проиндексированных URL-адресов.
 

Страницы с показами в поисковой выдаче (Поисковый трафик > Поисковая аналитика)

Все, что получает показ в поиске, должно быть проиндексировано.
 

Google Analytics

Каждая страница, которую Google посетил за последнее время, почти наверняка все еще проиндексирована. Хотя он и не надежен на 100%, он очень точен, в зависимости от измеряемого периода времени.
 

Проверка рейтинга

Любой URL-адрес, занимающий высокие позиции в результатах поиска, должен быть проиндексирован: используйте предпочитаемую программу проверки рейтинга, чтобы загрузить больше проиндексированных URL-адресов, которые не могут быть обнаружены другими способами.
 

Информация: запрос

Это более точный способ проверить, проиндексирована ли страница, однако его можно использовать только для проверки одного URL-адреса за раз.

 

Комбинации

 

1. Загрузите и объедините все URL-адреса из этих источников в Excel, затем удалите дубликаты:

 

2. Просканируйте страницы, чтобы получить уникальный список URL-адресов:

Вы можете вставить до 2000 URL-адресов в виде списка или загрузить файл.

 

3. Затем вы можете сравнить это количество уникальных URL-адресов с количеством, указанным в подсчете проиндексированных страниц в Search Console.

 

Индексация: дальнейшее чтение

• Как неиндексируемые страницы могут получать органический трафик Google?
• Noindex и Google: руководство для оптимизаторов среднего уровня

Тристан Пируз

Маркетинговый стратег

Тристан — SEO-энтузиаст, стратег и бывший руководитель отдела маркетинга в Lumar.

Убедитесь, что ваши страницы индексируются в Google

Если вы задаетесь вопросом, почему у вас мало трафика, вы не одиноки. Google сложен, и может быть несколько причин, по которым вы не получаете желаемых результатов. Но обо всем по порядку: вы должны проверить, был ли ваш сайт и каждая его страница проиндексированы в Google. Когда поисковый робот Google анализирует ваш сайт и его содержимое, эта информация затем сохраняется в индексе Google. После индексации ваш сайт может появиться в результатах поиска пользователя, но только в том случае, если Google сочтет информацию актуальной.

Как проверить, проиндексированы ли ваши страницы?  

Во-первых, важно понимать разницу между сканированием и индексированием. Сканирование происходит, когда бот Google анализирует ваш сайт с целью добавления новых страниц в поисковую систему. После сканирования вашего сайта Google добавит страницы в свой индекс, если они соответствуют требованиям, которые мы рассмотрим позже.

Ваш сайт должен быть просканирован и проиндексирован при первом запуске, но вы также хотите, чтобы сканеры анализировали его каждый раз, когда вы обновляете содержимое. После внесения изменений или публикации блога следует убедиться, что новый контент добавлен в индекс. Вот как узнать, проиндексировал ли Google ваши страницы: 

Google Search Console  

Это быстрый способ проверить, были ли ваши страницы просканированы и добавлены в индекс. После входа в свою учетную запись Google Search Console просто скопируйте и вставьте URL-адрес страницы в строку поиска вверху. Если страница не была проиндексирована, вы получите результат, который говорит: «URL не находится в Google». Затем вы можете нажать «Запросить индексирование» в правом нижнем углу этого поля.

Если страница добавлена ​​в индекс, вы увидите зеленую галочку рядом с надписью «URL есть в Google». Если это так, то вы можете перейти к проверке следующей страницы или блога.

Поиск сайта в Google: URL-адрес  

Более быстрый способ проверить, проиндексирован ли ваш сайт, — скопировать и вставить URL-адрес в строку поиска Google, поставив перед ним «сайт:». Если эта страница появляется в результатах, она проиндексирована. Если он не появляется, значит, вам нужно запросить его для индексации с помощью Google Search Console. Вы можете проверить, не была ли проиндексирована какая-либо из ваших страниц, введя site:, а затем имя своего домена, а не отдельную страницу.

4 причины, по которым ваши страницы не индексируются  

Существует несколько причин, по которым Google не просканировал ваш сайт и не добавил его в индекс, но вот некоторые распространенные, которые можно легко исправить: 

Ваш сайт не оптимизирован для мобильных устройств.  

Поскольку Google ввел индексирование с приоритетом мобильных устройств, если ваш веб-сайт не предназначен для мобильных устройств, Google не будет его индексировать. Даже если все ваши страницы заполнены отличным контентом, его необходимо оптимизировать для смартфонов и планшетов.

Слишком низкая скорость сайта.  

Если ваш веб-сайт недостаточно быстр, Google не будет включать его в первые результаты релевантного поиска. Советы по повышению скорости вашего сайта можно найти в блоге за прошлый месяц.

Содержание написано не очень хорошо.  

Если на ваших страницах не так много контента или если контент плохо написан и не информативен, Google распознает это и может не добавить его в индекс или присвоить ему низкий рейтинг. Текст вашего веб-сайта должен быть обогащен ключевыми словами и полезной информацией — если это не так, Google выберет лучший сайт для более высокого ранжирования.

Вы не используете карту сайта.