Скорость индексации сайта: Cкорость индексации рунета Яндексом, анализатор апдейтов и динамика изменения SERP / Система продвижения сайтов Wizard – Процесс индексации роботами поисковых систем, как увеличить скорость индексации сайта | Дропшиппинг

Содержание

Cкорость индексации рунета Яндексом, анализатор апдейтов и динамика изменения SERP / Система продвижения сайтов Wizard

Анализатор апдейтов Яндекса и скорости индексации документов

Скорость индексации сайтов в Рунете сильно отличается. Одни индексируются несколько раз в час, другие ждут переобхода неделями. Мы решили дать простой и понятный инструмент, показывающий среднюю скорость индексации Яндексом. Это поможет вам прогнозировать:

скорость индексации изменений документов;
динамику посещаемости;
время попадания в ТОП.

Мы давно и успешно используем инструмент в своей работе!

Поскольку других столь же корректных сведений об индексации в Рунете нет, мы решили поделиться ими со всеми желающими.
Цифры на диаграммах динамики ТОП-1, ТОП-3, ТОП-10 и т.д. показывают, сколько процентов документов из данного ТОПа изменили свои позиции за последний период наблюдения. То же самое на диаграмме по городам — процент сайтов, изменивших своё положение в ТОП-10.

Откуда взяты эти данные?

Ежедневно мы получаем сведения об индексации сотен тысяч сайтов, миллионов документов и ссылок, проставленных в сервисе Sape. Мы собираем и данные по позициям десятков тысяч сайтов, продвигаемых в сервисе. Анализируя всё перечисленное, мы делаем выводы:

О силе изменений поисковой выдачи в дни апдейтов. График: Динамика в SERP по ТОПам.
О силе изменения поисковой выдачи по городам. График: Динамика в SERP по городам.
О скорости индексации документов разного уровня вложенности. График: Скорость индексации.

Для вашего удобства мы храним статистику каждого апдейта. Поэтому вы можете видеть данные в динамике.

Seowizard поможет вам самостоятельно продвинуть свой сайт, а в агентстве iqad.ru вам предложат помощь в комплексном продвижении сайта. Оставляйте заявку и с вами обязательно свяжутся!

Выбирайте дату и удачи вам в движении в ТОП!

Динамика в SERP по ТОПам

ТОП-1	ТОП-3	ТОП-10	ТОП-20	ТОП-30	ТОП-50	ТОП-100

ТОП-1
ТОП-3
ТОП-10
ТОП-20
ТОП-30
ТОП-50
ТОП-100

Сила изменения в выбранном ТОПе — это процент URL документов, изменивших свои позиции в рамках выбранного ТОПа.

Динамика в SERP по городам

График показывает силу изменения SERP по разным городам.

Скорость индексации

Динамика скорости индексации Яндексом

График показывает среднюю скорость индексации страниц разного уровня вложенности. Для расчета используются данные об индексации ссылок в системе sape.ru.

Процесс индексации роботами поисковых систем, как увеличить скорость индексации сайта

Каждый процесс, происходящий в поисковых системах, уникален и интересен. Зная архитектуру поисковой системы, можно понимать причины «выпадения» сайта из выдачи или повышения позиций. Рассмотрим каждый процесс в отдельности.

Процесс индексации

Индексация – это процесс, во время которого поисковые роботы посещают сайты, собирая с их страниц разнообразную информацию и занося ее в специальные базы данных. Потом эти данные обрабатываются, и строится индекс – выжимка из документов. Именно по индексу поисковая система ищет и выдает ссылки на сайты, исходя из запросов пользователей.

Рассмотрим процесс индексации на примере поисковой системы Яндекс.

В поисковой системе есть 2 типа роботов: быстрый и основной. Задача основного робота – индексация всего контента, а быстрого – занесение в базы данных самой свежей информации. Планировщик поискового робота составляет маршруты посещения и передает его «пауку», который ходит по выбранным страницам и выкачивает из них информацию. Если во время индексации в документах обнаруживаются новые ссылки, они добавляются в общий список.

При первом посещении «паук» проверяет состояние ресурса. Если его характеристики подходят под требования Яндекса, сайт заносится в базу. При повторном посещении «пауком» уже проиндексированной страницы происходит обновление содержащейся на ней информации.

Документы в индекс попадают следующими способами: автоматически, когда поисковый робот сам переходит по внешним и внутренним ссылкам, ибо если владелец сайта сам добавил URL через специальную форму или через установленную на сайте Яндекс.Метрику. Этот сервис передает URL страниц на индексацию Яндексу. При необходимости в интерфейсе Метрики можно отключить данную опцию.

Скорость индексации и обновления страниц сайта

В идеале, как только создана новая страница, она должна быть сразу же проиндексирована. Однако большие объемы информации затрудняют индексацию новых страниц и обновление старых. Роботы поисковых систем постоянно обновляют базу данных, но, чтобы она была доступна пользователям, ее необходимо переносить на «базовый поиск». База данных переносится туда не полностью. Исключаются зеркала сайтов, страницы, содержащие поисковый спам, и другие ненужные, по мнению поисковика, документы.

Глобально базы поисковых систем обновляются роботами примерно раз в неделю.

Однако для некоторых типов информации такая скорость обновления неприемлема. Примером может служить индексация новостных сайтов. Размещенные новости должны быть доступны в поисковой системе практически сразу после их добавления. Для того, чтобы увеличить скорость индексации часто обновляемых страниц, и существует специальный быстрый робот, который посещает новостные сайты несколько раз в день.

Понять, что сайт посетил быстрый робот, можно сразу по двум признакам: если в поисковой выдаче рядом с URL сайта показывается время последнего обновления и если в числе проиндексированных страниц сохранены две копии одного и того же документа.

Поисковые роботы стремятся проиндексировать как можно больше информации, однако существует ряд факторов, которые накладывают ограничения на процесс индексации. Так, например, возможность попадания в индекс напрямую зависит от авторитетности ресурса, уровня вложенности страниц, наличия файла sitemap.xml, отсутствия ошибок, мешающих нормальной скорости индексации сайта. Основными инструментами управления индексацией сайтов являются robots.txt, мета-теги, теги, атрибуты noindex и nofollow.

На сегодняшний день могут индексироваться следующие типы документов:

1. PDF, Flash (Adobe Systems).

2. DOC/DOCX, XLS/XLSX, PPT/PPTX (MS Office).

3. ODS, ODP, ODT, ODG (Open Office).

4. RTF, TXT.

Robots.txt — это текстовый файл, в котором можно задавать параметры индексирования как для всех роботов поисковых систем сразу, так и по отдельности. Тег и метатег noindex отвечают за индексацию текста или самой страницы, а nofollow – за индексацию ссылок. В одной из следующих глав мы подробно разберем настройку этих элементов сайта.

Помимо обычных текстов, размещенных на сайтах, все современные поисковые системы умеют индексировать и документы в закрытых форматах, хотя существуют некоторые ограничения на типы данных, размещенных в этих файлах. Так, в PDF индексируется только текстовое содержимое. Во flash-документе индексируется текст, который размещен только в определенных блоках, в то время как документы больше 10 Мб не индексируются вовсе.

Роботы поисковых систем

Среди всех существующих поисковых роботов выделяют 4 основных типа:

1. Индексирующий робот;

2. Робот по изображениям;

3. Робот по зеркалам сайта;

4. Робот, проверяющий работоспособность сайта или страницы.

Определить, какой робот зашел на сайт, можно с помощью лог-файла, который обычно доступен либо в админке, либо на ftp. Все существующие роботы представляются по одной схеме, но каждый имеет свое название. Например: «Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)» — основной индексирующий робот поисковой системы Яндекс.

Некоторые посторонние роботы могут маскироваться под роботов Яндекса путем указания соответствующего user-agent. Вы можете проверить подлинность робота с помощью идентификации, основанной на обратных DNS-запросах.

Индексирующий робот обнаруживает и индексирует страницы, чтобы создать базу для основного поиска.

Робот по изображениям заносит в индекс графическую информацию, которая в дальнейшем отображается в выдаче соответствующего сервиса, например, Яндекс.Картинки или Картинки Google.

Робот, определяющий зеркала, проверяет зеркала сайтов, прописанных в файле robots.txt. Если они идентичны, то в результатах выдачи поисковой системы будет только один сайт – главное зеркало.

Специальный робот проверяет доступность сайта, добавленного через форму «Добавить URL» в Яндекс.Вебмастере.

Существуют и другие типы индексирующих роботов: индексаторы видео и пиктограмм (иконок) сайтов; робот, проверяющий работоспособность сайтов в Яндекс.Каталоге; индексатор «быстрого» контента на площадках типа Яндекс.Новостей и др.

Важно понимать, что процесс индексации сайта является длительным, за ним следует процесс обновления индексных баз, который также требует временных затрат. Поэтому результат внесенных на сайте изменений будет виден только через 1-2 недели.

Вернуться назад: Как устроены поисковые системы Читать далее: Представление сайтов внутри поисковых систем

как увеличить скорость индексации сайта в Яндексе и Google

Индексация поисковыми системами — это процесс добавления сведений о вашем сайте роботом поисковых систем (таких как Google, Яндекс, Yahoo и другие) в базу данных, которая далее используется для удобного поиска информации обо всех товарах и услугах вашего сайта.

Зачем сайту индексация?

Если вы хотите, чтобы покупатели легко находили ваш товар — ВАМ НУЖНО быть в ТОП-5 Яндекса или Google по ключевым запросам, для этого необходима быстрая и безошибочная индексация сайта. В последствии — сможете экономить деньги на контекстной рекламе.

Сайт, закрытый от индексации, не будет виден поисковой системой и пользователями интернета при попытке найти его через Яндекс, Гугл и прочее. На такие сайты можно зайти только по прямой ссылке (это бывает нужно для скрытия некоторых каталогов для SEO, а также при создании автоворонок).

Как ускорить индексирование страниц?

Страницы сайта появляются в индексе в промежутке от 10 минут до пары месяцев. Чтобы ускорить процесс индексирования нужно:

Убедиться, что в robots.txt нет инструкций, запрещающих индексацию сайта в целом, его разделов, каталогов и страниц.
Добиться высокой скорости загрузки сайта (её можно проверить в GOOGLE PageSpeed Insights) — вы должны быть в зеленой зоне для мобильных и ПК.
Проверить сайт на ошибки в коде, это также может влиять на скорость индексации.
Уведомить поисковые системы о создании нового сайта — https://webmaster.yandex.ru/addurl.xml
Уведомлять о новых статьях и страницах — https://blogs.yandex.ru/pings/ + можно использовать опцию Яндекса «Оригинальные тексты» в Яндекс Вебмастере.
Стабильно обновляйте публикации на сайте — тогда поисковый робот будет также стабильно приходить к вам на сайт и индексировать страницы.
Добавьте сайт в Яндекс Каталоги. Как правило, бесплатное добавление в каталог — история проблематичная, долгоиграющая и малоэффективная. При платном добавлении вы получите большое преимущество в поисковой выдаче.
Создайте себе акк в Twitter и каждую статью после публикации сразу добавляйте туда.

Дополнительно попаданию сайта в поисковую выдачу способствует взаимодействие с доверенными сторонними ресурсами — обменивайтесь гостевыми постами с крупными блогами и доверенными СМИ.

+++ Все эти действия совершенно точно (да, да 100%) увеличат скорость индексации страниц сайта. Все способы, как и каждый инструмент и алгоритм действий, который мы используем — абсолютно БЕЛЫЕ.

Если не лень — можете почитать полную информацию по алгоритмам индексации на официальных сайтах поддержки яндекса и гугла, либо, кому позволяет бюджет, вы можете доверить дело профессионалам:

Бесплатно ускоряем индексацию сайта | Продвижение сайтов

Скорость индексации сайта является главным вопросом для многих вебмастеров. Далее мы разберем способы для ускорения индексации ресурса поисковыми системами.

Стоит заметить, что скорость индексации не требует значительных вложений. Пройти ее можно множеством бесплатных способов. Один вариант ускорения по нраву Яндексу, другой Гуглу, поэтому комплексное применение приветствуется.

Активная индексация без финансовых вложений

Правильная структура ресурса. Устанавливайте меню ресурса так, чтобы от главной страницы до самой глубокой можно было добраться за три клика. Если не следовать этому правилу индексация затянется на долгое время. Не забывайте об этом никогда.
Внутренняя перелинковка ресурса. Нужна для быстрой индексации внутренних страничек сайта за короткий отрезок времени. Ведь поисковик просматривает все найденные странички на сайте по внутренним ссылкам. Не забывайте про этот аспект.
Карта сайта. Не ленитесь обзавестись картой для сайта, в частности для большого сайта необходимой мерой будет созданием sitemap.xml предварительно зарегистрировавшись в кабинете в отделе вебмастера. Полазив по интернету можно найти специальные программы и генераторы sitemap.xml. Далее, установите вариант карты ресурса по коду html и разместите не глубже первого клика от главной страницы сайта. Карта поможет получить быструю индексацию внутренних страничек ресурса.

Регистрация в офисе вебмастера Гугла и Яндекса. Офис вебмастера предлагает многофункциональный контроль над сайтом. Не добавляйте туда разные сателлиты, если не хотите быстрого бана.
Добавление в поисковики. Займитесь добавлением своего ресурса во все предлагаемые поисковики.
Регистрация в рейтингах. Зарегистрируйтесь в Рамблер ТОП100, Mail, Livelnternet. Поисковики следят за рейтингами. Например, Рамблер топ100 ускорит индексацию ресурса.
Посещаемые каталоги. Вышлите заявку для регистрации в посещаемые каталоги. У каждой поисковой системы они разные у Гугла — DMOZ, у Яндекса — Яндекс.Каталог и Майла – Каталог@Mail.ru. Попасть в них не просто, но пренебрегать заявкой не стоит, в будущем вы можете получите траст сайта, если вас зарегистрируют.
Написание статей. Верный способ ускорить индексацию сайта. Напишите статьи для смежных сайтов, которым могли бы быть интересны ваши статьи. По сути, это тоже самое, что и каталог ссылок. Только для этого нужно очень постараться ведь написать такое количество статей не всем по силам.
Социальные закладки. Займитесь добавлением своего ресурса в посещаемые сервисы закладок. Поисковые машины хорошо их индексируют. Также в закладки может быть добавлена внутренняя страница ресурса, чего не допускается в каталогах.
Ресурсы вопросов и ответов. Является очень актуальным среди пользователей интернет-паутины. Контент постоянно освежается, поэтому поисковики постоянно там гуляют. Особое внимание уделяется спаму, поэтому грамотность в действиях должна неукоснительно соблюдаться. Не суйте свою ссылку в каждый ответ. Ответьте на пару вопросов, и установите свою ссылку на самом полном комментарии. Это хорошо поможет для быстрой индексации. Для регистрации: вопросы и ответы Google, ответы на Mail.ru.
Комментирование в блогах. Актуальные и посещаемые блоги часто просматриваются поисковыми машинами, и любой ваш комментарий расценивается как ускорение для индексации. Спам не разрешается, пишите кратко и содержательно. Ссылки вставляйте в соответствующие поля, а не в комментарий. Найти популярные блоги не трудно — достаточно забить в поисковик «рейтинг блогов».
Для блога приветствуется RSS-трансляция, нужно добавить RSS-ленту в популярные RSS-каталоги. И готово, ваши анонсы разместятся на различных сайтах.
Форумы. Регистрируйтесь на нескольких посещаемых форумах и добавьте на него пару сообщений. В подписи разместите название своего ресурса. Помните, где скапливается большое количество пользователей, не минуемо привлекает поисковых роботов. Не забудьте написать в профиле названия вашего ресурса. Часто профили не закрыты для индексации.
Блог на сайте. Один из главных помощников в индексации сайтов. Установите CMS WordPress, с важной функцией пингования поисковиков в сервисы. При появлении новой статьи плагин даст знать поисковикам о новом материале в блоге. Поисковики будут постоянно возвращаться на ваш ресурс и в скором времени проиндексируют его. Размещайте блог в папке вашего сайта.
E-mail рассылка. Данный вариант перспективен для быстрой индексации ресурса. Воспользуйтесь актуальным сервисом Subscribe.ru. Вашей задачей является организовать первую рассылку с размещением ссылки на ресурс. Затем рассылку размещают в личном блоге, который поможет в индексации. Эта паутина приведет желанных посетителей.
Возможность бесплатно завести блог. Практически каждый пользователь интернетом знает сервисы для бесплатного создания блогов: LiveJournal, Blogger, Yandex и другие. И вы должны призвать их на помощь. Обязательно заведите дружбу с блогерами – поисковик это оценит.
Европейские сети StumbleUpon и Digg. При их содействии паук Гугла найдет вас в течение часа. Правда, с вас отличная статья на английском с размещением ссылки=)

Это еще не все варианты ускорения индексации сайта. Существуют множество платных методы, например, покупка ссылок. И совсем не важно, в какой системе вы их приобретете. Важно обновлять контент и не просто набором статей, а продуманным и актуальными СМИ.

P.S. Если мы не рассмотрели какой-то из методов, просим вас дописать их в комментариях.

Что такое индексация сайта и как ее скорость сказывается на раскрутке сайта

Индексация продвигаемых страниц – необходимое условие раскрутки сайта. Естественным путем процесс происходит в течение периода от одной недели до нескольких месяцев. Специалисты по поисковому продвижению сайта имеют возможность привлечь робота на ресурс и, таким образом, ускорить индексацию страниц с помощью следующих приемов.

Ручное добавление ресурса. О созданном ресурсе робот может «узнать» благодаря ручному добавлению URL сайта через специальную форму поисковика. Таким образом, веб-мастер сообщает системе о новом ресурсе, адрес которого попадает в очередь на индексацию. В данном случае добавляется только главная страница, на остальные поисковые роботы перейдут по внутренним ссылкам.
Простановка внешних ссылок. Поисковые системы находят сайт самостоятельно в случае наличия внешних ссылок на его страницы. В данном случае ресурс индексируется от 2 дней до 2 недель. Быстрее остальных систем ресурсы добавляет Google.

Требования к сайту

Чтобы поисковые системы проанализировали ресурс полностью, при поисковой оптимизации сайта соблюдают следующие правила.

Любая внутренняя страница должна быть расположена не далее трех переходов от главной. Если структура ресурса этого не позволяет, создается карта сайта, указывающая роботам путь к вложенным подкаталогам.
Не используются идентификаторы сессий, затрудняющие работу поисковых ботов.
Обычно поисковые системы индексируют на странице до 100-200 Кб текста. В случае большего размера анализируется только часть материала. Если необходима полная индексация такой страницы, информация на ней сокращается или разбивается на несколько разделов.
Для управления действиями поисковых роботов заполниется файл robots.txt, в котором прописываются инструкции по запрету или разрешению индексации отдельных страниц или директорий сайта. Для этих же целей в процессе оптимизации под Google и Яндекс используется тег «NOINDEX» (поддерживается только российскими поисковиками).

Факторы, влияющие на индексацию

Поисковые базы данных регулярно обновляются, поэтому число проиндексированных страниц сайта может меняться. Переиндексация происходит тем быстрее, чем больше внешних ссылок на сайт. Для отслеживания процесса индексации анализируются лог-файлы сервера, в которые заносятся данные обо всех визитах поисковых ботов.

Теги термина

Голосов 5, рейтинг 5

Как ускорить индексацию сайта — Академия SEO (СЕО)

Ускорение индексации сайтов

Совершенно естественно, что многих веб-мастеров интересует, как ускорить индексацию сайта. Ведь никому не хочется долго ждать такого желанного результата в виде захвата первых позиций в ТОПах по продвигаемым запросам. И для того чтобы начать этот путь, нужно добавить сайт в индексацию Google и Яндекс.

Случается, что после этого наблюдается плохая индексация сайта – роботы поисковиков заходят, но очень редко. Быстрая индексация сайта для многих остается недосягаемой мечтой.

Способы ускорения индексации сайтов

a) Внутренняя оптимизация, помогающая ускорить индексацию сайта:

Правильная настройка robots.txt. Нужно убедиться, что в этом файле нет инструкций, запрещающих индексацию отдельных страничек или всего сайта в целом.
Настройка sitemap.xml должным образом может помочь ботам поисковых систем найти и проиндексировать все странички, которые в этом нуждаются. Также в этом файле можно настроить приоритетность страниц при индексировании. Отображаемая в нем частота изменений тоже влияет на принятие роботом решения о дате следующего визита.
Скорость сайта должна быть оптимальной для того, чтобы роботы поисковиков вовремя получали ответы на свои запросы и не «проходили мимо».
Плохая индексация сайта может быть результатом наличия влияющих на нее ошибок в коде страничек. По умолчанию для страниц, нуждающихся в индексации, код ответа сервера боту поисковика должен быть «200». Для того чтобы он был таковым валидация сайта не должна выдавать сообщений о серьезных ошибках в его HTML-коде.

b) Внешнее ускорение индексации сайтов:

Быстрая индексация сайта возможна, если воспользоваться одним из самых популярных на сегодняшний день способов – добавить ссылку на «нуждающуюся» страничку в Twitter. Сколько индексируется сайт при этом? От 10 минут до суток при условии размещения постов со ссылкой в авторитетных аккаунтах и наличия определенного количества ретвитов этого поста.
Влияние социальных сетей на индексацию весьма спорное. Никаких четких гарантий насчет ускорения индексации сайтов нет. Но определенная связь между наличием активных групп, пабликов, аккаунтов, посвященных продвигаемому веб-ресурсу, и скоростью индексации все же просматривается. Первым делом нужно завести аккаунт в Google+ и регулярно выкладывать в нем посты со ссылками на новые странички. Также не забываем про Facebook, Вконтакте, Instagram и другие.
Гостевой постинг в крутых блогах с получением ссылки с них, а еще лучше в СМИ.
Более быстрая индексация сайта наблюдается, если часто обновлять контент. Это становится весьма веским поводом для более частых визитов поискового бота, чтобы не пропускать новые публикации.

Существуют также и платные варианты (покупка ссылок и размещение статей на авторитетных веб-ресурсах), пользоваться которыми не советуем. Лучше, чтобы сайт был действительно полезным, интересным, имел хорошие юзабилити и адаптивность. И тогда у Вас начнет появляться естественный ссылочный профиль, который в разы лучше влияет на индексацию и продвижение веб-ресурса в целом, чем покупные ссылки.

Итог

Ну вот, теперь Вы не только можете решить проблему редких визитов поисковых роботов, но и сами можете рассказывать другим веб-мастерам о том, как ускорить индексацию сайта. Если удастся получить существенные результаты, это однозначно положительным образом скажется на продвижении Вашего веб-ресурса и поможет ему значительно быстрее попасть в ТОПы поисковых выдач.

Не забудьте рассказать нам о своих достижениях в комментариях к этой статье!

Какие факторы влияют на скорость индексации сайта

Для многих веб мастеров и владельцев сайтов вопрос индексации их сайтов является очень щепетильным. И есть из-за чего переживать, так как большая часть интернет трафика приходится на поисковые системы, то логично, чем быстрее страницы сайта попадут в индекс поисковых роботов (! и не выпадут из него !), тем больше вероятность переходов.

index

Когда возникают проблемы с индексацией, первыми попадают под горячую руку хостинг-провайдеры. Так ли это на самом деле? Зависит ли индексация сайта от хостинга? И какие факторы влияют на скорость

От чего зависит скорость индексации?

На этот показатель влияют большое количество факторов, среди которых хотелось бы выделить: выбор доменной зоны, возраста домена, выбор cms (движка сайта), частоту наполнения контентом. Далее о каждом из них подробней.

Влияет ли хостинг на скорость индексации?

На прямую скорость индексации от провайдера не зависит, поэтому я не отнесла хостинг к основным факторам, влияющих на индексацию. Но если капнуть глубже, хостинг определяет доступность сайта для пользователей и поисковых систем. Провайдер должен обеспечить максимальный аптайм серверов и внутренней сети. Если при посещении роботом ресурса – он будет недоступен несколько раз подряд, то возможно выпадение сначала нескольких страниц из поискового индекса, а затем и всего сайта. Также влияет скорость загрузки страниц, если сайт грузится очень долго, робот также будет считать, что сайт недоступен. В итоге можно сказать, что не сам хостинг, а его качество, надежность и скорость все же влияют на индексацию сайта.

Как влияет домен на индексацию сайта?

Казалось бы, что зависит от домена, но здесь есть два нюанса. Во-первых, это выбор доменной зоны, лучше всего выбирать домены второго уровня т. е. com, net, ua и т. д. Было замечено, что международные домены .com индексируется чуть быстрее, причем как в Yandex, так и в Google. Национальные домены, также быстро попадают в индекс – разница небольшая. Бытует мнение, что медленно индексируется .info.

Во-вторых, это возраст домена. Ново-зарегистрированные попадают в индекс не сразу, придется подождать несколько недель. Если вы покупаете домен на вторичном рынке, на котором раньше был размещен сайт и домен был проиндексирован поисковиками, то и новый сайт робот зайдет значительно раньше. Про покупку доменов на вторичном рынке, читайте здесь. Хотелось бы уточнить, что фактор выбора домена влияет, в основном, на первичную индексацию. На то, как часто ваш сайт будет посещать поисковый робот, влияют следующие факторы:

Влияние CMS на индексацию сайта

Все популярные CMS уже оптимизированы под веб-стандарты: чистый код HTML, легкое управление CSS файлами (в идеале одним), а также использование Schema (schema.org). Валидность кода по validator.w3.org.

Следовательно проблем с индексацией возникнуть не должно. А вот чтобы ее ускорить, используйте дополнительные преимущества, которые предоставляют современные системы управления сайтом: создание файлов Sitemap.xml, Robots.txt, канонические теги, решающие проблему повторяющегося контента по разным адресам, 301 редирект, оптимизация кода и скорости загрузки страниц.

Также советуют избегать фреймов, Javascript, Flash, для показа содержания.

Основополагающий фактор: частота обновления контента

Как часто вы обновляете сайт? 1 раз в день, в неделю, год? Поисковики заходят на популярные новостные ресурсы по несколько раз в день, чтобы новости тут же попадали в индекс. Если они анализируют, что контент на сайте обновляется редко, то и заглядывать на такой сайт они будут редко.

Если вы ведете блог, то регулярно пополняйте его новым контентом, если у вас статический сайт, то создайте хотя бы новостную ленту. Нечего писать? Поздравляйте хотя бы своих посетителей с праздниками — покажите поисковикам, да и пользователям, что сайт живой, что его контент периодически обновляется! У вас новостной ресурс — ну тогда сам «Гугл» велел писать ежедневно (не в ущерб, кончено уникальности и полезности информации).

Что сделать, чтобы сайт индексировался быстрее?

У поисковиков существуют специальные сервисы, которые дают возможность веб- мастерам «рассказать» о новых сайтах, вот самые популярные из них:

Yandex — сообщить о новом сайте

Включите свой URL в Google

Отправить свой сайт в службу Bing

Социальные сети помогут ускорить индексацию новых страниц

Не стоит упускать из внимания такой мощный инструмент как социальные кнопки, рассказав пользователям соц сетей о новой записи, вы тем самым ускорите её попадания в индекс. Поисковые роботы сканируют социальные сети не реже, чем новостные ресурсы, так как контент там обновляется ежесекундно, а следовательно новая ссылка на ваш сайт также попадет в индекс.

Что делать, если сайт не индексируется?

Причин тут может быть несколько. Перепроверьте файл robots.txt, возможно индексация сайта запрещена для всех поисковиков. Запись выглядит так:

User-agent: *

Disallow: /

Чтобы разрешить всем роботам индексировать весь сайт, измените запись на