Индексация сайта в поисковиках | Как ускорить индексацию сайта в Яндекс и Google
Если вы попали на эту страницу моего блога, то, скорее всего, ваш сайт плохо индексируется. Но, ничего страшного, потому что сегодня я напишу для вас статью, в которой дам 14 советов о том, как ускорить индексацию сайта в поисковых системах.
Давайте сначала разберемся с тем, что такое индексация сайта.
Индексация сайта – это процесс добавления поисковыми системами контента в индексную базу.
Когда я только начинал вести блог, то не понимал, почему индексация сайта в поисковиках настолько важна. Не индексируется сайт сегодня, пройдет время и обязательно проиндексируется сам, думал я ;-). Но на самом деле, не все так просто, и тогда я очень сильно ошибался.
Во-первых, если у вас на сайте сейчас есть статья, которая еще не проиндексирована поисковиками, то я прямо сейчас могу перейти на ваш сайт, скопировать эту статью и опубликовать на своем сайте (не бойтесь, я этого не сделаю :smile:). Если поисковик проиндексирует ваш пост на моем блоге быстрее, чем у вас, то будет очень плохо для вашего ресурса. Робот будет считать, что это вы скопировали у меня статью ;-). Таким образом, на вашем сайте появится неуникальный контент, который поисковые системы очень сильно не любят, и наказывают ресурсы с таким контентом различными санкциями.
Также, чем быстрее статья проиндексируется, тем быстрее она выйдет в топ, и тем быстрее вы сможете получить посетителей на свой ресурс.
Индексация сайта в поисковых системах играет очень важную роль в продаже ссылок. Если вы продаете ссылки на бирже Gogetlinks то статья, где размещена ссылка, просто обязана проиндексироваться в указанное время. Если этого не произойдет, то деньги, которые вам заплатили, автоматически будут возвращены вебмастеру.
Также, на этих биржах для каждого сайта выводиться определенный процент индексации страниц. Этот процент значит, сколько страниц, на которых размещены обзоры проиндексировались Яндексом. Если вебмастер увидит, что процент индексации страниц очень низкий, то, скорее всего, он не будет покупать ссылку на этом ресурсе. По крайней мере, я так делаю :smile:.
Таким образом, мы пришли к выводу, что индексация сайта в Гугле, Яндексе, и других поисковиках очень важна, для любого ресурса. Но так, как молодой сайт очень плохо индексируется, то я сейчас напишу 14 способов, как можно ускорить индексацию сайта.
1) Пишите регулярно.
Если вы начали писать в блог, то пишите без перерывов. Нужно писать не менее 3-4 раза в неделю. Так вы сможете приучить поисковика к тому, что на вашем сайте регулярно появляется новый контент. И он тогда будет регулярно заходить на ваш сайт, и заносить новые посты в свою базу.
Писать регулярно очень важно на молодой сайт не только для ускорения индексации, но и для увеличения посещаемости. Если вы будете постоянно публиковать полезные, объемные и уникальные статьи, то через несколько месяцев вы получите первых посетителей на свой ресурс и без покупки ссылок :|.
2) Опубликовывайте только уникальный контент.
Многие подумают, как это связано с ускорением индексации. Дело в том, что к каждому сайту есть определеннее доверия со стороны поисковых систем. Если на вашем ресурсе будут опубликованы неуникальные статьи, то доверия к нему быстро упадет, и робот будет заходить на ваш сайт намного реже. Если вы хотите раскрутить свой сайт, то забудьте о таком понятии, как скопировать чужую статью, это не работает.
3) Делайте правильную структуру сайта.
Здесь стоит придерживаться двоих правил. Во-первых, вы должны попадать на любую страницу своего сайта, сделав всего три клика с главной. И, во-вторых, новые статьи обязательно должны попадать на главную страницу.
4) Сделайте две карты сайта.
Первая карта должна быть в формате html для посетителей. На этом блоге вы можете увидеть такую карту на этой странице. Очень важно, чтобы такая карта была расположена в одном клике, от главной страницы, так, как у меня. Если ваш сайт молодой, то вы можете поставить ссылку с каждой страницы на эту карту.
Ну и вторая карта sitemap в формате xml предназначена для поискового робота. Она также способна очень сильно ускорить индексацию вашего сайта. На этом блоге такую карту вы можете увидеть тут.
Если ваш сайт на движке wordpress, то карта в формате html делается при помощи плагина Dagon Design Sitemap Generator. Ну а карта в формате xml при помощи плагина Google XML Sitemap. Как сделать эти две карты для своего сайта вы можете прочитать в этой статье.
5) Сделайте внутреннюю перелинковку.
Сайты, на которых есть внутренняя перелинковка, очень нравятся поисковым системам. При помощи внутренних ссылок робот легко сможет переходить с одной страницы на другую и быстрее их индексировать. Самая лучшая перелинковка — ручная. Это когда с основного содержимого статьи идут ссылки на другие страницы сайта. Такие линки получают наибольший вес и учитываются поисковиками при ранжировании в поисковой выдаче. Низкочастотные запросы можно вывести в топ только при помощи внутренних ссылок.
Вы можете сделать еще и автоматическую перелинковку. На моем сайте это 5 похожих записей в конце каждой статьи. Такие ссылки способны также ускорить индексацию сайта и улучшить поведенческие факторы. Советую прочитать статью: «Правильная внутренняя перелинковка страниц сайта — как делаю ее я».
6) Организуйте RSS трансляцию постов в RSS каталоги.
Вообще, как это все делается – это тема отдельной статьи. Об этом я еще обязательно напишу, подпишитесь на обновления, чтобы не пропустить. Но суть в том, что вам сначала нужно зарегистрироваться на сайте feedburner.google.com и настроить RSS ленту для своего сайта. Потом вам нужно добавить адрес RSS ленты в RSS каталоги. Сделать это можно как при помощи разных программ, так и вручную. Что касается программ, то могу посоветовать RSS Adder. А если хотите вручную поработать, то просто вводите в поисковую систему фразы: «RSS каталоги», «список RSS каталогов» переходите на сайт и добавляете.
Потом, когда вы опубликуете новую статью на своем сайте, она автоматически будет транслироваться в RSS канал и RSS каталоги. Таким образом, робот быстрее найдет эту статью и проиндексирует. Кстати, настроить RSS ленту нужно также и для того, чтобы организовать подписку на блог. Если вам интересно, вы можете прочитать статью, что такое RSS и как подписаться на блог.
7) Добавьте ссылки на сервисы обновлений.
Если движок вашего ресурса wordpress, то зайдите в Панель управления – настройки – написания – сервисы обновления и добавьте туда эти три ссылки:
- http://blogsearch.google.com/ping/RPC2
- http://blogsearch.google.ru/ping/RPC2
- http://ping.blogs.yandex.ru/RPC2
Теперь, после того, как вы опубликуете новую статью, на эти сервисы будут идти оповещения об этом и таким образом пост быстрее попадет в индекс поисковиков. Этих сервисов очень много, но я бы не советовал добавлять их всех на свой сайт, так как они будут создавать нагрузку на сервер, и замедлять ресурс.
Но вы также можете добавить адрес своего сайта для пинга при помощи бесплатной программы Pingxpert. Скачать ее можно здесь. Программа очень простая и не требует установки. Скачиваете и запускаете. Вверху вводите адрес страниц сайта, которые еще не проиндексированы внизу адреса пинг-сервисов. Их можно найти в интернете, ну, например, скопировать где-то. Потом нажимаете на кнопку «Выполнить пинг».
8) Зарегистрируйтесь в сервисах Яндекс Вебмастер и Гугл Вебмастер и добавьте карту Sitemap.
Это очень полезные сервисы, которые позволят вам узнать много информации о вашем сайте и ускорить его индексацию. Советую вам прочитать статью о том, как добавить сайт в эти сервисы.
После добавления, вам сразу же нужно скормить робота картой Sitemap, о которой я писал выше. Покажу, как это сделать в Яндекс Вебмастере. Сначала нажмите на ссылку «Настройка индексирования» и выберете пункт «Файлы Sitemap». Потом введите ссылку на свою карту, и нажмите на кнопку «добавить».
В Гугл Вебмастере это делается в разделе «Сканирование» — «Файлы Sitemap». После добавления робот будет всегда штудировать вашу карту, и индексировать новые страницы.
9) Добавьте сайт в аддурилки поисковиков.
Каждому поисковику можно сообщить, что на свет появился новый сайт, таким образом, это ускорит эго индексацию. Приведу самые популярные:
Вы также можете добавить адрес новой статьи хотя бы в аддурилку Яндекс и Гугл. Это очень эффективный способ по ускорению индексации в этих поисковиках.
10) Добавьте ссылку на сервисы вопросов и ответов.
При помощи этих сервисов вы также можете увеличить посещаемость сайта. Для этого вам нужно найти вопрос, который находиться в топе Яндекса или Гугла по какому-нибудь запросу. Потом отвечаете человеку на его вопрос и в конце даете ссылку на страницу своего сайта, где он сможет более подробно прочитать ответ на свой вопрос. Нужно искать такие вопросы, на которые человек может действительно найти ответ на вашем сайте. Также не нужно спамить и оставлять много ссылок в один день. Лучше оставить несколько ответов, но качественных. Вот эти самые сервисы:
- http://otvety.google.ru/otvety — ответы google
- http://otvet.mail.ru — ответы mail
После добавления несколько ответов в otvety.google.ru, можете быть уверены в том, что увеличится индексация сайта в google.
11) Добавьте ресурс в рейтинги блогов.
Если на вашем сайте уже опубликовано несколько статей, то вы можете спокойно его добавить в рейтинги блогов. Таким способов вы сможете получить вечную ссылку на свой сайт и немного увеличить посещаемость. Но, самое главное, это ускорить индексацию своего ресурса. Найти рейтинги блогов вы можете в Яндексе или Гугле. Для этого просто введите запрос: «список рейтингов блогов» или «рейтинг блоггеров». Приведу самые популярные:
- http://blograte.ru
- http://www.dobrobot.com
- http://www.epochta.ru/rating/
- http://blogs.yandex.ru/top/
- http://blogotop.info/
12) Комментируйте популярные блоги.
Хорошие блоги часто посещают поисковые роботы, и если на таком ресурсе есть возможность оставить ссылку на сайт в комментариях, то сделайте это. Только не нужно спамить и писать «хорошая статья» или «спасибо» :smile:. Я, например, такие отзывы удаляю. Оставьте лучше хороший комментарий, его будут читать другие блоггеры и переходить на ваш сайт. Таким образом, вы сможете также увеличить посещаемость сайта.
13) Купите несколько ссылок с трастовых новостных сайтов.
Сразу же после создания этого блога я купил 5 ссылок с новостных сайтов на бирже Getgoodlinks. Можно также использовать биржу Gogetlinks, но первая мне нравиться больше. Дело в том, что на Getgoodlinks можно найти хорошие трастовые ссылки с большим Тиц за низкую цену. Там Тиц не играет никакой роли, а только Alexa Rank и PR. Об этой бирже я еще обязательно напишу, не пропустите.
Так зачем покупать там ссылки. Все новостные сайты моментально индексируются. И робот с такого сайта будут всегда переходить на ваш. После покупки несколько ссылок индексация сайта в Яндекс, Гугл и других поисковиках очень сильно увеличиться.
14) Купите ссылок с твиттера.
Поисковые роботы буквально живут последнее время в социальных сетях. Если у вас есть деньги, то купите ссылок с твиттера или других соц. сетей на свой сайт. Сейчас в интернете есть очень много сервисов для покупки таких ссылок, но я, например, использую forumok.com. Там за 2 рубля можно купить ссылку с твиттер-аккунта, в котором больше 10 000 фолловеров.
Думаю, этих способов будет вполне достаточно, чтобы молодой сайт быстро проиндексировался поисковиками. А если вы знаете еще какие-нибудь способы о том, как ускорить индексацию сайта Яндексом и Гуглом, то пишите в комментариях, буду очень рад :smile:.
На этом у меня все. Желаю вашему ресурсу мгновенной индексации ;-).
Индексация сайта в поисковых системах
В данном уроке мы поговорим о том, что такое индексация сайта, разберемся почему она так важна. Также мы поговорим о том, что необходимо сделать для того, чтобы сайт стал появляться в результатах поиска поисковых систем и рассмотрим советы для правильной индексации.
Индексация сайта
Итак, что же такое индексация сайта? Под индексацией сайта понимается процесс обхода поисковыми роботами страниц сайта. В процессе индексации информация о содержимом конкретных страниц сайта заносится в базу данных поисковой системы. База данных поисковой системы хранит текст страницы, изображения, исходящие ссылки и т.д. Таким образом, сайт может появиться в результатах поиска только после того, как его проиндексирует поисковая система.
Для того, чтобы поисковая система узнала о существовании вновь созданного сайта существует два пути или способа:
1. Ручное добавление сайта через специальную форму поисковой системы. О том, как добавить сайт в поисковые системы вручную читайте здесь. В данном случае, мы сами сообщаем поисковой системе о новом сайте. В результате этого сайт попадает в очередь на индексацию поисковой системой. При ручном добавлении сайта необходимо указывать только главную страницу сайта. Все остальные страницы будут найдены поисковой системой по ссылкам меню, карты сайта и т.д. Данный способ, как правило, требует от нескольких дней до 2-3 недель времени.
2. Самостоятельное нахождение сайта поисковой системой. Этот способ работает в случае, если сайт имеет хотя бы одну активную ссылку с любого другого ресурса, посещаемого поисковым роботом. Соответственно, чем большее количество ссылок имеет сайт, тем больше вероятность того, что поисковик в скором времени его найдет. Рекомендуется использовать именно этот способ — получить несколько внешних ссылок и дождаться прихода поискового робота на сайт. В данном случае, индексация сайта поисковыми системами может быть ускорена.
Советы для правильной индексации
Время индексации сайта зависит от конкретной поисковой системы. Как правило, индексация сайта может занять от нескольких дней до нескольких недель. Быстрее всех индексация сайтов происходит у поисковой системы Google.
Для правильной и оперативной индексации необходимо учитывать следующие моменты:
1. Необходимо использовать карту сайта. Карта сайта — это одна из страниц сайта, которая выполняет роль «содержания» обычной книги. Она позволяет поисковым системам получить быстрый доступ ко всем страницам сайта. О том, как создать карту сайта можно почитать здесь.
2. Поисковые системы индексируют не более 100-200 кб текста на странице. Поэтому, в случае, если страница имеет более большой объем текста, проиндексируется только начало страницы (верхняя часть, первые 100-200 кб текста).
3. Поведением поисковых роботов можно управлять с помощью файла robots.txt, в котором можно запретить для индексации определенные страницы сайта.
4. Определенные части страницы могут быть скрыты от индексации с помощью тега <noindex> и конструкции <rel=»nofollow»>, которые запрещают индексацию, соответственно, в поисковых системах Яндекс и Google.
5. Поисковые системы периодически обновляют свои базы. Записи базы данных поисковиков могут изменяться, исчезать и снова появляться, поэтому количество проиндексированных страниц конкретного сайта может тоже меняться.
6. Бывают случаи, когда из индекса поисковой системы выпадают те или иные страницы сайта. Причин того, что одна или несколько страниц сайта выпали из индекса поисковой систем может быть несколько. Одна из наиболее распространенных — недоступность сервера (хостинга) во время прихода поискового робота на сайт.
7. Нужно помнить простое правило — чем больше внешних ссылок имеет сайт, тем быстрее происходит его индексация поисковыми системами.
8. Для того, чтобы отследить процесс индексации сайта можно с помощью анализа лог-файлов сервера, в которых производятся записи о времени и дате захода поисковых роботов на сайт.
Понравилось? Поделитесь с друзьями!
Индексация сайта — подготовка и проверка, ускорение и запрет индексирования поисковым системам
Индексирование сайта — это важнейшая, необходимая и первоочередная деталь в осуществлении его оптимизации. Ведь именно вследствие наличия индекса поисковые системы предельно быстро и точно могут отвечать на все запросы пользователей.
Что такое индексация сайта?
Индексацией сайта называют процесс добавления информации о содержимом (контенте) сайта в базу данных поисковиков. Именно индекс и является базой данных поисковых систем. Для того чтобы сайт был проиндексирован и появился в поисковой выдаче, на него должен зайти специальный поисковый бот. Весь ресурс, страница за страницей, исследуется ботом по определенному алгоритму. В результате находя и индексируя ссылки, изображения, статьи и т. д. При этом в поисковой выдаче выше в перечне будут находиться те сайты, авторитет которых выше по сравнению с остальными.
Выделяют 2 варианта индексации сайта ПС:
- Самостоятельное определение поисковым роботом свежих страниц либо созданного ресурса — данный способ хорош при наличии активных ссылок с других, уже проиндексированных сайтов, на ваш. В ином случае ждать поискового робота можно бесконечно долго;
- Пнесение URL на сайт в предназначенной для этого форме поисковика ручным способом — этот вариант позволяет новому сайту «встать в очередь» на индексацию, которая займет довольно продолжительное время. Способ простой, бесплатный и требует внесения адреса лишь главной страницы ресурса. Данную процедуру можно выполнить через панель вебмастера Яндекса и Гугла.
Как подготовить сайт к индексации?
Сразу стоит отметить, что крайне нежелательно выкладывать сайт на стадии разработки. Поисковые системы могут проиндексировать неоконченные страницы с некорректными сведениями, орфографическими ошибками и т. д. В итоге это негативно отразится на рейтинге сайта и выдаче информации с данного ресурса в поиске.
Теперь давайте перечислим моменты, о которых нельзя забывать на этапе подготовки ресурса к индексации:
- на flash файлы распространяются ограничения индексации, поэтому сайт лучше создавать с помощью HTML;
- такой тип данных, как Java Script также не индексируется поисковыми роботам, в связи с этим навигацию по сайту следует дублировать текстовыми ссылками, а всю важную информацию, которая должна быть проиндексирована, не пишем в Java Script;
- нужно убрать все неработающие внутренние ссылки так, чтобы каждая ссылка вела на реальную страницу вашего ресурса;
- структура сайта должна позволять с легкостью переходить от нижних страниц к главной и обратно;
- лишние и второстепенные сведения и блоки лучше переместить к низу страницы, а также скрыть их от ботов специальными тегами.
Как часто происходит индексация?
Но при правильной предварительной подготовке созданного ресурса эти сроки можно сократить до минимума. Ведь по сути все алгоритмы индексации ПС и логика их работы сводится к тому, чтобы дать наиболее точный и актуальный ответ на запрос пользователя. Соответственно, чем регулярнее на вашем ресурсе будет появляться качественный контент, тем быстрее он будет проходить индексацию.
Методы ускорения индексации
Для начала следует «оповестить» поисковики о том, что вы создали новый ресурс, как уже говорилось в пункте выше. Также многие рекомендуют добавить новый сайт в системы социальных закладок, но я так не делаю. Это действительно позволяло ускорить индексацию несколько лет назад, так как поисковые роботы частенько «наведываются» на такие ресурсы, но, на мой взгляд, сейчас лучше поставить ссылку из популярный соц сетей. В скором времени заметят и ссылку на ваш ресурс, и проиндексируют его. Подобный эффект может быть достигнут и при помощи прямых ссылок на новый сайт с уже проиндексированных ресурсов.
После того как несколько страниц уже попали в индекс и сайт стал развиваться для ускорения индексации можно попробовать «прикормить» поискового бота. Для этого нужно переодически публиковать новый контент примерно через равные промежутки времени (например, каждый день по 1-2 статьи). Конечно же, контент должен быть уникальным, качественным, грамотным и неперенасыщенным ключевыми фразами. Также рекомендую создать XML карту сайта, о котором пойдет речь ниже и добавить его в панели веб-мастера обоих поисковых систем.
Файлы robots.txt и Sitemap
Текстовый файл robots txt включает в себя указания для ботов поисковиков. При этом он дает возможность запретить индексацию выбранных страниц сайта для заданной поисковой системы. Если будете его делать вручную, то важно, чтобы имя данного файла было прописано только прописными буквами и находилось в корневой директории сайта, большинство CMS генеририруют его самостоятельно или с помощью плагинов.
Sitemap или карта сайта представляет собой страничку, содержащую полную модель структуры сайта в помощь «заблудившимся пользователям». При этом можно перемещаться со страницы на страницу без использования навигации сайта. Желательно создать такую карту и в формате XML для поисковых систем и вписать его в файл robots.txt для улучшения индексации.
Об этих файлах можете получить более подробную информацию в соответствующих разделах, перейдя по ссылкам.
Как запретить сайт к индексации?
Управлять, в том числе и запрещать сайт или отдельную страницу к индексации, можно при помощи уже упомянутого выше файла robots.txt. Для этого создайте на своем ПК текстовый документ с таким названием, поместите его в корневой папке сайта и пропишите в файле от какого поисковика вы хотите скрыть сайт. Кроме того, скрыть контент сайта от ботов Google или Яндекса можно используя знак * . Вот эта инструкция в robots.txt запретит индексацию всем поисковым системам.
User-agent: * Disallow: /
Для сайтов на WordPress запретить индексацию сайта можно через панель управления. Для этого в настойках видимости сайта нужно поставить галочку «Рекомендовать поисковым машинам не индексировать сайт». При этом Яндекс, скорее всего, прислушается к вашему пожеланию, а вот с Google не обязательно, но могут возникнуть некоторые проблемы.
Полезные ссылки:
Индексация сайта в поисковиках — как она происходит и как ее ускорить
После создания собственного сайта многие веб-мастера расслабляются и думают о том, что самое сложное уже позади. На самом деле это не так. В первую очередь сайт создается для посетителей.
Ведь именно посетители будут читать страницы со статьями, покупать товары и услуги, размещенные на сайте. Чем больше посетителей, тем больше прибыль. А трафик с поисковиков – это основа всего, поэтому так важно чтобы индексация сайта проходила быстро и страницы держались в индексе стабильно.
Если трафика нет, то о сайте мало кто вообще узнает, особенно данное положение актуально для молодых интернет-ресурсов. Хорошая индексация способствует скорейшему попаданию страницы в топ поисковых систем и как следствие, привлечение большого количества целевых посетителей.
Что представляет собой индексация и как она происходит
Для начала нужно понять, что это такое. Индексация сайта — это процесс сбора информации со страниц сайта с последующим занесением ее в базу данных поисковой системы. После этого происходит обработка полученных данных. Далее, через некоторое время, страница появится в выдаче поисковика и люди смогут находить ее, используя данную поисковую систему.
Программы, которые осуществляют сбор и анализ информации, называются поисковыми роботами или ботами. Каждый поисковик обладает собственными роботами. У каждого из них свое название и предназначение.
В качестве примера можно выделить 4 основных типа поисковых роботов Яндекса:
1. Робот, индексирующий страницы сайта. Его задача – обнаруживать и заносить в базу данных найденные страницы с контентом.
2. Робот, индексирующий картинки. Его задача – обнаруживать и заносить в базу поисковика все графические файлы со страниц сайта. Затем эти картинки могут быть найдены пользователями в поиске по изображениям от Google или в сервисе Яндекс.Картинки.
3. Робот, индексирующий зеркала сайтов. Иногда сайты имеют несколько зеркал. Задача данного робота – определять эти зеркала посредством информации из robots.txt, после чего выдавать пользователям, в поиске, лишь главное зеркало.
4. Робот, проверяющий доступность сайта. Его задача – периодически проверять добавленный посредством «Яндекс.Вебмастера» сайт на предмет его доступности.
Помимо вышеперечисленных есть и другие типы роботов. К примеру, роботы, индексирующие видеофайлы и фавиконки на страницах сайта, роботы, выполняющие индексацию «быстрого» контента, а также роботы, проверяющие работоспособность интернет-ресурса, размещенного в Яндекс.Каталоге.
Индексация страниц сайта поисковиками обладает своими особенностями. Если робот обнаруживает на сайте новую страницу, то она заносится в его базу данных. Если же робот фиксирует изменения в старых страницах, то их версии, ранее занесенные в базу данных, удаляются и заменяются новыми. И все это происходит на протяжении определенного периода времени, как правило, 1-2 недель. Такие длительные сроки объясняются тем, что поисковым роботам приходится работать с большим объемом информации (ежедневно появляется большое количество новых сайтов, а также обновляются старые).
Теперь о файлах, которые умеют индексировать боты поисковых систем.
Кроме веб страниц поисковики индексируют и некоторые файлы закрытых форматов, но с определенными ограничениями. Так в PDF роботами считывается лишь текстовое содержимое. Flash-файлы довольно часто не индексируются вообще (либо там индексируется лишь текст, размещенный в специальных блоках). Также роботами не индексируются файлы, обладающие размером больше 10 мегабайт. Лучше всего поисковые системы научились индексировать текст. При его индексации допускается минимальное количество ошибок, контент заносится в базу в полном объеме.
Если обобщить, то многие поисковики в настоящий момент могут индексировать такие форматы, как TXT, PDF, DOC и DOCX, Flash, XLS и XLSX, PРT и РРТХ, ODP, ODT, RTF.
Как ускорить процесс индексации сайта в поисковых системах
Многие веб-мастера задумываются о том, как ускорить индексацию. Для начала следует понять, что такое сроки индексации. Это время между посещениями сайта поисковым роботом. И время это может варьироваться от нескольких минут (на крупных информационных порталах) до нескольких недель или даже месяцев (на забытых и заброшенных маленьких или новых сайтах).
Нередки случаи кражи контента. Кто-то может просто скопировать вашу статью и разместить у себя на сайте. Если поисковик проиндексирует эту статью раньше чем это произойдет на вашем сайте, то автором поисковики будут считать именно этот сайт, а не ваш. И хотя сегодня появились некоторые инструменты позволяющие указать авторство контента, скорость индексации страниц сайта не теряет своей актуальности.
Поэтому ниже дадим советы насчет того, как всего этого можно избежать и ускорить индексацию своего ресурса.
1. Использовать функцию «Add URL» (Добавить URL) — это так называемые аддурилки, представляющие собой формы в которые можно ввести и добавить адрес любой страницы сайта. Страница в этом случае будет добавлена в очередь на индексацию.
Она есть во многих крупных поисковиках. Чтобы вам не пришлось искать все адреса форм для добавления страниц сайта мы их собрали в отдельной статье: «Как правильно зарегистрировать сайт в поисковых системах». Данный метод нельзя назвать 100-процентной защитой от плагиата, но это хороший способ сообщить поисковику о новых страницах.
2. Зарегистрировать сайт в «Инструментах для веб-мастера» от Google и сервисе Яндекс.Вебмастер. Там можно посмотреть, сколько страниц сайта уже проиндексировалось, а сколько не проиндексировалось. Можно добавить страницы в очередь на индексацию и сделать много чего еще, при помощи доступных там инструментов.
3. Сделать карту сайта в двух форматах – HTML и XML. Первая нужна для размещения на сайте и для удобства навигации. Вторая карта нужна для поисковых систем. В ней содержатся текстовые ссылки на все страницы вашего сайта. Следовательно, при индексации робот не упустит ни одну из них. Карту сайта можно сделать при помощи плагинов для CMS или при помощи многочисленных онлайн-сервисов.
В качестве отличных решений для ее создания можно привести следующие:
- Для CMS Joomla компонент Xmap;
- Для WordPress плагин Google XML Sitemaps;
- Для CMS Drupal модуль SitemapXML;
- Универсальным инструментом для создания карты сайта может послужить сервис www.mysitemapgenerator.com.
4. Анонс статей в социальных сетях — Google +1, Twitter, Facebook, Vkontakte. Сразу после добавления новой статьи на сайт делайте ее анонс на своей странице Google +, Twitter ленте и страницах в Facebook и Vkontake. Лучше всего поставить на сайт кнопки социальных сетей и добавлять туда анонсы просто нажимая на кнопки. Можно настроить автоматические анонсы в Twitter и Facebook.
5. Выполняйте кросспостинг в различные блог платформы. Можете создать себе блоги на таких сервисах как: Li.ru, Livejournal.com, wordpress.ru, blogspot.com и публиковать там краткие анонсы ваших статей со ссылками на их полные версии на вашем сайте.
6. Сделать RSS ленту сайта и зарегистрировать ее в различных RSS каталогах. Найти их адреса вы можете в статье: «RSS каталоги для добавления RSS ленты вашего сайта».
7. Частота обновлений сайта. Чем чаще на вашем сайте будут появляться новые материалы, тем чаще поисковые роботы будут его посещать. Для нового сайта это лучше всего делать каждый день, ну в крайнем случае через день.
8. Выполняйте грамотно внутреннюю перелинковку. На сайте должна быть грамотная система внутренних ссылок, которая будет связывать все страницы друг с другом. Поисковому роботу в этом случае будет проще переходить с одной страницы на другую. Подробнее о перелинковке: Внутренняя перелинковка — ее разновидности, способы и полезные рекомендации.
9. Размещайте на своем сайте лишь уникальный контент. Это универсальное правило, позволяющее улучшить не только процесс индексации. Чем уникальнее будет материал, тем лучше поисковики будут относиться к вашему сайту. Тем чаще поисковые роботы будут заходить к вам в гости.
Данных методов по ускорению индексации будет вполне достаточно для молодого или среднего по возрасту сайта. Они не будут занимать у вас много времени и имеют хороший эффект.
Запрет индексации страниц
В некоторых случаях веб-мастеру нужно закрыть сайт от индексации или закрыть его отдельные страницы и разделы. Для чего это может потребоваться? К примеру, часть страниц вашего сайта не содержит полезной информации, это могут быть разного рода технические страницы. Либо вам нужно закрыть от индексации ненужные внешние ссылки, баннеры и так далее.
1. Robots.txt.
Закрыть отдельные страницы и разделы ресурса от индексации можно посредством файла robots.txt. Он помещается в корневую директорию. Там прописываются правила для поисковых роботов по части индексации отдельных страниц, разделов и даже для отдельных поисковиков.
При помощи специальных директив этого файла можно очень гибко управлять индексацией.
Приведем несколько примеров:
Запретить индексацию всего сайта, всеми поисковыми системами можно при помощи следующей директивы:
User-agent: * Disallow: /
Запретить индексацию отдельной директории:
User-Agent: * Disallow: /files/
Запретить индексацию страниц url которых содержит «?»:
User-agent: * Disallow: /*?
И т. д. директив и возможностей у файла robots.txt множество и это тема отдельной статьи.
2. Также есть тег и мета тег noindex и nofollow.
Чтобы запретить индексацию определенного содержимого на странице достаточно его поместить между тегами <noindex> </noindex>, но эти теги работают только для поисковой системы Яндекс.
Если нужно закрыть от индексации отдельную страницу или страницы сайта можно использовать мета-теги. Для этого на странице вашего сайта между тегами <head></head> необходимо добавить следующее:
<meta name="robots" content="noindex, nofollow" />
Если добавить:
<META NAME="ROBOTS" CONTENT="NOINDEX">
то документ также не будет проиндексирован.
Если добавить:
<META NAME="ROBOTS" CONTENT="NOFOLLOW">
то робот поисковой машины не будет идти по ссылкам размещенным на данной странице, но саму страницу индексировать будет.
При этом то, что будет указанно в мета тегах будет иметь преимущество перед директивами файла robots.txt. Поэтому если вы запретите индексацию определенной директории вашего сайта в файле robots.txt, а на самих страницах сайта, которые относятся к данной директории будет указан следующий мета-тег:
<meta name="robots" content="index, follow" />
— то данные страницы все равно будут проиндексированы.
Если сайт построен на какой-то CMS, то в некоторых из них есть возможность при помощи специальных опций закрыть страницу к индексации. В других случаях эти мета теги придется вставлять на страницы сайта в ручную.
В следующих статьях мы подробно рассмотрим процедуру запрета индексации и все, что с этим связано (использование файла robots.txt, а также тегов noindex и nofollow).
Проблемы индексации и выпадения страниц из индекса
Существует множество причин, по которым может не происходить индексация интернет-ресурса. Ниже мы перечислим самые распространенные.
1. Неправильно настроен файл Robots.txt или неверно указаны мета-теги управляющие индексацией.
2. Домен вашего сайта уже использовался для определенного сайта и имеет плохую историю, скорее всего ранее на его был наложен какой-то фильтр. Чаще всего проблемы подобного рода касаются индексации именно Яндексом. Страницы сайта могут при первой индексации попадать в индекс, затем полностью вылетают и больше не индексируются. При обращении в службу поддержки Яндекса, вам скорее всего скажут, чтобы вы развивали сайт и все будет хорошо.
Но как показывает практика и после 6 месяцев публикации на сайте качественного уникального контента движений в позитивную сторону может и не быть. Если у вас подобная ситуация и сайт, не индексируется на протяжении 1 — 2 месяцев, то лучше зарегистрируйте другое доменное имя. Как правило после этого все становится на свои места и страницы сайта начинают индексироваться.
3. Неуникальный контент. Добавляйте на сайт только уникальный материал. Если на страницах вашего сайта размещается большое количество копипаста, то не удивляйтесь, что со временем эти страницы могут выпадать из индекса.
4. Наличие спама в виде ссылок. На некоторых сайтах страницы буквально завалены внешними ссылками. Веб-мастер обычно размещает все это для того, чтобы заработать побольше денег. Однако конечный результат может быть очень печальным – определенные страницы сайта да и весь сайт может быть исключен из индекса, либо могут быть наложены какие-то другие санкции.
5. Размер статьи. Если вы просмотрите исходный код какой-либо страницы вашего сайта, то увидите, что текст самой статьи занимает не так много места по сравнению с кодом других элементов (шапка, футер, сайдбар, меню и т.д.). Если статья будет слишком маленькой, то она и вовсе может потеряться в коде. Поэтому также могут возникнуть проблемы с уникальностью такой страницы. Поэтому старайтесь публиковать заметки, объем текста в которых не меньше 2000 знаков, с таким контентом вряд ли возникнут проблемы.
Как сделать проверку индексации сайта
Теперь поговорим о том, как провести проверку индексации вашего интернет ресурса и узнать, сколько именно страниц проиндексировано.
1. Прежде всего, попробуйте вбить URL адрес интересуемой страницы в простой поиск того же Google или Яндекса. В полученных результатах должна быть данная страница. Если страницы нет, то значит она не проиндексирована.
2. Чтобы проверить индексацию всех станиц сайта в Яндексе достаточно в поисковую строку вставить host:ваш-сайт.ru | host:www.ваш-сайт.ru и произвести поиск. Для Google достаточно вставить в поисковую форму site:ваш-сайт.ru
3. Также можно проверить свой сайт при помощи такого сервиса, как pr-cy.ru. Тут все просто и понятно устроено. Нужно просто вбить адрес вашего ресурса в поле, находящееся по центру, а затем нажать кнопку «Анализировать». После анализа вы получите результаты проверки и узнаете, сколько страниц проиндексировано в том или ином поисковике (сделать это можно в соответствующем разделе под названием «Основные показатели сайта»).
4. Если ваш сайт добавлен в сервис Яндекс Веб-мастер, то там тоже можно отслеживать индексацию страниц веб-сайта данным поисковиком.
Материалы связанные с индексацией:
- Подробности
Опубликовано: 24 Сентябрь 2013
Обновлено: 30 Декабрь 2015
Просмотров: 21134