Индексация сайта в поисковиках: Гугле и Яндексе, Mail.ru, Рамблере, Bing, Yahoo

При продвижении сайтов главным является не создание семантического ядра, не написание уникального контента или остальные методы раскрутки, а основой должно быть индексирование сайта в поисковиках.

Потому что без индексации о Вашем проекте, уважаемые читатели, не узнает никто: поисковый робот не будет осведомлен о существовании сайта и соответственно не выдаст его в поиск, а люди естественно не увидев ресурс в поиске, не смогут его посетить.

Содержание страницы

Индексация поисковиками

Индексация сайта в поисковиках – это проход пауком поисковых систем по Вашему ресурсу, сканирование структуры страницы (текст, изображение, видео, ссылки и т.д) и добавление его в свою базу данных. Только после этого страница попадет в выдачу, если на нее не будет наложен фильтр.

! Самый основной способ рассказать о своем сайте поисковым структурам это непосредственное добавление через формы на самых поисковиках. Как это делать читайте ниже. Такой способ подходит в основном для внесения сайта впервые, для постоянно обновляющихся страниц мало подходит, поскольку индексация проходит от одного дня до недели.

Также в нашем арсенале есть два инструмента, которые управляют индексацией в поисковых системах. Как Вы уже, наверное, догадались — это robots.txt который разрешает или запрещает индексирование всего, что имеется в нашем сайте. Вторым важным инструментом является Sitemap.xml, с помощью которого указываем навигацию сайта.

От чего зависит скорость индексации сайта в поисковиках

• Количество, а главное качество контента. Я уже рассказывал Вам о том, какой контент приятен для посетителя Вашего ресурса и для робота.

• Частота обновления ресурса. Все взаимосвязано: Вы чаще выкладываете новые статьи, робот соответственно чаще заходит на Ваш сайт. Как только увеличивается промежуток между добавлением новой информации, робот ведет себя абсолютно идентично.

• Индексация должна быть открыта обязательно в robots.txt.

• Простая и удобная навигация по сайту.

• Бывает, что индексирование сайта зависит от «движка» на котором написан сайт.

Методы по ускорению индексирования сайта в поисковиках

1. Уникальный контент

   Как я уже говорил необходимо писать уникальные статьи, иначе не только не проиндексируется, но и весь сайт “упадет” в выдаче. Проверьте контент на уникальность и при необходимости перепишите.

2. Регулярное обновление

   Как писал выше, скорость индексации уменьшается, когда увеличивается интервал опубликованных статей на сайте.

3. Ссылки с других ресурсов

   Обменяйтесь ссылками с другим сайтом или купите на требуемую страницу ссылку с биржи ссылок, но очень важно чтобы они были с хорошо индексируемых сайтов. Лучше всего покупать такие ссылки с авторитетных блогов или сми ресурсов. Тут описана инструкция по отбору качественных доноров в биржах.

4. Социальные закладки

   Один из способов привлечь робота на свой ресурс. Очень много есть программ которые прогоняют по сотням соц. закладок, но лучше добавить вручную в десяток самых значимых. Наиболее популярные:

   • memori.ru;
   • bobrdobr.ru;
   • moemesto.ru;
   • mister-wong.ru;
   • links.i.ua;
   • linkmarker.ru;
   • zakladok.net.

5. Социальные сети

   Как Вы знаете, в последнее время ссылки из социальных сетей типа ВК, Facebook, Twitter, Google Plus, ОК и т.д. очень важны для поведенческих факторов. Следовательно, создайте себе аккаунт/группу, добавьте небольшой информационный блок и поставьте ссылку для перехода на необходимую страницу с полной версией.

6. Внутренняя перелинковка

   Залогом успешной индексации сайта является правильное перенаправление ссылок внутри своего ресурса.

7. RSS трансляция

   Поисковики очень хорошо индексируют RSS каталоги и опубликование анонсов ваших материалов увеличивает успешность индексации.

8. Ссылка в Вашем профиле на форуме

   Зарегистрируйтесь на тематических форумах касательно своего проекта и пропишите ссылку на свою главную страницу в профиле, и когда будете добавлять комментарий, то автоматически подсоединится Ваша ссылка, а роботы хорошо индексируют мощные, хорошо развитые форумы. А как находить релевантные форумы и как отбирать их по качеству я расписал тут.

9. Сервис Вопрос-Ответ

   Одно из новшеств интернета (например, ответы mail ru), наподобие форумов, где люди задают всевозможные вопросы. Не надо спамить, этого никто не любит, лучше найдите вопрос по тематике, что публикуете и дайте небольшой отрывок из своей статьи, а в качестве продолжения укажите ссылку к полной версии. Таким нехитрым способом Вы получите дополнительное количество посетителей к себе на сайт и дадите возможность роботу проиндексировать эту страницу.

10. Вес страницы

    И последнее, но немало важное – это уменьшение веса страниц. Не нужно «напрягать» бедных роботов копаться в Вашем «мусорнике» из кодов и скриптов. Уменьшение веса приведет к ускорению продвижения робота по сайту.

Как добавлять на индексацию в Гугле и Яндексе, и прочих ПС

Сейчас мы займемся рассмотрением вопроса добавления нового ресурса во всевозможные поисковики. Разберем наиболее популярные системы.

Яндекс добавить сайт на индексацию

Для добавления проекта на Яндекс портал поисковую систему необходимо перейти к форме добавления, в простонародье аддурилка. Располагается по адресу: http://webmaster.yandex.ru/addurl.xml

В открывшейся форме следует указать УРЛ адрес главной страницы добавляемого сайта и ввести капчу. После нажатия кнопки «Добавить» произойдет следующее:

1. Выскочит сообщение «ваш сайт добавлен» — это значит, что все в порядке, ресурс поставлен в очередь на индексацию в яндексе;

2. Появится сообщение «Ваш хостинг не отвечает» — это означает, что проблема с сервером, а точнее он прилег отдохнуть в тот момент;

3. Выскочила надпись «указанный URL запрещен к индексации» — можно начинать паниковать. На домен были наложены санкции, в результате чего он оказался забаненым. В таком случае, придется списываться с техподдержкой Яндекса и пытаться выяснять, как выходить из сложившегося положения.

Отправить сайт на индексацию Google

Добавление сайта в Гугл поисковую систему проходит точно так же как и в Yandex. Google имеет свою аддурилку, что находится по адресу: https://www.google.com/webmasters/tools/submit-url.

От капчи Вам и тут никуда не деться, правда, имеется пара отличий. В яндексе не обязательно иметь свой аккаунт, чтобы добавить url, а вот в Гугле Вы должны быть залогинены в свою учетную запись. И второй момент – это скорость: индексация в гугле происходит быстрее.

Индексация сайта в Рамблере

Хоть Рамблер информационно-поисковая система уже не представляет собой того гиганта поиска как раньше, но небольшой трафик с него все же идет, так зачем им пренебрегать. Скорость индексации в Рамблере гораздо ниже, чем рассмотренных выше ПС. Так что не удивляйтесь, если Вашего проекта долгое время не будет в индексе этого поисковика.

Поскольку данная система уже давно перестала развивать свой поиск, то и от аддурилки проку никакого. Так куда стучаться, чтобы произошла индексация сайта в rambler? Если Вы уже добавились в Яндекс, то стучаться больше никуда не нужно, так как в Рамблер интегрирована поисковая база Yandex.

Индексация в mail.ru

Поисковая система майл ру также имеет в своем арсенале кабинет вебмастера, где и можно добавить ресурс в систему. Другой способ добавления вебсайта на индексацию mail – это напрямую зайти по адресу: http://go.mail.ru/addurl.

Система майл стала активно развивать свой поиск и различные сервисы, в том числе и инструменты для вебмастеров, поэтому чтобы оставить заявку на индексацию сайта в mail ru следует завести свой аккаунт.

Индексация в Aport

Апорт поисковая система канула в лету, а когда-то имела свой собственный поиск, базу и аддурилку. В данный момент на этом домене размещается ГС интернет-магазин.

Индексация в Nigma

Нигма интеллектуальная поисковая система разработанная в России пытается всунуться и отхватить долю Рунета. В данный момент она смогла отвоевать порядка 3 млн запросов в сутки. Делаем вывод, что отмахиваться от данного поисковика не стоит, а потому вот ссылка, по которой можно добавить ресурс на индексацию в Нигму: http://www.nigma.ru/index_menu.php?menu_element=add_site.

Индексация сайта Yahoo

Поисковая система yahoo принадлежит к тем поисковикам, что первыми стали покорять просторы Интернета. Она знакома пожалуй всем и каждому, кто мало мальськи связан с глобальной сетью. Добавить проект на индексацию в Яхоо: http://search.yahoo.com/info/submit.html.

Индексация сайта в Bing

Бинг поисковая система является детищем Майкрософта и пришла на замену Live Search. По заявлениям представителей Microsoft Bing гораздо эффективнее предшественника и он готов составить конкуренцию Гугл. Так ли это покажет время. Но трафик с данного поисковика есть, а значит добавлять сайт на индексирование необходимо: http://www.bing.com/toolbox/submit-site-url.

Как проверить происходит ли индексирование поисковыми системами

Проверка индексации Google

Заходим на сайт системы Гугл и в поисковой строке вводим:

Результат будет следующим: вверху отобразится цифра – количество страниц, что были проиндексированы, а дальше пойдет их перечень как обычный вывод результата поиска.

Проверка индексации Яндекс

Заходим на сайт системы Яндекс и в поисковой строке вводим:

Как и Гугл, Яндекс выдаст число проиндексированных страниц и их перечень.

Программа Сайт Аудитор

Чтобы не играться и не вводить в ручном режиме для каждого поисковика запросы, можно воспользоваться программкой Сайт Аудитор. Она выдает результаты ТИЦ и PR, а также информацию об индексировании различными поисковыми системами.

! Индексация сайта в поисковиках архиважная, хоть она всего лишь маленький шажок в поисковом продвижении. Но если ресурс не проиндексирован, то о дальнейшем продвижении можно забыть.

Индексация сайтов в поисковых системах (видео)

Поисковый индекс — Википедия

Поиско́вый и́ндекс — структура данных, которая содержит информацию о документах и используется в поисковых системах. Индекси́рование^[⇨], совершаемое поисковой машиной, — процесс сбора, сортировки и хранения данных с целью обеспечить быстрый и точный поиск информации. Создание индекса включает междисциплинарные понятия из лингвистики, когнитивной психологии, математики, информатики и физики. Веб-индексированием называют процесс индексирования в контексте поисковых машин, разработанных, чтобы искать веб-страницы в Интернете.

Популярные поисковые машины сосредотачиваются на полнотекстовой индексации документов, написанных на естественных языках^[1][⇨]. Мультимедийные документы, такие как видео и аудио^[2] и графика^[3][4], также могут участвовать в поиске.

Метапоисковые машины используют индексы других поисковых сервисов и не хранят локальный индекс, в то время как поисковые машины, основанные на кешированных страницах, долго хранят как индекс, так и текстовые корпусы. В отличие от полнотекстовых индексов, частично-текстовые сервисы ограничивают глубину индексации, чтобы уменьшить размер индекса. Большие сервисы, как правило, выполняют индексацию в заданном временно́м интервале из-за необходимого времени и затрат на обработку, в то время как поисковые машины, основанные на агентах, строят индекс в масштабе реального времени.

Цель использования индекса — повышение скорости поиска релевантных документов по поисковому запросу. Без индекса поисковая машина должна была бы сканировать каждый документ в корпусе, что потребовало бы большого количества времени и вычислительной мощности. Например, в то время, как индекс 10 000 документов может быть опрошен в пределах миллисекунд, последовательный просмотр каждого слова в 10 000 больших документов мог бы занять часы. Дополнительная память, выделяемая для хранения индекса, и увеличение времени, требуемое для обновления индекса, компенсируется уменьшением времени на поиск информации.

Факторы, влияющие на проектирование поисковых систем[править | править код]

При разработке поисковой системы необходимо учитывать следующие факторы:

Факторы слияния

Как данные входят в индекс? Как слова и подчиненные функции добавляются в индекс во время текстового корпусного обхода? И могут ли несколько поисковых роботов работать асинхронно? Поисковый робот должен сначала проверить, обновляет он старое содержание или добавляет новое. Слияние индекса^[⇨] поисковой системы подобно SQL Merge и другим алгоритмам слияния^[5].

Методы хранения

Как хранить индексируемые данные? То есть определяют вид хранимой информации: сжатый или отфильтрованный.

Размер индекса

Сколько памяти компьютера необходимо, чтобы поддерживать индекс.

Скорость поиска

Как быстро можно найти слово в инвертированном индексе. Важным для информатики является сравнение скорости нахождения записи в структуре данных и скорости обновления/удаления индекса.

Хранение

Как хранится индекс в течение длительного времени^[6].

Отказоустойчивость

Для поисковой службы важно быть надежной. Вопросы отказоустойчивости включают проблему повреждения индекса, определяя, можно ли отдельно рассматривать некорректные данные, связанные с плохими аппаратными средствами, секционированием и схемами на основе хеш-функций и композитного секционирования^[7], а также репликации.

Индексные структуры данных[править | править код]

Архитектура поисковой системы различается по способам индексирования и по методам хранения индексов, удовлетворяя факторы^[⇨]. Индексы бывают следующих типов:

Суффиксное дерево

Образно структурировано как дерево, поддерживает линейное время поиска. Построено на хранении суффиксов слов. Деревья поддерживают расширенное хеширование, которое важно для индексации поисковой системы^[8]. Используется для поиска по шаблону в последовательностях ДНК и кластеризации. Основным недостатком является то, что хранение слова в дереве может потребовать пространство за пределами необходимого для хранения самого слова^[9]. Альтернативное представление — суффиксный массив. Считается, что он требуют меньше виртуальной памяти и поддерживает блочно-сортирующее сжатие данных.

Инвертированный индекс

Хранилище списка вхождений каждого критерия поиска^[10], обычно в форме хеш-таблиц или бинарного дерева^[11][12].

Индекс цитирования

Хранилище цитат или гиперссылок между документами для поддержки анализа цитирования, предмет библиометрии.

N-грамма

Хранилище последовательностей длин данных для поддержки других типов поиска или анализа текста^[13].

Матрица термов документа

Используется в латентно-семантическом анализе (ЛСА), хранит вхождения слов в документах в двумерной разреженной матрице.

Проблемы параллельного индексирования[править | править код]

Одной из основных задач при проектировании поисковых систем является управление последовательными вычислительными процессами. Существует ситуации, в которых возможно создание состояния гонки и когерентных отказов. Например, новый документ добавлен к корпусу, и индекс должен быть обновлен, но в то же время индекс должен продолжать отвечать на поисковые запросы. Это коллизия между двумя конкурирующими задачами. Считается, что авторы являются производителями информации, а поисковый робот — потребителем этой информации, захватывая текст и сохраняя его в кэше (или корпусе). Прямой индекс является потребителем информации, произведенной корпусом, а инвертированный индекс — потребителем информации, произведенной прямым индексом. Это обычно упоминается как модель производителя-потребителя. Индексатор является производителем доступной для поиска информации, а пользователи, которые её ищут, — потребителями. Проблема усиливается при распределенном хранении и распределенной обработке. Чтобы масштабировать большие объемы индексированной информации, поисковая система может основываться на архитектуре распределенных вычислений, при этом поисковая система состоит из нескольких машин, работающих согласованно. Это увеличивает вероятность нелогичности и делает сложнее поддержку полностью синхронизируемой, распределенной, параллельной архитектуры^[14].

Прямой индекс[править | править код]

Прямой индекс хранит список слов для каждого документа. Ниже приведена упрощенная форма прямого индекса:

Прямой индекс

Документ	Слова
Документ 1	наша, Таня, громко, плачет
Документ 2	уронила, в, речку, мячик
Документ 3	тише, Танечка, не, плачь,
Документ 4	не, утонет, в, речке, мяч

Необходимость разработки прямого индекса объясняется тем, что лучше сразу сохранять слова за документами, поскольку их в дальнейшем анализируют для создания поискового индекса. Формирование прямого индекса включает асинхронную системную обработку, которая частично обходит узкое место обновления инвертированного индекса^[15]. Прямой индекс сортируют, чтобы преобразовать в инвертированный. Прямой индекс по сути представляет собой список пар, состоящих из документов и слов, отсортированный по документам. Преобразование прямого индекса к инвертированному является только вопросом сортировки пар по словам. В этом отношении инвертированный индекс — отсортированный по словам прямой индекс.

Инвертированный индекс[править | править код]

Многие поисковые системы используют инвертированный индекс при оценке поискового запроса, чтобы быстро определить местоположение документов, содержащих слова из запроса, а затем ранжировать эти документы по релевантности. Поскольку инвертированный индекс хранит список документов, содержащих каждое слово, поисковая система может использовать прямой доступ, чтобы найти документы, связанные с каждым словом в запросе, и быстро получить их. Ниже приведено упрощенное представление инвертированного индекса:

Инвертированный индекс

Слово	Документы
в	Документ 2, Документ 4
громко	Документ 1
мяч	Документ 2, Документ 4
наша	Документ 1
не	Документ 3, Документ 4
плакать	Документ 1, Документ 3
речка	Документ 2, Документ 4
Таня	Документ 1, Документ 3
тише	Документ 3
уронить	Документ 2
утонуть	Документ 4

Инвертированный индекс может только определить, существует ли слово в пределах конкретного документа, так как не хранит никакой информации относительно частоты и позиции слова, и поэтому его считают логическим индексом. Инвертированный индекс определяет, какие документы соответствуют запросу, но не оценивает соответствующие документы. В некоторых случаях индекс включает дополнительную информацию, такую как частота каждого слова в каждом документе или позиция слова в документе^[16]. Информация о позиции слова позволяет поисковому алгоритму идентифицировать близость слова, чтобы поддерживать поиск фраз. Частота может использоваться, чтобы помочь в ранжировании документов по запросу. Такие темы в центре внимания исследований информационного поиска.

Инвертированный индекс представлен разреженной матрицей, так как не все слова присутствуют в каждом документе. Индекс подобен матрице термов документа, используемом в ЛСА. Инвертированный индекс можно считать формой хеш-таблицы. В некоторых случаях индекс представлен в форме двоичного дерева, которая требует дополнительной памяти, но может уменьшить время поиска. В больших индексах архитектура, как правило, представлена распределенной хеш-таблицей^[17].

Слияние индекса[править | править код]

Инвертированный индекс заполняется путём слияния или восстановления. Архитектура может быть спроектирована так, чтобы поддерживать инкрементную индексацию^[18][19], где слияние определяет документ или документы, которые будут добавлены или обновлены, а затем анализирует каждый документ в слова. Для технической точности, слияние объединяет недавно индексированные документы, обычно находящиеся в виртуальной памяти, с индексным кэшем, который находится на одном или нескольких жестких дисках компьютера.

После синтаксического анализа индексатор добавляет указанный документ в список документов для соответствующих слов. В более крупной поисковой системе процесс нахождения каждого слова для инвертированного индекса может быть слишком трудоемким, поэтому его, как правило, разделяют на две части:

• разработка прямого индекса,
• сортировка прямого индекса в инвертированный индекс.

Инвертированный индекс называется так из-за того, что он является инверсией прямого индекса.

Сжатие[править | править код]

Создание и поддержка крупномасштабного поискового индекса требует значительной памяти и выполнения задач обработки. Многие поисковые системы используют ту или иную форму сжатия, чтобы уменьшить размер индексов на диске^[6]. Рассмотрим следующий сценарий для полнотекстового механизма поиска в Интернете:

• Требуется 8 битов (1 байт) для хранения одного символа. Некоторые кодировки используют 2 байта на символ^[20].
• Среднее число символов в любом слове на странице примем за 5.

Учитывая этот сценарий, несжатый индекс для 2 миллиардов веб-страниц должен был бы хранить 500 миллиардов записей слов. 1 байт за символ или 5 байт за слово — потребовалось бы 2500 гигабайт одного только пространства памяти. Это больше, чем среднее свободное пространство на диске 2 персональных компьютеров. Для отказоустойчивой распределенной архитектуры требуется еще больше памяти. В зависимости от выбранного метода сжатия индекс может быть уменьшен до части такого размера. Компромисс времени и вычислительной мощности, требуемой для выполнения сжатия и распаковки.

Примечательно, что крупномасштабные проекты поисковых систем включают затраты на хранение, а также на электроэнергию для осуществления хранения.

Синтаксический анализ (или парсинг) документа предполагает разбор документа на компоненты (слова) для вставки в прямой и инвертированный индексы. Найденные слова называют токенами (англ. token), и в контексте индексации поисковых систем и обработки естественного языка парсинг часто называют токенизацией (то есть разбиением на токены). Синтаксический анализ иногда называют частеречной разметкой, морфологическим анализом, контент-анализом, текстовым анализом, анализом текста, генерацией согласования, сегментацией речи, лексическим анализом. Термины «индексация», «парсинг» и «токенизация» взаимозаменяемы в корпоративном сленге.

Обработка естественного языка постоянно исследуется и улучшается. Токенизация имеет проблемы с извлечением необходимой информации из документов для индексации, чтобы поддерживать качественный поиск. Токенизация для индексации включает в себя несколько технологий, реализация которых может быть коммерческой тайной.

Проблемы при обработке естественного языка[править | править код]

Неоднозначность границ слова

На первый взгляд может показаться, что токенизация является простой задачей, но это не так, особенно при разработке многоязычного индексатора. В цифровой форме тексты некоторых языков, таких, как китайский или японский, представляют сложную задачу, так как слова четко не разделены пробелом. Цель токенизации в том, чтобы распознать слова, которые будут искать пользователи. Специфичная для каждого языка логика используется, чтобы правильно распознать границы слов, что необходимо для разработки синтаксического анализатора для каждого поддерживаемого языка (или для групп языков с похожими границами и синтаксисом).

Неоднозначность языка

Для более точного ранжирования документов поисковые системы могут учитывать дополнительную информацию о слове, например, к какому языку или части речи оно относится. Эти методы зависят от языка, поскольку синтаксис между языками различается. При токенизации некоторые поисковые системы пытаются автоматически определить язык документа.

Различные форматы файлов

Для того, чтобы правильно определить, какие байты представляют символы документа, формат файла должен быть правильно обработан. Поисковые системы, которые поддерживают различные форматы файлов, должны правильно открывать документ, получать доступ к документу и токенизировать его символы.

Ошибки памяти

Качество данных естественного языка не всегда может быть совершенным. Уязвимость существует из-за неизвестного количества документов, в частности, в Интернете, которые не подчиняются соответствующему протоколу файла. Двоичные символы могут быть ошибочно закодированы в различных частях документа. Без распознавания этих символов и соответствующей обработки может ухудшиться качество индекса или индексирования.

Токенизация[править | править код]

В отличие от большинства людей, компьютеры не понимают структуру документа естественного языка и не могут автоматически распознавать слова и предложения. Для компьютера документ — это только последовательность байтов. Компьютер не «знает», что символ пробела является разделителем слов в документе. Человек должен запрограммировать компьютер так, чтобы определить, что является отдельным словом, называемым токеном. Такую программу обычно называют токенизатором или синтаксическим анализатором (парсером), а также лексическим анализатором^[21]. Некоторые поисковые системы и другое ПО для обработки естественного языка поддерживают специализированные программы, удобные для осуществления синтаксического анализа, например, YACC или Лекс^[22].

Во время токенизации синтаксический анализатор определяет последовательность символов, которые представляют слова и другие элементы, например, пунктуация, представленная числовыми кодами, некоторые из которых являются непечатаемыми управляющими символами. Синтаксический анализатор может распознать некоторые объекты, например, адреса электронной почты, телефонные номера и URL. При распознавании каждого токена могут быть сохранены некоторые характеристики, например, язык или кодировка, часть речи, позиция, число предложения, позиция в предложении, длина и номер строки^[21].

Распознавание языка[править | править код]

Если поисковая система поддерживает несколько языков, то первым шагом во время токенизации будет определение языка каждого документа, поскольку многие последующие шаги зависят от этого (например, стемминг и определение части речи). Распознавание языка — это процесс, при котором компьютерная программа пытается автоматически определить или классифицировать язык документа. Автоматическое распознавание языка является предметом исследований в обработке естественного языка^[23].

Анализ формата документа[править | править код]

Если поисковая система поддерживает множество форматов документов, то документы должны быть подготовлены для токенизации. Проблема состоит в том, что некоторые форматы документов содержат информацию о форматировании в дополнение к текстовому содержанию. Например, документы HTML содержат HTML-теги^[24]. Если бы поисковая система игнорировала различие между содержанием и разметкой текста, то посторонняя информация включалась бы в индекс, что привело бы к плохим результатам поиска. Анализ формата — выявление и обработка языка разметки, встроенного в документ. Анализ формата также упоминается как структурный анализ, разделение тегов, текстовая нормализация.

Задача анализа формата осложняется тонкостями различных форматов файлов. Некоторые форматы файлов защищаются правом интеллектуальной собственности, о них мало информации, а другие — наоборот, хорошо документированы. Распространенные, хорошо задокументированные форматы файлов, которые поддерживают поисковые системы^[25][26]:

Некоторые поисковики поддерживают файлы, которые хранятся в сжатом или зашифрованном формате^[27][28][29]. При работе со сжатым форматом индексатор сначала распаковывает документ. Этот шаг может привести к получению одного или нескольких файлов, каждый из которых должен быть индексирован отдельно. Бывают следующие поддерживаемые форматы сжатого файла:

Анализ формата может включать методы повышения качества, чтобы избежать включения ненужной информации в индекс. Контент может управлять информацией о форматировании, чтобы включать дополнительные сведения. Примеры злоупотребления форматированием документа в случае веб-спама:

• Включение сотен или тысяч слов в раздел, который скрыт от представления на мониторе, но является видимым индексатору, при помощи тегов форматирования (например, в скрытый тег div в HTML можно включить использование CSS или JavaScript).
• Установка цвета шрифта слов таким же, как цвет фона, что делает невидимыми слова для человека при просмотре документа, но слова остаются видимыми для индексатора.

Распознавание раздела[править | править код]

Некоторые поисковые системы включают распознавание раздела, определяют основные части документа до токенизации. Не все документы в корпусе читаются как правильно написанная книга, разделенная на главы и страницы. Некоторые документы в Интернете, такие как новостные рассылки и корпоративные отчеты, содержат ошибочное содержание и боковые блоки, в которых нет основного материала. Например, эта статья отображает в левом меню ссылки на другие веб-страницы. Некоторые форматы файлов, как HTML или PDF, допускают содержание, которое будет отображаться в колонках. Хотя содержимое документа представлено на экране в различных областях, исходный текст хранит эту информацию последовательно. Слова, которые появляются последовательно в исходном тексте, индексируются последовательно, несмотря на то, что предложения и абзацы отображаются в различных частях монитора. Если поисковые системы индексируют весь контент, как будто это основное содержание документа, то качество индекса и поиска может ухудшиться. Отмечают две основные проблемы:

• Содержание в различных разделах рассматривают как связанное с индексом, хотя в действительности это не так.
• Дополнительное содержание «боковой панели» включено в индекс, но оно не способствует реальной значимости документа, поэтому индекс заполнен плохим представлением о документе.

Для анализа раздела может потребоваться, чтобы поисковая система реализовала логику визуализации каждого документа, то есть абстрактное представление самого документа, и затем проиндексировала представление вместо документа. Например, иногда для вывода контента на страницу в Интернете используют JavaScript. Если поисковая система «не видит» JavaScript, то индексация страниц происходит некорректно, поскольку часть контента не индексируется. Учитывая, что некоторые поисковые системы не беспокоятся о проблемах с визуализацией, веб-разработчики стараются не представлять контент через JavaScript или используют тег NoScript, чтобы убедиться, что веб-страница индексируется должным образом^[30]. В то же время этот факт можно использовать, чтобы «заставить» индексатор поисковой системы «видеть» различное скрытое содержание.

Индексация метатегов[править | править код]

Определенные документы часто содержат встроенные метаданные, такие как автор, ключевые слова, описание и язык. В HTML-страницах метатеги содержат ключевые слова, которые также включены в индекс. В более ранних технологиях поиска в Интернете индексировались ключевые слова в метатегах для прямого индекса, а полный текст документа не анализировался. В то время еще не было полнотекстовой индексации, и аппаратное обеспечение компьютера было не в состоянии поддерживать такую технологию. Язык разметки HTML первоначально включал поддержку метатегов для того, чтобы правильно и легко индексировать, без использования токенизации^[31].

В процессе развития Интернета в 1990-х, многие корпорации создали корпоративные веб-сайты. Ключевые слова, используемые для описания веб-страниц стали больше ориентироваться на маркетинг и разрабатывались, чтобы управлять продажами, помещая веб-страницу в начало страницы результатов поиска для определенных поисковых запросов. Факт, что эти ключевые слова были определены субъективно, приводил к спаму, что вынудило поисковые системы принять полнотекстовую индексацию. Разработчики поисковой системы могли поместить много «маркетинговых ключевых слов» в содержание веб-страницы до того, как наполнят её интересной и полезной информацией. Однако целью проектирования веб-сайтов являлось привлечение клиентов, поэтому разработчики были заинтересованы в том, чтобы включить больше полезного контента на сайт, чтобы сохранить посетителей. В этом смысле полнотекстовая индексация была более объективной и увеличила качество результатов поисковой системы, что содействовало исследованиям технологий полнотекстовой индексации.

В локальном поиске решения могут включать метатеги, чтобы обеспечить поиск по авторам, так как поисковая система индексирует контент из различных файлов, содержание которых не очевидно. Локальный поиск больше находится под контролем пользователя, в то время как механизмы интернет-поиска должны больше фокусироваться на полнотекстовом индексе.

1. ↑ Clarke,Cormack, 1995.
2. ↑ Rice,Bailey.
3. ↑ Jacobs,Finkelstein,Salesin, 2006.
4. ↑ Lee.
5. ↑ Brown, 1996.
6. ↑ ^{1 2} Cutting,Pedersen, 1990.
7. ↑ mysql.
8. ↑ trie.
9. ↑ Gusfield, 1997.
10. ↑ inverted index.
11. ↑ Foster, 1965.
12. ↑ Landauer, 1963.
13. ↑ 5-gram.
14. ↑ Dean,Ghemawat, 2004.
15. ↑ Brin,Page, 2006.
16. ↑ Grossman,Frieder,Goharian, 2002.
17. ↑ Tang,Sandhya, 2004.
18. ↑ Tomasic, 1994.
19. ↑ Luk,Lam, 2007.
20. ↑ unicode.
21. ↑ ^{1 2} Tokenization Guidelines, 2011.
22. ↑ Lex&Yacc, 1992.
23. ↑ Automated language recognition, 2009.
24. ↑ html, 2011.
25. ↑ formats files.
26. ↑ Типы файлов Google/Yandex.
27. ↑ Программы индексации и поиска файлов.
28. ↑ Индексирование архивов.
29. ↑ Служба индексирования windows.
30. ↑ JS indexing.
31. ↑ Lee Hypertext, 1995.

• Charles E. Jacobs, Adam Finkelstein, David H. Salesin. Fast Multiresolution Image Querying (англ.) // Department of Computer Science and Engineering. — University of Washington, Seattle, Washington 98195, 2006.

• Cutting, D., Pedersen, J. Optimizations for dynamic inverted index maintenance (англ.) / Jean-Luc Vidick. — NY, USA: ACM New York, 1990. — P. 405-411. — ISBN 0-89791-408-2.

• Eric W. Brown. Execution Performance Issues in Full-Text Information Retrieval. — University of Massachusetts Amherst: Computer Science Department, 1996. — 179 с. — (Technical Report 95-81).
• Dan Gusfield. Algorithms on Strings, Trees and Sequences: Computer Science and Computational Biology. — USA: Cambridge University Press, 1997. — 326 с. — ISBN 0-521-58519-8.
• Caxton Croxford Foster. Information retrieval: information storage and retrieval using AVL trees (англ.) // ACM ’65 Proceedings of the 1965 20th national conference. — NY, USA, 1965. — P. 192-205. — DOI:10.1145/800197.806043.
• Landauer, W. I. The balanced tree and its utilization in information retrieval (англ.) // IEEE Trans. on Electronic Computers. — USA, 1963. — No. 6. — P. 12.
• Jeffrey Dean, Sanjay Ghemawat. MapReduce: Simplified Data Processing on Large Clusters (англ.). — Google, Inc, 2004.
• Sergey Brin, Lawrence Page. The Anatomy of a Large-Scale Hypertextual Web Search Engine (англ.). — Stanford University, Stanford: Computer Science Department, 2006.
• Grossman, Frieder, Goharian. IR Basics of Inverted Index (англ.). — 2002.
• Tang Hunqiang, Sandhya Dwarkadas. Hybrid Global Local Indexing for Efficient Peer to Peer Information Retrieval (англ.). — University of Rochester: Computer Science Department, 2004.
• Anthony Tomasic. Incremental Updates of Inverted Lists for Text Document Retrieval (англ.) : Conference Proceeding. — Stanford University, 1994.
• Robert W.P. Luk, Wai Lam. Efficient in-memory extensible inverted file (англ.) // Information Systems. — 2007. — No. 32 (5). — P. 733-754. — DOI:10.1016/j.is.2006.06.001.
• Radim Řehůřek, Milan Kolkus. Language Identification on the Web: Extending the Dictionary Method (англ.) // Lecture Notes in Computer Science Volume. — Mexico, 2009. — No. 5449. — P. 357-368. — ISBN 978-3-642-00382-0. (недоступная ссылка)
• Scoping SIG, Tokenization Taskforce PCI Security Standards Council. Info Supplement:PCI DSS Tokenization Guidelines. — 2011. — С. 23.
• Б. Лоусон, Р. Шарп. Изучаем HTML5 = Introducing HTML5. — Питер, 2011. — 272 с. — (Библиотека специалиста). — 2000 экз. — ISBN 978-5-459-00269-0, 978-0321687296.
• T. Berners-Lee. Hypertext Markup Language — 2.0 (англ.). — Network Working Group, 1995.
• Levine JR, Mason T, Brown D. Lex & Yacc. — Sebastopol: O’Reilly & Associates, 1992. — P. 387. — ISBN 1565920007.

• James Lee. Software Learns to Tag Photos (англ.). MIT Technology Review 1-2 (Ноябрь 09, 2006). Дата обращения 3 декабря 2013.

Индексация сайта. Как ускорить индексацию в поисковиках

Оптимизация сайта — это процесс, состоящий из нескольких уровней. Результатом недоделок и ошибок на каждом этапе будет сведение всей будущей работы к замедленной или неполной индексации всех страниц сайта.

Индексация сайта по своей сути зависит от того, как обработают ваш сайт поисковые роботы. Наверное, вам уже известно, что поисковые роботы это такие программы, которые совершают сканирование сайта и наполняют базу данных поисковой системы информацией для поиска. Как ускорить индексацию сайта и обеспечить его быстрое продвижение в поисковиках?

Способы быстрой индексации сайта

Если добавить ваш новый веб-ресурс в поисковые системы, которые вы знаете, индексация сайта произойдет гораздо быстрей. Добавить в Yandex — https://webmaster.yandex.ru/addurl.xml, в Google — https://www.google.ru/intl/ru/addurl.html.

Нужно создать карту сайта. Зарегистрироваться в сервисах webmaster.yandex.ru и www.google.com/webmasters. Указать там ваш файл sitemap.xml.

Для ускорения индексации сайта вам поможет регистрация в социальных закладках и сетях (bobrdobr.ru, memori.ru, twitter.com, vkontakte.ru и др.). Там можно добавлять разные страницы вашего сайта.

Заведите свои блоги на my.ya.ru, blogspot.com, blogs.mail.ru, livejournal.com и др. Добавьте в них записи со ссылками на страницы вашего сайта. По мере возникновения новых страниц на сайте, для их быстрой индексации поисковиками, добавляйте ссылки в ваших блогах на эти страницы.

Стоит зарегистрироваться в нескольких популярных каталогах и рейтингах. К примеру, регистрация на LiveInternet и Рамблер ТОП100 способна ускорить индексацию сайта из-за того, что роботы довольно часто заглядывают в ТОПы.

Поисковые боты очень любят посещать популярные блоги с их комментариями. При этом роботы тщательно отслеживают все ссылки в блогах. Попробуйте посещать такие блоги и оставлять там ненавязчивые комментарии со ссылками. Старайтесь соблюдать правила блога и ссылки вставлять в специально отведенные для этого места во избежание удаления вашего комментария как спама.

Еще один похожий совет для ускорения индексации сайта — это комментарии на форумах с большой посещаемостью. Как раз на форумах, кстати, абсолютно не запрещено вставлять ссылки, если они имеют отношение к вашему ресурсу. Форумы посещаются ботами не хуже чем блоги.

E-mail рассылка. Воспользуйтесь специальным сервисом Subscribe.ru, и письма с предложением посещения вашего сайта разлетятся многим пользователям. Личный блог рассылок индексируется довольно быстро.

Довольно трудоемкими, но популярными считаются способы быстрой индексации веб-ресурсов при помощи размещения на сторонних ресурсах большого количества статей со ссылками на ваш сайт. Трудоемкость заключается в написании огромного количества статей с интересным и актуальным содержанием. Эти статьи выполняют функцию, подобную каталогу ссылок.

Необходимо построить четкую и грамотную структуру сайта. Ее построение должно быть легким и удобным для работы поисковых роботов со страницами сайта. Достичь этого вовсе не трудно. Принцип заключается в том, чтобы ссылки на всех страницах сайта направляли посетителя с одной страницы на другую.

Если ваш проект содержит огромное количество страниц, то для быстрой индексации сайта следует обратить внимание на следующий метод. Робот поисковика считывает и анализирует информацию, постепенно передвигаясь по страницам сайта. При довольно значительном количестве страниц он может просто не добраться до части последних страниц, которые значительно удалены от главной. При этом индексация сайта в поисковых системах ухудшается.
Идеальной в таком случае является древообразная четкая структура карты вашего сайта, в которой каждому ответвлению будет соответствовать некоторый подраздел с меньшим количеством страниц. Каждая страница сайта, желательно, должна быть в удалении не более трех кликов от главной.

В случае, если отдельные страницы сайта поисковые роботы не проиндексировали, следует ссылки на эти страницы разбросать по сторонним ресурсам. При индексации сайтов с вашими ссылками робот обязательно посетит и ваши страницы.

Если вы создаете интернет-магазин, то каждому из ваших товаров (или группе товаров) будет отведена своя страница сайта. Существуют для этого способы быстрой индексации всех страниц с товарами магазина, заключающиеся в размещении на каждой из этих страниц ссылок, которые указывают на страницы с подобного вида товарами.

Чтобы индексация сайта происходила быстрей, необходимо обеспечить более частое посещение роботами его страниц. Для достижения этого вам придется довольно часто обновлять страницы сайта и пополнять новой информацией. И самое важное при этом наполнять сайт статьями и текстами со стопроцентной уникальностью.

Индексация.

Что такое индексация в поисковых системах?

Что такое индексация сайта в поисковых системах известно многим веб-мастерам. Они с нетерпением ожидают обновления поисковой базы, чтобы порадоваться результатам индексации или найти и исправить ошибки оптимизации, которые мешают качественной индексации и дальнейшему продвижению сайта.

Благодаря качественной индексации сайтов в интернете можно найти все, что угодно.

Как же работает система индексации в крупных поисковых системах?
У поисковиков есть программы-роботы (поисковые боты), которые постоянно «гуляют» по ссылкам в поисках новых страниц. Если они находят новую страницу, которая удовлетворят требованиям алгоритма данного поисковика, то она включается в результаты поиска и проходит индексацию.

рис: Индексация помогает находить сайты

Самое ценное и одновременно сложное – это алгоритмы поисковых систем, по которым они выбирают страницы для своей поисковой базы. У разных поисковиков они свои: у кого-то лучше, у кого-то чуть попроще. Это также необходимо учитывать при индексации сайта. Говорят, что в интернете можно найти всё, что угодно. А благодаря чему можно найти? Правильно! Благодаря качественной индексации сайтов.

Как добавить сайт в индекс поисковых систем?

Как же быстро и просто добавить свой сайт в индекс поисковых систем? Казалось бы, что в этом ничего сложного нет: достаточно всего лишь разместить сайт в сети, и поисковые машины сами бросятся на него. Если бы всё было так просто, то многочисленные seo оптимизаторы остались бы без работы.

Давайте разберемся, что такое индексация. Индексация – это процесс добавления страниц вашего сайта в базу данных поисковой системы. Говоря простым языком, поисковая система собирает ваши страницы, чтобы потом их показывать пользователям по определенным запросам. В каком порядке показывать и по каким запросам – это тема не одной статьи.

Провести индексацию сайта довольно просто: необходимо «сказать» поисковой системе, что у вас есть сайт, который может её заинтересовать. Каждый поисковик обладает формой добавления сайтов в индекс. Вот ссылки на формы добавления сайтов в индекс некоторых поисковиков:

Яндекс: http://webmaster.yandex.ru/addurl.xml
Mail.ru: http://webmaster.mail.ru/
Google: http://www.google.ru/addurl/
Bing: http://www.bing.com/toolbox/submit-site-url
Спутник: http://corp.sputnik.ru/webmaster

Для ускорения индексации многие рекомендуют регистрировать сайт в системах социальных закладок. Это действительно оправдано, т.к. поисковые роботы (программы, которые проводят индексацию) очень часто посещают подобные сайты. Если они увидят там ссылку на ваш ресурс, то его индексация не заставит себя долго ждать.

Регистрацию сайта в поисковиках и социальных закладках можно проводить как самостоятельно, так и доверить это дело фирмам, которые занимаются вопросами раскрутки сайтов.

Зачем нужна индексация?

Вам нужен сайт, который увеличивает продажи вашей фирмы и продвигает ваши товары? А может, вам нужен сайт, который сам по себе приносит прибыль? Может быть, вы хотите вести личный дневник и получать за это деньги? Если на какой то из этих вопросов вы ответили утвердительно, то должны хотя бы в общих чертах представлять, что такое индексация сайта в поисковых системах.

Следуйте главному условию – создавайте сайт «для людей», удобный и с уникальнм контентом.

Действительно, если вашего сайта нет в поисковой выдаче крупнейших поисковиков (Яндекс, Google, Рамблер…), то на получение прибыли и на продвижение своих товаров или услуг вы можете даже не надеяться. Сайт будет лишним грузом, отъедающим бюджет фирмы на свое поддержание.

Совершенно иная ситуация возникнет, если сайт проиндексирован. Причем, чем больше страниц прошли индексацию – тем лучше. Главное, что необходимо для успешной индексации – оптимизация и уникальность контента сайта.

Поисковые системы стремительно развиваются, алгоритмы индексации постоянно совершенствуются. Теперь уже поисковикам не составляет труда определить плагиат или нечитаемый текст. Поэтому следуйте главному условию, которое необходимо для успешной индексации – создавайте сайт «для людей», удобный и с уникальнм контентом.

Индексация сайта дает не только большое количество целевых посетителей (что в конечном счете отражается на продажах товаров вашей компании), она ещё способствует развитию самого проекта и может направить владельца сайта по более перспективному пути расширения своего интернет проекта.

Как часто происходит индексация в Интернете?

На многих крупных форумах, посвященных раскрутке и продвижению сайтов, можно встретить темы с примерно одинаковыми названиями: АПы поисковой базы. Что же это такое, и как часто «ап»аются базы данных поисковых машин? Как всё это влияет на индексацию? Попробуем разобраться.

Человек, который немного разбирается в терминологии интернета, наверняка знает, что такое «ап». А вот что такое ап поисковой базы, или обновление индексации знают только те, кто занимается раскруткой и продвижением сайтов. Мы понимаем, что данные в поисковых системах не могут обновляться постоянно. Это чревато не только банальными перегрузками серверов, но и выходом из строя оборудования. Конечно, небольшие базы данных могут постоянно изменять свое состояние, а если речь зашла о базах поисковых систем, которые отвечают за индексацию сайтов, то тут совсем другое дело.

Представьте, какое огромное количество запросов получает база индексации каждую секунду. А что станет с ней, если параллельно ещё будет изменяться информация об индексации? Естественно, она может не выдержать, что и наблюдалось на заре развития поисковых машин.

Сегодня эта проблема решена довольно универсальным способом: данные об индексации с поисковых роботов хранятся во временных базах, а обновление «главной» базы данных происходит с задержкой в несколько суток. Поэтому индексация сайтов в крупных поисковых системах проходит довольно быстро и без «глюков».

Подготовка сайта к индексации.

Многие начинающие вебмастера на специализированных форумах задают один и тот же вопрос: как правильно подготовить сайт к индексации. Возможно эти рекомендации помогут Вам:

1. Для успешной индексации необходим качественный уникальный контент. Это, пожалуй, первое и главное условие. Если на вашем сайте используется «ворованный»контент, то вероятность того, что индексация будет успешной, мала.


2. Не используйте «серые» и «черные» методы оптимизации страниц: раз и навсегда откажитесь от списка ключевых слов в цвет фона страницы, а также различных ифреймовых структур. Если робот поисковой системы заподозрит вас в подобных нарушениях, то доменное имя будет вообще запрещено для индексации.


3. После того, как вы выложили сайт на сервер, не спешите добавлять его везде, где только можно. Проверьте ещё раз контент, код на валидность, внутреннюю перелинковку страниц. Если всё сделано правильно, оповещайте поисковых ботов и приглашайте их на индексацию.


4. Проверьте наличие метатегов, ключевых слов и описаний в них, тайтлов страниц и альтов изображений. Если всё это в наличии, то смело можете проводить индексацию.


5. Добавьте свой сайт в поисковики через специальные панели.

Как видите, советы довольно простые. Но почему-то многие начинающие оптимизаторы не уделяют должного внимания им, а потом жалуются, что индексация их сайтов затягивается на несколько месяцев.

Другие материалы по теме:
«Центр веб-мастеров» — Google
«Индексирование сайта» — Яндекс.Помощь