Как работают поисковые системы и почему это важно для бизнеса?

Поисковые системы — это окно в Интернет для бизнеса. Они собирают колоссальные объемы информации на каждом веб-сайте, разбивают ее и принимают решение о том, насколько хорошо тот отвечает на конкретный запрос. Но с таким большим количеством данных, как на самом деле работают поисковые системы?

Для более эффективного поиска, классификации и ранжирования миллиардов страниц, составляющих Интернет, поисковые системы используют сложные алгоритмы, которые принимают решения о качестве и релевантности статьи или видеоролика.

Это сложный процесс, который предполагает обработку значительных объемов данных, и все они должны быть представлены в максимально удобном для конечного пользователя виде.

Поисковые системы анализируют все это через многочисленные различные факторы ранжирования на основе запроса пользователя. Это актуальность вопроса, введенного пользователем, качество контента, скорость, метаданные и многое другое.

Каждая точка данных объединяется, чтобы помочь поисковой системе рассчитать общее «качество» страницы. Затем сайт оценивается на основе этих расчетов и предоставляется пользователю ниже или выше на странице результатов поиска (SERP).

Знание скрытых закулисных процессов, которые происходят в поисковых системах для принятия этих решений, помогает компаниям понять, почему определенные фрагменты контента имеют высокий рейтинг, но также помогает создавать новый контент с потенциально более высоким ранжированием.

Давайте взглянем на общие процедуры, на которых построен каждый алгоритм поисковой системы, а затем разберем механизмы их работы на примере гигантов Google и Youtube.

Как работают поисковые системы

Чтобы быть эффективными, поисковые системы должны точно интерпретировать доступную информацию и логически представлять ее пользователям. Для этого системы выполняют три основных действия — это сканирование, индексация и ранжирование.

Благодаря этим действиям они обнаруживают недавно опубликованный контент, сохраняют информацию на своих серверах и организуют ее для нашего потребления. Давайте разберем, что происходит во время каждого из этих действий:

• Сканирование. Поисковые системы отправляют веб-сканеры, известные как боты или пауки, для просмотра содержимого сайта. Уделяя пристальное внимание новым веб-сайтам и недавно измененному контенту, сканеры анализируют URL-адреса, карты сайта и код, чтобы определить тип отображаемого контента.

• Индексация. После сканирования сайта системы должны решить, как организовать информацию. Процесс индексации заключается в том, что они проверяют данные веб-сайта на наличие положительных и отрицательных сигналов ранжирования и сохраняют их в соответствующем месте на своих серверах.

• Ранжирование. В процессе индексации поисковые системы начинают принимать решения о том, где отображать конкретный контент на странице результатов поиска. Ранжирование осуществляется путем оценки ряда факторов на основании предпочтений запроса пользователя, качества и релевантности.

В ходе этого процесса компьютеры должны определить ценность, которую любой веб-сайт может потенциально предоставить конечному пользователю. Эти решения руководствуются алгоритмом. Понимание того, как работает поисковый алгоритм, помогает создавать эффективный контент, который оценивается выше для каждой платформы.

Будь то RankBrain для Google и YouTube, «Дерево граф и пространственных разделов» (SPTAG) для Bing или проприетарная кодовая база для DuckDuckGo, каждая платформа использует уникальную серию факторов ранжирования.

Если бизнес будет учитывать эти факторы при создании контента для веб-сайта, адаптировать определенные страницы для хорошего ранжирования станет проще.

Алгоритмы поисковых систем Google и Youtube

Каждая поисковая система обрабатывает результаты поиска по-своему. Мы рассмотрим две наиболее популярные платформы на сегодняшнем рынке (включая платформу для видео), и разберем, как они принимают решения о качестве и релевантности контента.

Как работает поисковая система Google

Google — самая популярная поисковая система на планете. Она занимает более 90% рынка, получая более 3,5 миллиарда индивидуальных поисковых запросов ежедневно. Известно, что алгоритмы поиска Google довольно хитро определяют приоритеты веб-сайтов и порой вызывают недоверие и критичное отношение пользователей.

Новые сайты создаются каждый день. Google может найти эти страницы, перейдя по ссылкам из существующего контента, который они просканировали ранее, или когда владелец веб-сайта отправит свою карту сайта напрямую.

Любые обновления существующего контента также могут быть отправлены в Google, если попросить пересмотреть определенный URL. Это делается через Google Search Console.

Хотя Google не сообщает, как часто просматриваются сайты, в конечном итоге любой обновленный контент, связанный с существующим контентом, обязательно находят.

Когда боты собирают достаточно информации, они возвращают ее Google для индексации.

Индексация начинается с анализа данных сайта, включая текстовый контент, изображения, видео и техническую структуру сайта. Google ищет позитивные и негативные рейтинговые сигналы, такие как ключевые слова и свежесть сайта, чтобы понять качество просканированной страницы и ее важность для пользователя.

Индекс сайтов Google содержит миллиарды страниц и 100 000 000 гигабайт данных.

Для организации этой информации Google использует алгоритм машинного обучения под названием RankBrain и базу знаний Knowledge Graph. Они работает вместе, чтобы помочь системе предоставить наиболее релевантный контент для пользователя. Как только индексация сайта завершена, Google переходит к ранжированию.

Все происходящее до этого момента выполняется незримо для людей, в фоновом режиме, прежде чем пользователь начнет взаимодействовать с поисковыми функциями Google.

Ранжирование происходит в зависимости от того, что ищет пользователь.

При этом Google смотрит на пять основных факторов:

• Значение запроса. Какова цель конечного пользователя? Google использует запросы, чтобы определить намерения человека (например, купить машину или посмотреть ее характеристики). Он анализирует каждый запрос, используя сложные языковые модели, основанные на прошлых поисках и поведении людей.

• Релевантность веб-страницы. После того как Google определил цель поискового запроса пользователя, он просматривает содержание веб-страниц с рейтингом, чтобы определить, какая из них является наиболее релевантной. Основным фактором является анализ ключевых слов. Ключевые слова на веб-сайте должны соответствовать пониманию Google вопроса, заданного пользователем.

• Качество контента. Подбирая ключевые слова, Google делает еще один шаг и проверяет качество контента на нужных страницах. Это помогает точнее расставлять приоритеты, глядя на авторитет данного сайта, а также рейтинг страницы и свежесть.

• Удобство использования страниц. Google отдает предпочтение сайтам, которые просты в использовании. Юзабилити охватывает все, от скорости до отзывчивости.

• Дополнительный контекст и настройки. Этот шаг настраивает поиск по прошлому взаимодействию с пользователем и определенным настройкам на платформе Google.

Как только весь этот объем информации будет качественно обработан, алгоритм Google предоставит на экран монитора результаты поиска, которые выглядят примерно так:

Давайте разберем страницу результатов поиска:

• Пользовательский запрос. Вопрос, заданный пользователем Google.

• Покупки в Google. Система рассматривает цель запроса как поиск товары для покупки. В результате из индекса извлекают продукты, соответствующие этому назначению, и отображают их первыми в результатах.

• Избранный фрагмент. Google представляет конкретную информацию из результатов поисковой выдачи, чтобы пользователю можно было легче просматривать, не покидая страницу результатов поиска.

• Результаты с самым высоким рейтингом. Первый сайт, указанный в результатах — это сайт, который, по мнению Google, наилучшим образом соответствует цели запроса пользователя. Лучший результат выбирается, основываясь на пяти факторах ранжирования, которые мы обсуждали ранее.

• Люди также ищут. данное поле является результатом Knowledge Graph. Оно дает пользователям быстрый способ переходить к другому поиску, который может лучше соответствовать их намерениям.

Такое подробное предоставление информации стало возможным только потому, что система разобрала на фрагменты и сохранила в памяти миллиарды страниц. Прежде чем пользователь выполнит поиск, Google проверил сайты, чтобы выяснить, каким ключевым словам и намерениям они лучше всего соответствуют.

Этот процесс позволяет в течение доли секунды заполнять страницы результатов при выполнении поиска и помогает Google выдавать нам наиболее релевантный контент.

Как самая популярная поисковая система в мире, Google более или менее сумел создать основу того, как остальные современные поисковики сегодня смотрят на контент.

Большинство маркетологов специально адаптируют свой контент для ранжирования в Google. С одной стороны, это правильное использование сил и бюджетов. С другой стороны, они потенциально упускают возможности на продвижения контента на других платформах.

Алгоритм поиска YouTube

Платформа YouTube является самым популярным видео-хостингом. Их поисковая система эффективно работает по правилам, аналогичным правилам Google, которому принадлежит платформа, и она фокусируется на ключевых словах и релевантности.

Алгоритм разбит на две отдельные функции — ранжирование видео и поиск соответствующих рекомендаций. Ниже мы разберем их более подробно.

Конкретные причины, по которым одни видео стоят выше других, как и все внутри Google, скрыты от посторонних глаз. Тем не менее, большинство экспертов склоняются к новизне видео и частоте загрузки канала как к наиболее важным факторам.

С точки зрения рекомендаций, в недавнем исследовательском документе были подробно перечислены основные приоритеты YouTube, такие как масштаб, свежесть и шум:

• Масштаб. 300 часов видео загружается на YouTube каждую минуту, и платформа насчитывает уже около 1,3 миллиарда пользователей. Это значительно усложняет анализ информации, поэтому теперь основной задачей алгоритма является просеивание огромного объема данных для каждого пользователя.

• Свежесть. YouTube пытается уравновесить свой выбор, основываясь на том, как давно было загружено видео, а также на поведении пользователей в прошлом.

• Шум. Из-за разного контента, который большинство пользователей смотрят на YT, искусственному интеллекту трудно в любой момент проанализировать, что является наиболее актуальным — анализ «шума» помогаем отсеять ненужное.

Эти и, возможно, другие факторы ранжирования приводят к формированию страниц с рекомендациями для каждой отдельной учетной записи пользователя. В результате мы наслаждаемся теми роликами, которые нам действительно интересны.

Это показывает, как «Подписки» влияют предоставление результатов поиска YouTube. Когда пользователь подписывается на определенный канал, это повышает его рейтинг в результатах поиска, рекомендациях и выборе, что смотреть дальше.

Остальные факторы ранжирования включают то, что пользователь смотрит, как долго он увлечен различными видео, и какова общая популярность видео на YouTube.

Разберем результаты поиска на примере:

Лучший результат — наиболее просматриваемое видео. Затем следует более новая загрузка с меньшим количеством просмотров, но с точным соответствием ключевых слов. Третье видео имеет больше просмотров, чем второе, но без точного соответствия ключевых слов — это также несколько более старая загрузка.

Исходя из этих результатов, мы видим, что популярность рождает популярность и является одним из важнейших факторов ранжирования YouTube — и даже выше, чем новизна видео с точным соответствием ключевых слов.

Чтобы получить хорошие рейтинги на YouTube, вам потребуется авторитетный профиль и постоянный темп загрузки. Их ориентация на популярность и силу профиля требует больше инвестиций в маркетинг — эти вложения быстро окупаются для брендов, которые концентрируют свои усилия на видеоплатформе.

Заключение

Понимание того, как работают поисковые системы, помогает создавать лучший контент.

Когда вы знаете, как те или иные платформы отображают свои результаты, легче создавать контент с потенциалом ранжирования. Это понимание также помогает вам диагностировать, почему другие типы контента оцениваются лучше или хуже, чем ваши собственные.

На основе этого мы собрали пять советов, которые помогут создать лучший контент:

• Понимание намерений пользователя. Каждая поисковая система предпочитает контент, который наиболее релевантный поисковому запросу пользователя.

• Соответствующие ключевые слова. Включение релевантных ключевых слов в контент поможет поисковым системам легче находить и индексировать страницы.

• Знание целевой аудитории. Сопоставление ключевых слов потребует глубокого понимания клиентов и того, как они думают о вашем продукте и вашем рынке.

• Новый контент помогает повысить рейтинг. Публикация нового контента или обновление существующего помогает повысить рейтинг сайта и авторитет бренда.

• Получение авторитетных ссылок. Чем больше людей ссылаются на страницу, тем лучше она будет выглядеть для поисковых систем. Это будет говорить о ее высокой ценности для пользователей и соответствии содержания.

В конце концов, все сводится к пониманию клиента. Вы не можете создавать контент, который занимает хорошие позиции, если не знаете, что нужно целевой аудитории.

Как работают поисковые системы. Анализ алгоритмов, фильтров, апдейтов.

Как работают поисковые системы. Сборник статей и практических материалов.

Поисковая система – это крупный аппаратно-программный комплекс, предназначенный для поиска в интернете и выдающий результаты по запросу пользователя в виде списка сайтов, релевантных запросу. Самые распространенные системы поиска: Google, Яндекс, Bing, Mail.Ru.

Развитие поисковых систем происходит на наших глазах. Ежедневно внедряются несколько новых алгоритмов, улучшающих релевантность выдачи поисковиков. Чтобы соответствовать требованиям качества поисковых машин, необходимо отслеживать все важнейшие изменения алгоритмов, фильтров и обновлений.

Статьи предназначены для практического использования при поисковой оптимизации продвигаемых сайтов. В них приведены практические советы, помогающие соответствовать высоким требованиям к качеству контента и сайта, помогающие занять лидирующие позиции в выдаче поисковых машин.

---

Дорогие друзья. Перед вами уже третье ежегодное исследование рынка поисковых систем. В этом году рассмотрены не только рынки России, Украины, Белоруссии и иных постсоветских стран, но и основные показатели 2020 года для зарубежных рынков.

Важность владения такой информацией трудно переоценить. Зная рейтинг поисковых систем, какую долю занимает тот или иной поисковик в пределах страны, можно сосредоточить свои усилия на продвижении под нужную поисковую систему.
Далее →

18
Июл
2020

26 мая в 18:00 по Москве на YouTube канале Михаила Шакина и в Facebook прошел круглый стол. Обсуждались вопросы Майского апдейта Google, причины падения трафика и возможности его восстановления, какие шаги стоит предпринять чтобы восстановить или улучшить ранжирование. Были затронуты проблемы E-A-T. В конце круглого стола отвечали на разные каверзные вопросы зрителей.

Приняли участие, собственно ваш покорный слуга, тов. DrMax, Максим Пивоваров. А заведовал столом — Михаил Шакин.

Смотрите полную версию круглого стола на канале Михаила Шакина или прямо здесь.

YMYL, EAT и майский Google Core Update

Презентация, на которую постоянно ссылались в  видео и которая периодически отказывалась показываться.

27
Май
2020

BERT — это нейронная сеть, созданная Google, доказавшая свои преимущества в ряде задач. С помощью BERT можно создавать программы для обработки естественного языка: анализировать текст, отвечать на произвольные вопросы, создавать переводчики и т.д. В октябре 2019 года компания добавила обученную нейронную сеть BERT в основное ядро алгоритмов Google для английского языка, а в декабре — еще для сотни языков, включая русский. Новое обновление, которое сам Google считает прорывом, получило ожидаемое название BERT. Обновление, по утверждению компании, затронуло 10% всех поисковых запросов.

Далее →

16
Янв
2020

Чуть более года назад вышло обновление ядра алгоритмов Google, получившее название Medic Update. Оно оказало огромное влияние на все сайты множества отраслей, таких как медицина, финансы, экономика, торговля и т.д. Примечательно, что за месяц до этого Google выпустил новое руководство по качеству сайтов и специально упомянул, что в дальнейшем EAT будет крайне важным для оценки и ранжирования значительной части проектов. Весной 2019 года Google выложил обновленную и переработанную версию руководства и весной — летом этого года внушительное число сайтов индустрии медицины, финансов, путешествий, бизнеса ощутили влияние новых обновлений алгоритмов на себе. Примечательно, что в сентябре вышло новое обновление QRG, а сразу после этого вышло обновление ядра алгоритмов Google. И многие сайты опять упали в Гугле. Самая свежая версия  QRG датируется 5 декабря 2019 года.
Далее →

26
Сен
2019

Статистика поисковых систем является важнейшим фактором, определяющим стратегию продвижения сайта. Действительно, важно знать,аудиторию пользователей поисковых систем, тем самым понимая, продвижение в какой поисковой системе (Яндекс, Google, Bing и т.д. ) более «выгодно», принесет больше посетителей, конвертаций, прибыли. Неверно выбранная стратегия продвижения может ощутимо повлиять на финансовые затраты при продвижении проектов.
Далее →

12
Сен
2019

В марте Google выпустил значительное обновление собственных алгоритмов ранжирования, оказавших сильное влияние на значительное число сайтов в Интернете. Многие сайты, пострадавшие от «медицинского» апдейта в августе 2018 года и проводившие работу по модернизации проектов, росту их качества, устранению ошибок — получили значительное улучшение в ранжировании и восстановили, а то и улучшили собственные позиции. Однако, по некоторым наблюдениям, мартовские обновления алгоритмов затронули не только медицинские сайты, но и интернет — проекты, которые можно считать YMYL.

Эта статья является второй частью сборника кейсов, по восстановлению сайтов после медицинского апдейта. Как и в первой части, я поделюсь некоторыми кейсами полного или частичного восстановления трафика и расскажу, что предпринималось каждым сайтом для этого.
Далее →

7
Апр
2019

Обновление алгоритмов Google, например августовский Medic Update, показало, как Google может легко разрушить любой бизнес. Оптимизаторы, годами работающие над медицинскими, финансовыми, ЗОЖ сайтами, сайтами связанными с электронной коммерцией, в одночасье остались без трафика, без посетителей, без денег. Реальный бизнес утерял большую часть новых клиентов, что привело к снижению прибыли и даже к закрытию ряда компаний.

Все это было вызвано тем, что сайты формально отвечали требованиям алгоритмов ранжирования Google, но не требованиям пользователей. На этих сайтах оптимизаторы показали все свое мастерство SEO оптимизации, при этом недостаточно вложились в их полезность для конечных пользователей.

Сегодня есть практические методы восстановления сайтов, потерявших трафик в результате медицинского обновления. Но все они потребуют от вас большой работы по совершенствованию самой сути вашего интернет проекта. Ну или можно просто ничего не делать, смирившись с утерей трафика и уповать на трафик с Яндекса. Но не забывайте, что через 2-3 года Яндекс повторяет за Google все нововведения и тогда Вы окончательно лишитесь трафика и разрушите свой бизнес полностью.

Далее →

29
Дек
2018

Сегодня многие оптимизаторы, владельцы сайта чувствуют перемены, которые стучаться в их двери. Например, растёт доля мобильных пользователей, вырастает доля использования Google в сравнении с иными  поисковыми системами и т.д. Но конкретных цифр у них на руках нет. Нигде не публикуются цифры рейтинга поисковых систем. И оптимизаторы по старинке пытаются оптимизировать под десктоп или Яндекс, хотя сегодня уже совершенно иная ситуация. Давайте посмотрим на конкретные срезы пользователей Рунета и выясним под какие поисковые системы и платформы следует оптимизировать сайт. Приступим.
Далее →

8
Июн
2018

Проводя многочисленные аудиты сайтов, за последний год стал отмечать все больше жалоб на то, что падает трафик с Google при практически неизменных позициях основных ключевых слов. Падение трафика за год около 50% — это очень серьезно для коммерческих или информационных сайтов. А такая ситуация отмечается на целом ряде мощных проектов. Народ недоумевает, хотя все довольно просто.

Далее →

28
Май
2018

Совсем скоро значительное число SEO оптимизаторов, долгое время продвигающие клиентские сайты, понесут заслуженную анальную кару от своих заказчиков. На наших глазах продолжается первый акт интереснейшего действия, который может отбросить далеко за ТОП мощнейшие сайты, десятилетиями просиживающими в ТОПе. И все это связано с постепенным разворачиванием Mobile-first индекса Google. Далее →

25
Апр
2018

Что такое поисковый сервер (поисковая система) и как он работает

Сложно представить современную жизнь без поисковиков – как бы иначе мы искали и находили информацию? Однажды придуманная технология навсегда упростила процесс работы с данными.

Сегодня я расскажу, что же представляет собой поисковый сервер, а также объясню принцип его работы.

Что такое поисковая машина

Мы знаем, что поисковый сервер (его еще называют поисковой системой или поисковой машиной) – это сайт, на котором можно быстро найти любую информацию, будь то текст, картинку, видео и многое другое. Но это только красивая обертка. На самом деле это сложный механизм, комплекс программ и алгоритмов, который обрабатывает сотни миллионов пользовательских запросов в минуту. И при этом конкретному человеку результат всегда выводится за доли секунды.

Архитектура большинства поисковых машин включает в себя, грубо говоря, три элемента:

• робота, который ищет в интернете данные по ключевому запросу;
• индексатор, который отвечает за сбор сведений о ресурсах в базу данных сервиса;
• графический интерфейс, через который осуществляется взаимодействие с пользователем.

Так работает поисковая машина, использующая специального робота. Но есть и другие виды поисковых машин:

1. Управляемая человеком (каталог сайтов). Вся информация в этой системе обновляется людьми. Преимущество системы состоит именно в качественности контента, а недостаток в том, что данные каталогов могут не соответствовать реальному положению дел. К числу таких каталогов относятся dmoz и Galaxy.
2. Гибридная система. В таких машинах поиском управляют и специальные роботы, и люди. В качестве примера можно привести Yahoo, Google и MSN.
3. Мета-система. Она не имеет собственной базы данных и предоставляет результаты сразу нескольких поисковиков, объединяя их по определенному признаку. Казалось бы, эти машины должны предоставлять пользователю более полную картину, но минус в том, что их механизмы не способны анализировать формы запросов или полностью переводить синтаксис. В итоге ссылки с оплатой за клик часто отображаются первыми. Яркие примеры таких систем – Skyscanner, Kayak.com и Excite.

Во всем мире наиболее популярен поисковый сервер Google (92%). В России лидирующую позицию занимает Яндекс (52,56%).

Как работает поисковый сервер

Вроде бы все просто – ввели слово или фразу по интересующей теме, запустили поиск, получаете результаты. Но за всем этим стоят тысячи алгоритмов – они анализируют миллиарды страниц, убирают лишнее и ранжируют сведения в списки по наиболее точному соответствию запросу.

Но кто сказал, что машина сразу же ищет в интернете информацию после введения запроса пользователем? Картина обстоит совсем иначе – поисковый сервер (сказать точнее, его индексатор) по определенным правилам обрабатывает содержимое сайтов в интернете и собирает по ним сведения в собственную базу данных. А уже потом, когда пользователь введет запрос, сервер обратится к этой самой базе и выведет из нее наиболее релевантную информацию. Отсюда и высокая скорость вывода результатов (пример на скриншоте ниже).

И вот ведь в чем вся соль – все, что делается для SEO-продвижения, направлено именно на то, чтобы «угодить» индексатору. Эта штука при выводе сайта учитывает кучу параметров, в числе которых:

• Наличие ключевых слов в названии сайта или заголовке страницы.
• Индекс цитирования анализируемого ресурса – количество ссылок на него в интернете. Чем их больше, тем выше вероятность отображения сайта в результатах выдачи.
• Частота повторения ключевых слов. Тут главное не переборщить – если ключевых фраз будет слишком много, страница будет отмечена как «заспамленная».
• Оформление, верстка. Учитывается даже то, как написан код.
• Возраст ресурса. Чем этот показатель выше, тем больше уровень «доверия» поисковика. Возрастные домены еще называют трастовыми.
• Тематика как определенной страницы, так и всего ресурса.
• Уникальность текста, изображений и прочих файлов.

Существуют, конечно, способы управления индексацией, например, теги noindex и nofollow закрывают определенное содержимое на сайте от роботов. Еще можно выставить запрет на индексацию всей страницы – для этого используется файл robots.txt с директивами Disallow, Allow, Crawl-delay, User-agent и т.д.

Со временем содержимое сайта может меняться, а индексатор не всегда успевает обрабатывать и вводить в свою базу данных эти самые изменения. Кроме того, на индексацию порой уходит несколько недель, иногда и больше – это зависит от алгоритма обработки информации на конкретном сервере. Соответственно, «свежие» страницы сразу в выдаче появляться не будут.

Поисковые сети борются с этим явлением разными способами. Например, новостные ленты анализируются чаще. В Яндекс.Вебмастере и Google Search Console есть специальный инструмент для переобхода страниц.

Теперь вернемся к пользователю – вот он ввел запрос и отправил его на обработку. Далее за дело берется система выдачи результатов. Она анализирует ключевые слова и ищет в базе данных подходящие страницы. Все параметры, которые я указала ранее, типа индекса цитирования и заспамленности, тоже учитываются при ранжировании.

Как искать информацию в поисковых системах

Суть работы машины – найти по конкретному запросу пользователя наиболее точные (релевантные) страницы. Но чтобы вышло именно то, что нужно, необходимо максимально правильно сформулировать ключевое слово. Можно воспользоваться несколькими такими словами, составлять из них фразы, также применять различные фильтры и инструменты в интерфейсе поисковика.

Как правильно формулировать запрос? Тут все неоднозначно. Вы можете в половине слов допустить ошибки, но поисковые системы, благодаря использованию современных языковых технологий, все равно распознают, что именно надо найти, и предоставят верные результаты. Еще нет разницы, в каком регистре вводится запрос – результаты во всех случаях будут идентичными.

Для поиска информации на русском языке идеально подойдут Яндекс и Google. А вот если потребуется найти что-то на иностранном языке, то с этим лучше справится Google.

Поисковый алгоритм – мозг поисковой системы

Поисковый алгоритм – математическая модель, которую поисковые системы используют для анализа интересов пользователей, поиска и анализа информации в интернете и в итоге предоставления пользователям информации, наиболее отвечающей их интересам.

В информационном поиске основной смысловой единицей пользовательского интереса (интента) является запрос, который пользователь вводит в поисковую систему. Информация, отвечающая интересу пользователя, называется релевантной. Применительно к поисковому запросу говорят, что информация релевантна запросу пользователя.

Но не только это определяет направленность работы поисковых алгоритмов. Чтобы точнее подстроиться под конкретного пользователя поисковая система учитывает и другие его параметры: регион (н-р, город), пол, возраст и проч. – всё это поисковые алгоритмы научились определять уже достаточно точно.

Таким образом, действие алгоритмов поисковых систем направлено на предоставление конкретному пользователю информации наиболее релевантной его запросу, а также прочим параметрам (регион и др. – см. выше).

Поисковая система представляет пользователю не один, а множество ответов на его запрос и выстраивает эти ответы в список – поисковую выдачу. Выше в списке находятся ответы, которые по «мнению» поисковой системы являются самыми релевантными. Такое выстраивание по релевантности (от большей к меньшей) называется поисковым ранжированием.

Вся информация в интернете расположена на страницах сайтов (веб-страницах). Соответственно, в своей выдаче поисковая система представляет пользователю список ссылок на веб-страницы, на которых пользователь получит ответ на свой запрос. Эти ссылки сопровождаются кратким описанием вебстраницы (сниппетом) и ранжируются, как уже сказано, по принципу релевантности. Это ранжирование и есть основная задача поисковых систем – их алгоритмов.

Сегодня поисковые алгоритмы – это уже не просто математические модели, это искусственный интеллект. В алгоритмы закладывается очень большой набор параметров (факторов ранжирования) для анализа интернет-информации, а также довольно сложная математическая модель, которая анализирует вебсайты по этим параметрам. По сути поисковый алгоритм – это не одна, а множество математических моделей (отдельных алгоритмов), работающих совместно и очень гибко – в зависимости от конкретной ситуации, т.е. конкретных параметров со стороны пользователи и со стороны анализируемой информации (сайтов).

Особенностью любого искусственного интеллекта, в т.ч. поисковых алгоритмов, является то, что изначально он не способен самостоятельно решать задачи – например, по подбору и ранжированию релевантной для пользователей информации. Искусственный интеллект, как и человека, необходимо обучить – заложить в него базу знаний и критерии, на основе которых он будет уже действовать самостоятельно, в т.ч. самообучаться (накапливать новые знания). Процесс обучения искусственного интеллекта называется машинным обучением. При настройке работы поисковых алгоритмов в качестве их учителей выступают асессоры – люди, вручную оценивающие сайты и на выходе формирующие и закладывающие соответствующие критерии в работу поисковых алгоритмов.

Механизм работы алгоритмов поисковых систем знают только их разработчики – и то не на все 100%, поскольку после обучения искусственный интеллект начинает принимать самостоятельные решения. То есть, если на определённую позицию своей выдачи поисковая система вывела какой-то сайт (веб-страницу), разработчики не смогут полностью понять, почему система это сделала – вывела именно этот сайт, а не какой-то другой похожий.

Эта проблема является общей в работе любого искусственного интеллекта и называется проблемой чёрного ящика (black-box problem). Её суть в том, что, в отличие от человека, искусственный интеллект не даёт обратной связи, не объясняет свои действия; и найти конкретные причины, по которым машина приняла определённое решение, бывает очень сложно, а часто – невозможно.

Как сказано, основным общим критерием ранжирования информации в поисковой выдаче является её релевантность запросам пользователей. Большинство информации описывается текстами. Соответственно, поисковый алгоритм ищет веб-страницы, тексты которых и дают ответ на запрос пользователя. Основными сигналами при этом служат ключи – слова и фразы в тексте, наиболее подходящие по смыслу под запрос пользователя. Но сегодня искусственный интеллект поисковых систем стал во многом способен распознавать смысл не только отдельных слов и фраз, а целых текстовых блоков. Это явление (технология) называется неявным семантическим индексированием – LSI (latent semantic indexing), когда система распознает общий контекст текстов.

Но одних текстов недостаточно для оценки качества сайта. Алгоритмы поисковых систем также учитывают дизайн, наличие изображений и видео, форматирование контента (разбивку на абзацы, логические блоки и т.д.), читабельность шрифта (н-р, размер), наличие сопутствующих пользовательских сервисов на сайте и т.д. Кроме этого система учитывает скорость загрузки сайта, его адаптированность под различные устройства (компьютеры и мобильные) и прочие технические параметры. Система также учитывает внешние ссылки, ведущие на веб-страницу и сайт в целом, что логически (но не всегда) характеризует авторитетность ресурса. Учитывается возраст страницы и сайта. Всё это – тоже факторы ранжирования, которых существует несколько сотен в поисковой системе.

Особое внимание поисковые алгоритмы уделяют реакции пользователей на информацию (контент) страницы и сайта. Это так называемые поведенческие факторы ранжирования (ПФ). Система отслеживает, читают ли пользователи тексты, смотрят ли видео, скачивают ли какие-то материалы, делают ли иные действия (регистрация, покупка, звонок в компанию и т.д.) – существует много ПФ. Если ПФ хорошие, т.е. реакция пользователей на контент страницы/сайта активная, алгоритм повышает данный ресурс в своей выдаче. Если ПФ не очень хорошие – понижает. ПФ являются самыми главными факторами ранжировании, поскольку именно они характеризуют, нравится ли реально вебсайт пользователям или нет.

В целом здесь приведено очень общее внешнее описание принципов действия поисковых алгоритмов. Как сказано, у каждой поисковой системы их не один, а несколько, и работают они в комплексе. Время от времени сотрудники поисковых систем совершенствуют свои алгоритмы – «выкатывают» их новые версии. Может происходить и текущая настройка («подкрутка») работы уже действующих алгоритмов.

Поисковые алгоритмы существуют не только в общеизвестных поисковых системах Яндекс, Google и Baidu (китайский поисковик). Все социальные площадки (соцсети) также используют внутри себя поиск, алгоритмы которого также по комплексу параметров анализируют аудиторию и контент внутри социальной площадки и предоставляют её пользователям релевантные результаты – наиболее интересный контент. Подобные же технологии реализуются и в других системах, где так или иначе присутствует информационный поиск. Практически во всех этих технологиях поисковые алгоритмы сегодня уже являются искусственным интеллектом, который становится всё более совершенным.

Компания SeoTemple несколько лет и успешно работает в области поисковой оптимизации (SEO) и в целом в области интернет-маркетинга, который также охватывает соцсети и прочие площадки. Мы накопили значительный опыт и знания, в т.ч. о работе поисковых алгоритмов. Поэтому наши специалисты заточат Ваш сайт и Ваш бизнес так, что он будет нравится поисковым система и приносить Вам прибыль.

Заказать поисковое продвижение

Урок#3 Как устроена и работает поисковая система Google

На этом уроке мы разберем такие вопросы:

1. В чем особенность этой поисковой системы?
2. Какие задачи решает?
3. Как устроена?
4. Какие алгоритмы поиска есть?
5. Что нужно сделать для эффективного SEO под Google?

Нет времени или желания читать материал? Посмотри короткое видео

1. В чем фишка Google?

1. Самая крупная в мире поисковая система
2. Входит в холдинг Alphabet, который объединяет все проекты Google
3. Разработчики создали алгоритм PageRank, который стал учитывать авторитетность и актуальность входящих ссылок на страницу как фактор ранжирования. Этот алгоритм описан здесь и тут (на английском языке)

2. В чем цель поиска?

Предоставить пользователю:

1. быстрый
2. релевантный (соответствующий его запросу)
3. актуальный

ответ на его поисковый запрос.

---

Даже при самом лучшей оптимизации сайта, без внешнего продвижения, Вам не удастся, получить топ-10,где есть конкуренты. Для этого нужно внешнее продвижение. Его можно реализовать множествами способами, но мы рекомендуем обратиться в компанию buylink.pro. У них своя база сайтов, для составления ссылочного профиля, уникального от конкурентов, такие сайты не найти в биржах. Они экономически более эффективны, при сопоставлении того что есть в биржах. За ними лучше следят, контролируют индексацию ваших размещений. У компании множество кейсов и отзывов, они профессионалы своего дела. Могут проконсультировать как достигнуть нужных Вам результатов. Советуем

---

При ответ может быть дан сразу в результатах поиска, не переходя на страницу сайта. Т.н. «быстрый ответ»

3. Как устроен Google?

Весь процесс работы Google можно описать 3 действия:

1. Сканирование
2. Индексирование
3. Ранжирование

Если описывать более подробно, то процесс поиска и ранжирования веб-страниц сайтов устроен следующим образом:

1. Собирается списка ссылок для сканирования
2. Список обрабатывается планировщиком
3. Происходит сканирование или краулинг запланированных страниц по списку ссылок
4. Рендеринг страниц — т.е. загрузка с сервера HTML-кода, который описывает страницу
5. Индексация элементов страницы индексатором — текстов, ссылок, мультимедиа
6. После этого страницы попадают в базу данных или индекс поисковой системы
7. И далее на страницу результатов поисковой выдачи

Вот как это выглядит схематически

4. Какие есть алгоритмы поиска Google?

1. Caffeine — индекс стал больше и быстрее обновляемым. Анализ сети Интернет происходит небольшими блоками, но обновление базы данных происходит постоянно
2. PageRank — учитывает количество и качество ссылок на страницу сайта как ранжирующий сигнал
3. Panda — качество веб-страниц стало учитываться еще сильнее, уникальность контента, его дополнительная ценность для пользователя
4. Page Layout — акцент на большом количестве рекламы в верхней части страницы, отсутствие агрессивной рекламы. Реклама не должна отвлекать пользователя от основного содержимого страницы
5. Pinguin — направлен на противодействие поисковому спаму. Акцент на качестве ссылочной массы ресурса
6. Pirate — направлен на противодействие нарушения авторским прав и интеллектуальной собственности
7. Payday Loan — направлен на противодействие с переоптимизированными страницами. Разнообразил поисковую выдачу.
8. Hummingbird (Колибри) — новый алгоритм поиска. Интеграция обновлений алгоритмов Панда и Пингвин. Поиск стал более «умнее», точнее, еще быстрее и впервые направлен на голосовой поиск и понимание скрытого смысла (анализируется намерение и контекст поиска). Анализируется большое количество данных для выявления лучшего ответа на запрос пользователя
9. Pigeon — акцент на результатах геозависимого поиска. Учитывается расстояние и местонахождения пользователя для выдачи более точных результатов
10. Mobilegeddon — акцент на мобильном поиске. Страницы, которые лучше оптимизированы для мобильных устройств, дается плюс в ранжировании
11. RankBrain — третий по важности сигнал ранжирования, после ссылок и контента. Направлен на точность поиска и быструю обработку новых и редких поисковых запросов. Использование искусственного интеллекта для постоянного улучшения. Включает до 10 000 дополнительных сигналов при анализе.
12. Mobile First-Index — мобильный индекс Google имеет преимущество перед десктопным-индексом. Еще больший акцент на адаптивности под мобильные устройства.

Эти материалы хорошо дополняют этот раздел

1. 7 важных алгоритмов ссылочного ранжирования с выводами для владельцев сайтов и SEO-специалистов. Вы узнаете много интересного и нового об алгоритмах поисковых систем, в том числе и Google
2. Мобильное SEO. Подробное руководство по оптимизации сайта под мобильные устройства самому. Вы узнаете нюансы оптимизации сайта под мобильные устройства в эпоху mobile-first индекса Google.

5. Какие действия нужны для эффективного SEO в Google?

1. Важным фактором ранжирования являются ссылки на сайт в целом и страницы-категории (разводящие страницы)
2. Лучше ранжирует объемный (раскрывающий тему) контент
3. Текстовая оптимизация страницы менее требовательна, нежели под Яндекс. Текст может быть более переспамленным и в целом страница переоптимизирована, нежели под Яндекс
4. Более эффективная внутренняя перелинковка
5. Учитывается атрибут alt при ранжировании изображений
6. Имеет больше поддерживаемых типов микроразметки. Лучше внедрять микроразметку в формате json
7. Сниппет в результатах поиска (фрагмент текста со страницы) чаще всего подтягивается из title и description
8. В title учитывается примерно 213 символов
9. Нет возможности задать город продвижения
10. Для регионального продвижения лучше делать подпапки по городам или отдельным странам, если продвигаетесь на весь мир. Подпапку на уровне страны можно добавить в Google Search Console и привязать регион
11. У Google нет фильтров, в отличие от Яндекса
12. Работают в плюс для продвижения как анкорные, так и безанкорные ссылки.
13. Есть собственный видеосервис YouTube, который является, по сути, отдельным поисковиком
14. Апдейты ПС происходят в режиме реального времени

Что Вы можете сказать?

1. Что запомнилось лучше всего?
2. Что было непонятно?

---

---

Мы публикуем множество полезных статей по SEO и интернет-маркетингу, подпишитесь на нашу рассылку

Как работают поисковые системы, как устроен поиск

Здравствуйте, уважаемые читатели сайта Uspei.com. В данной статье хочу поговорить с вами о том, как устроенны поисковые системы и как они работают.

Три основные задачи поисковых систем:

1. Привлечь пользователей;
2. Удержать пользователей;
3. Заработать на пользователях;

Основной задачей поисковой системы является предоставление быстрого ответа пользователю. То есть чем быстрее и качественней поисковой системой будет выдавать ответ пользователю, набравшему какой-то запрос, тем, соответственно, пользователь будет более удовлетворен. Что такое удовлетворенность пользователя читайте тут.

реклама

Но, чтобы он был удовлетворен поисковая машина должна брать какие-то данные с каких-то сайтов и выдавать их пользователям. Как она это делает я расскажу чуть-чуть позже. Итак, основная задача поисковых систем это привлечь пользователя, а для этого нужно быстро и качественно предоставить ответ на его запрос.

Следующая задача — это удержать пользователя в поисковой системе. Как вы знаете, существуют две лидирующие поисковые системы это Яндекс и Google, и они постоянно борются за свою аудиторию, то есть хотят перетянуть к себе больше людей.

И для этого они стараются максимизировать свою деятельность и вкладывают огромные средства в разработку современных алгоритмов, инвестируют в свои серверные кластеры, чтобы сохранять и обрабатывать данные еще больше и еще быстрее.

Таким образом, удерживая внимание пользователей на своих системах, они зарабатывают деньги. И так, 3 задачей поисковых систем является заработок на том, что они делают.

К оглавлению ↑

Индексация контента сайтов

Теперь поговорим о том, какие технологии применяют поисковые системы, и как они обращаются с вашими сайтами.

реклама

1. Вы создаете новый сайт и указывайте этот сайт Яндексу и Google. Со временем они индексируют страницы вашего сайта и выдают их в поиск. У поисковых систем есть огромные ресурсы для обработки и хранения данных с ваших сайтов. Они загружают весь текст, все содержимое вашего сайта и помещают это в базу. То есть первый этап — это загрузка страниц в базу.
2. Второй этап — это обработка содержимого контента вашего сайта. То есть на этапе обработки все содержимое страниц сайта отделяется от кода, от ненужных элементов и остается только текст и изображения, которые, собственно, поисковик уже начинает перерабатывать для выдачи в поиск.

Процесс обновления результатов поиска у Яндекса и Гугла немножко отличаются. У Яндекса это происходит периодически несколько раз в неделю, а у Гугла это происходит постоянно и динамически, так как у него несоизмеримые с Яндексом технические ресурсы и возможности.

У Яндекса есть некая предварительная база, которая собирает все данные и предварительные результаты поиска сохраняются в ней. После того, как алгоритмы протестируют, что эти результаты адекватные, они выпускают это уже на, так скажем, публичную страницу поиска.

Но бывает так, что и изменение выдачи и изменение результатов поиска бывают корявые и происходят нелепые вещи. Сейчас это происходит намного реже, раньше были очень интересные изменения в выдаче и в поиск попадал такой мусор, что вебмастера просто негодовали, как так, откуда это берется.

Сейчас Яндекс стал с этим аккуратнее, он сделал предварительную базу, из которой затем он обновляет результаты поиска. В google, я повторюсь, это происходит динамически, то есть он со временем все это перемешивает и таким образом происходит обновление результатов поиска.

реклама

Для примера динамичности выдачи Goggle я при публикации этой статьи добавил ссылку на нее в инструмент сканирования Google «Посмотреть как googlebot» и запросил индексацию. Буквально через несколько секунд (около 40) страница уже была в поисковой выдаче:

Если хотите более подробнее узнать о принципах индексации поисковыми роботами просторов интернета и как происходит сам процесс поиска информации, можете прочитать эту статью.

К оглавлению ↑

Ссылочные сигналы для поисковых систем

Итак, мы рассмотрели контентную часть, с которой работают поисковые системы. Кроме контентной части, поисковики также смотрят на сигналы, поступающие от ссылок, размещенных на других сайтах и из ссылок, которые ссылаются на вас из социальных сетей.

То есть, учитывая сигналы внешних ссылок на ваш сайт, поисковые системы будут понимать их и использовать при учете в своих алгоритмах для вычисления позиций, которых достоин ваш сайт.

Как известно, ранее оптимизаторы пользовались покупными ссылками и продвигали таким образом сайты в ТОП без каких-то либо дополнительных затрат на контент и прочих так сейчас нужных вещей.

реклама

Разработчики и программисты поисковых систем тоже не сидят на месте. Они наблюдают на какие факторы вебмастера и оптимизаторы пытаются влиять. Если эти факторы доминирующие, они их просто-напросто подкручивают так, чтобы они были, так скажем, не такими значимыми и стояли вровень на одной полке с предыдущими факторами, такими как контент, ссылки ну и так далее.

Итак, ссылки хотя их роль и эффект от их размещения стал значительно ниже чем раньше, но у google он еще сохраняется в большей степени чем у Яндекса.

Ссылки нужно использовать, особенно в конкурентных тематиках, без этого никак. И чем качественнее ссылки на ваш сайт, тем эффективнее будет продвижение вашего сайта.

Ознакомьтесь со статьей про «Ссылочные факторы ранжирования» и обязательно прочитайте статью про «Тактику ссылочного продвижения» вашего сайта.

реклама

Немаловажной составляющей ссылок являются сигналы социальных сетей, то есть ссылки из социальных сетей на ваш сайт. Это могут быть все социальные сети, которые присутствуют в русскоязычном интернете: facebook, одноклассники, google plus, twitter и так далее. Хоть у социальных сетей и поисковых систем между собой едет противостояние, но для нас, для владельцев сайтов, они делают общее дело.

То есть для сайта желательно создать дополнительный аккаунт или группу в социальных сетях, сделать там упоминание о вашем сайте, сделать ссылку, краткую аннотацию вашего сайта, зачем он нужен, кому он будет полезен. И после этого регулярно постить туда весь ваш контент.

Таким образом, поисковые системы получат дополнительный сигнал и припишут дополнительный бонус к продвижению вашего сайта. Более подробнее именно о продвижении сайта в поисковых системах читайте здесь.

И все же, основным действующим фактором продвижения сайта является контент. Полезные материалы, уникальные материалы, которыми делятся пользователи, которые их читают и задерживаются на сайте, добавляют в закладки.

Вот это сейчас самое эффективное, что можно делать для продвижения сайта.

Вот так вкратце, рассказал о принципе работы поисковых систем, какие они преследуют цели, и какие они используют технологии, и как на это можно повлиять, чтобы продвигать свой сайт в поиске.

реклама

Устройство поисковых систем | Продвижение бизнеса

• Поиск информации и поисковые машины
• Как работает поисковая машина
• Как устроен индексИндекс — база данных поисковой машины, так называемый инвертированный индекс, обычно напоминает индекс терминов, применяемый в учебниках и научных изданиях. Содержит словарь слов, встречающихся на интернет-страницах, с приписанными к ним списками адресов интернет-страниц, содержащих эти слова. Служит для поиска страниц с вхождениями заданных ключевых слов. Индекс пополняется поисковым роботом во время периодических обходов Интернета…. поисков
• Некоторые важные вопросы
• Качество поисковой машины
• Какая поисковая машина лучше
• Выводы

Большинство пользователей только в общих чертах представляют себе, как работает поисковая машина. Поэтому в данной главе мы рассматриваем основные понятия и устройство поисковых систем (они же поисковые машины, или поисковики). Если вы хорошо знаете, что такое индексИндекс — база данных поисковой машины, так называемый инвертированный индекс, обычно напоминает индекс терминов, применяемый в учебниках и научных изданиях. Содержит словарь слов, встречающихся на интернет-страницах, с приписанными к ним списками адресов интернет-страниц, содержащих эти слова. Служит для поиска страниц с вхождениями заданных ключевых слов. Индекс пополняется поисковым роботом во время периодических обходов Интернета…. и поисковый запрос, можете смело пропустить эту главу.

Главный элемент структуры современного Интернета – это поисковые машины, или поисковики. Разных поисковиков очень много, но среди них есть главные, наиболее известные и посещаемые. В мировом Интернете сейчас доминирует GoogleАмериканская транснациональная корпорация, реорганизованная 15 октября 2015 года в международный конгломерат Alphabet Inc., компания в составе холдинга инвестируюет в интернет-поиск, облачные вычисления и рекламные технологии. (произносится как гуглАмериканская транснациональная корпорация, реорганизованная 15 октября 2015 года в международный конгломерат Alphabet Inc., компания в составе холдинга инвестируюет в интернет-поиск, облачные вычисления и рекламные технологии.). В российском же, а точнее, в русскоязычном Интернете (Рунете), наиболее популярный поисковик – ЯндексЯша (Яшка). Жаргон. Имеется в виду поисковая система Яндекс.. В два раза (по количеству поисковых запросов в день) от ЯндексаЯша (Яшка). Жаргон. Имеется в виду поисковая система Яндекс. отстает “не русский” GoogleАмериканская транснациональная корпорация, реорганизованная 15 октября 2015 года в международный конгломерат Alphabet Inc., компания в составе холдинга инвестируюет в интернет-поиск, облачные вычисления и рекламные технологии., затем, совсем далеко от лидеров, следуют другие поисковики.

Почему именно поисковики заняли в Интернете самое важное место?

Потому что они упорядочивают хаос. Ведь сайты и их страницы “разбросаны в Интернете без какого-либо порядка, без первой или последней страницы, без способа перехода к следующей странице. “Читать” Интернет подряд – невозможно.

Ситуация тут такая же, как и с телефонными номерами. Телефонные номера рассыпаны в беспорядке в “пространстве” всех телефонных номеров. Есть, конечно, какие-то закономерности в распределении первых цифр номера (можно догадаться о районе города по номеру АТС или угадать оператора мобильной связи), но чтобы найти точный номер нужной организации, нужна записная книжка или какой-то другой список персон или организаций. Именно поэтому для номеров телефонов существуют справочники.

Аналогом телефонных справочников в Интернете сейчас служат поисковые машины, которые обеспечивают “прозрачность” Интернета для пользователей. Как же они это делают?

Поиск информации и поисковые машины.

За века, прошедшие со времени изобретения книг, человечество придумало только три основных способа поиска информации в большом количестве страниц. И каждый из нас встречался с ними еще до своего первого выхода в Интернет.

В Интернете используются эти же способы для поиска нужной страницы, просто они автоматизированы и выполняются специальными программами. Это – оглавление, ссылки и предметный указатель.

Оглавление.

Первый, самый естественный способ поиска нужной страницы – это оглавление книги. Читатель книги просматривает ее оглавление, находит нужную ему главу, видит номер нужной страницы и открывает ее, пролистав книгу до нужного номера страницы.

Этому способу поиска в Интернете соответствуют каталоги.

В них страницы (сайты Интернета) разложены по рубрикам, так что пользователь может, последовательно просматривая оглавление каталога, выбрать нужную рубрику, просмотреть сайты, относящиеся к ней, а затем перейти на нужный сайт или страницу.

Сначала именно каталоги были основным способом упорядочения Интернета (в середине 1990-х годов), но потом постепенно уступили первенство поисковикам – и на то было много причин. О существующих каталогах мы рассказывали в главе 1 “Предложение и поиск информации в Интернете”.

Ссылки.

Второй привычный нам способ поиска – это ссылки в тексте на нужные страницы книги, например “подробнее об этом см. на стр. 234”. Чтобы найти нужный текст, читатель книги должен открыть указанную страницу 234 и найти в ее тексте интересующий фрагмент.

В Интернете идею пересылки читателя со страницы на страницу превратили в автоматические ссылки на страницы, на которых пользователь просто щелкает мышкой. Ссылки в Интернете называются гипертекстовыми ссылками (“гипер” – потому, что ссылка уводит за пределы текста, на другую страницу).

Ссылки – это основной, “корневой” принцип Интернета, а ведь по сути это старая идея, просто автоматизированная текстовая ссылка.

Ссылки в каталогах и на обычных сайтах чаще всего расставляют вручную – вебмастер размечает специальными пометками фрагмент текста и присоединяет к нему адрес соответствующей страницы. Конечно, часто ссылки расставляются и автоматически при формировании веб-страницы.

Предметный указатель или индекс.

Третий, самый интересный для нас способ поиска нужной страницы – это алфавитный список важных терминов в конце книги, так называемый предметный указатель, или индекс. Вы наверняка встречали его в учебниках, а также в научных и технических изданиях. Вот как может выглядеть фрагмент типичного индексаИндекс — база данных поисковой машины, так называемый инвертированный индекс, обычно напоминает индекс терминов, применяемый в учебниках и научных изданиях. Содержит словарь слов, встречающихся на интернет-страницах, с приписанными к ним списками адресов интернет-страниц, содержащих эти слова. Служит для поиска страниц с вхождениями заданных ключевых слов. Индекс пополняется поисковым роботом во время периодических обходов Интернета….:

Тау Кита, 90
Третья космическая скорость, 255; 294
Туманность, 14; 29; 188
Андромеды, 29; 188
Тяжелые кварки, 347

В индексе перечислены важные для данной книги термины (ключевые словаКлючевые слова (ключевые запросы, ключевые поисковые запросы, ключевики) — словосочетания, по которым страницы сайта выводятся в ТОП поисковых систем. Полный список ключевых слов также может называться «семантическим ядром».) и номера страниц, на которых эти термины встречаются. Если читатель книги не может найти нужную страницу по оглавлению, он может предположить, какие слова могут встречаться на ней, и заглянуть в индекс.

Вот именно эта идея поиска нужной страницы по ключевым словам в индексе и стала основной идеей, на которой созданы интернет-поисковики. Естественно, составление и использование поискового индекса в Интернете автоматизированы.

Фактически, когда пользователь вводит поисковый запрос в поисковую машину, он обращается к предметному указателю Интернета, или индексу, – списку всех ключевых слов Интернета с указанием страниц, на каких они встречаются.

Каким же образом составляется и работает этот индекс Интернета?

Как работает поисковая машина.

Поисковая машина – это программа, которая составляет и хранит предметный указатель Интернета, а также находит в нем заданные ключевые словаКлючевые слова (ключевые запросы, ключевые поисковые запросы, ключевики) — словосочетания, по которым страницы сайта выводятся в ТОП поисковых систем. Полный список ключевых слов также может называться «семантическим ядром».. Для этого программа составляет так называемый индекс.

Вот из каких этапов состоит процесс составления индекса и поиска по нему.

Сбор адресов страниц в Интернете.

Чтобы составить индекс по страницам, сначала нужно решить, какие страницы нам нужны. Таким образом, нужно сначала составить список страниц – набор адресов тех страниц, по которым будет составляться индекс.

Поскольку сайты и их страницы беспорядочно разбросаны в Интернете,поисковой машине нужно с чего-то начать. Обычно разработчики поисковой машины загружают в нее какой-то начальный список адресов страниц сайтов(взяв его, например, из какого-нибудь каталога). Затем поисковая машина (ее составная часть  – так называемый поисковый роботПоисковый робот — программа, являющаяся составной частью поисковой машины, и предназначенная для обхода страниц Интернета с целью занесения их в базу поисковика. Порядок обхода страниц, частота визитов регулируется алгоритмами поисковой машины. Запретить индексацию всего сайта или его части можно с помощью файла robots.txt, содержащего инструкции для поисковых роботов….) собирает все гипертекстовые ссылки с каждой из заданных страниц на другие страницы и добавляет все найденные в ссылках адреса к своему первоначальному набору адресов.

Таким образом, первоначальный набор адресов страниц быстро увеличивается за счет ссылок на другие сайты и страницы и постепенно становится очень большим. Сейчас поисковики обходят и индексируют миллиарды веб-страниц.

Нужно обратить внимание на тот очевидный факт, что малоизвестные страницы, на которые никто не ссылается, имеют очень мало шансов автоматически попасть в индекс поисковой машины! Дело в том, что вручную разработчики поисковика не смогут добавить их в начальный список адресов (из-за того, что они мало известны), а по ссылкам поисковому роботу до них добраться трудно – из-за небольшого количества этих ссылок. Возможно, поисковый роботПоисковый робот — программа, являющаяся составной частью поисковой машины, и предназначенная для обхода страниц Интернета с целью занесения их в базу поисковика. Порядок обхода страниц, частота визитов регулируется алгоритмами поисковой машины. Запретить индексацию всего сайта или его части можно с помощью файла robots.txt, содержащего инструкции для поисковых роботов…. и доберется до них когда-нибудь, но далеко не в первую очередь.

А страница, на которую нет вообще ни одной ссылки, “своим ходом” не попадет в индекс поисковика никогда, если не предпринимать специальных усилий.

Конечно, владелец сайта может сам добавить новый адрес страницы в индекс поисковика вручную, используя средства регистрации новых веб-страниц, которые есть во всех поисковых машинах.

Выкачивание страниц.

Чтобы поработать с текстом страницы и составить из него индекс, поисковик должен получить этот текст.

Для этого поисковик должен выкачать этот текст, т.е. запросить у сайта заданную страницу. Выкачивает страницы специальный модуль поисковой машины, называемый поисковым “пауком” (по-английски crawler), или поисковым роботомПоисковый робот — программа, являющаяся составной частью поисковой машины, и предназначенная для обхода страниц Интернета с целью занесения их в базу поисковика. Порядок обхода страниц, частота визитов регулируется алгоритмами поисковой машины. Запретить индексацию всего сайта или его части можно с помощью файла robots.txt, содержащего инструкции для поисковых роботов….. Поисковый роботПоисковый робот — программа, являющаяся составной частью поисковой машины, и предназначенная для обхода страниц Интернета с целью занесения их в базу поисковика. Порядок обхода страниц, частота визитов регулируется алгоритмами поисковой машины. Запретить индексацию всего сайта или его части можно с помощью файла robots.txt, содержащего инструкции для поисковых роботов…. обходит заданный на предыдущем этапе список страниц, выкачивает гигантский объем сырого текстового материала, хранит его на дисках своих компьютеров и передает на индексированиеИндексирование — процесс обхода страниц сайта и помещения их в базу поисковой машины. Только после индексации страницы она может быть найдена в поисковой машине. индексному роботу.

Составление индекса или индексирование.

Чтобы составить индекс, индексный робот поисковой машины должен выбрать все слова из всех выкачанных текстов и расположить их в алфавитном порядке, вместе с номерами страниц и разной служебной информацией о каждой странице.

Для этого индексный робот перебирает все выкачанные страницы, нумерует их (а как же, ведь нужно как-то пометить страницы, чтобы потом находить их), удаляет из текста страниц всякий ненужный, не текстовый “мусор” (например, разметку языка HTMLHTML (HyperText Markup Language — язык гипертекстовой разметки). Набор специальных команд для оформления отображаемой на веб-странице информации: текста, изображений, таблиц, форм и т.д. ), затем извлекает из текста слова и помещает их в индекс. При этом слова снабжаются информацией о страницах, с которых они были взяты.

Как именно устроен индекс, мы подробно расскажем чуть позже.

Поиск.

Все описанные предыдущие шаги незаметны для пользователя поисковой машины, они выполняются в поисковой машине. А вот сам поиск – это и есть то, что видит пользователь. Пользователь вводит в поисковую строку свой запрос (слово или словосочетание), и поисковая машина – о, чудо! – выдает список ссылок на страницы в Интернете.

Как это работает? Когда пользователь вводит какое-нибудь слово в строку запроса поисковика, поисковая машина обращается к индексу, находит запись о заданном слове, извлекает все номера страниц, относящиеся к заданному слову, и показывает пользователю результаты поиска, т.е. список страниц.

В списке результатов обычно отображается заголовок страницы (так называемый титулТитул (тайтл) — содержимое тега title. Отображается в качестве заголовка окна браузера при демонстрации страницы и в качестве заголовка найденной страницы в результатах поиска.), дата создания страницы, ее адрес, цитата из текста страницы с подсвеченным искомым словом. Откуда взялась эта цитата, мы расскажем далее, в разделе, описывающем устройство индекса.

Если же в запросе было несколько слов, то поисковая машина сравнивает списки ссылок на страницы для каждого слова и выбирает только те страницы, номера которых повторяются, т.е. встречаются в каждом списке страниц для каждого слова. Таким образом, выбираются только те страницы, на которых одновременно встречаются все слова запроса.

Конечно, здесь изложена самая суть механизма поиска по индексу, его основной принцип, а в реальности разработчики поисковиков используют множество разнообразных ухищрений (о нескольких из них вы узнаете ниже).

Поисковик тем лучше, чем более “правильные” страницы он показывает пользователю в ответ на запрос. “Правильные” страницы называются релевантными (т.е. относящимися к делу, уместными).

Чтобы понимать, как поисковику удается находить наиболее релевантныеРелевантность (от английского relevant — относящийся к делу), обозначает соответствие найденного документа запросу, сделанному пользователем поисковой системы. страницы, нужно разобраться в том, как устроен индекс поисковой машины.

HTMLHTML (HyperText Markup Language — язык гипертекстовой разметки). Набор специальных команд для оформления отображаемой на веб-странице информации: текста, изображений, таблиц, форм и т.д. (HyperText Markup LanguageHTML (HyperText Markup Language — язык гипертекстовой разметки). Набор специальных команд для оформления отображаемой на веб-странице информации: текста, изображений, таблиц, форм и т.д. – язык гипертекстовой разметки ) – набор специальных команд для оформления отображаемой на веб-странице информации: текста, изображений, таблиц, форм и т.д.

Как работают поисковые системы: сканирование, индексирование и ранжирование | Руководство для начинающих по SEO

Для определения релевантности поисковые системы используют алгоритмы, процесс или формулу, с помощью которых хранимая информация извлекается и упорядочивается значимым образом. За прошедшие годы эти алгоритмы претерпели множество изменений, чтобы улучшить качество результатов поиска. Google, например, вносит корректировки в алгоритм каждый день — некоторые из этих обновлений представляют собой незначительные улучшения качества, тогда как другие представляют собой основные / широкие обновления алгоритма, развернутые для решения конкретной проблемы, например Penguin для борьбы со ссылочным спамом.Ознакомьтесь с нашей историей изменений алгоритмов Google, чтобы увидеть список подтвержденных и неподтвержденных обновлений Google, начиная с 2000 года.

Почему алгоритм меняется так часто? Google просто пытается держать нас в тонусе? Хотя Google не всегда раскрывает подробности того, почему они делают то, что они делают, мы знаем, что цель Google при корректировке алгоритмов — улучшить общее качество поиска. Вот почему в ответ на вопросы об обновлении алгоритма Google ответит примерно так: «Мы постоянно обновляем качественные обновления.»Это указывает на то, что если ваш сайт пострадал после корректировки алгоритма, сравните его с Рекомендациями по качеству Google или Рекомендациями по оценке качества поиска, оба очень красноречивы с точки зрения того, чего хотят поисковые системы.

Чего хотят поисковые системы?

Поисковые системы всегда хотели одного и того же: давать полезные ответы на вопросы поисковика в наиболее полезных форматах. Если это правда, то почему кажется, что поисковая оптимизация сейчас отличается от прошлых лет?

Подумайте об этом с точки зрения того, кто изучает новый язык.

Поначалу их понимание языка очень элементарное — «См. Spot Run». Со временем их понимание начинает углубляться, и они изучают семантику — значение языка и взаимосвязь между словами и фразами. В конце концов, при достаточной практике ученик знает язык достаточно хорошо, чтобы понимать даже нюансы, и может дать ответы даже на расплывчатые или неполные вопросы.

Когда поисковые системы только начинали изучать наш язык, было намного проще обмануть систему, используя уловки и тактики, которые на самом деле противоречили рекомендациям по обеспечению качества.Возьмем, к примеру, наполнение ключевыми словами. Если вы хотите ранжироваться по определенному ключевому слову, например «смешные анекдоты», вы можете несколько раз добавить на свою страницу слова «смешные анекдоты» и сделать его жирным в надежде повысить свой рейтинг по этому запросу:

Добро пожаловать до анекдотов ! Рассказываем самых смешных анекдотов в мире. Веселые анекдоты, , Веселые, , сумасшедшие. Ваш смешной анекдот ждет. Устройтесь поудобнее и прочитайте смешных анекдотов , потому что смешных анекдотов могут вас порадовать, а смешнее .Несколько смешных любимых смешных анекдотов .

Эта тактика создавала ужасный пользовательский опыт, и вместо того, чтобы смеяться над забавными шутками, людей засыпали раздражающим, трудно читаемым текстом. Возможно, это сработало в прошлом, но поисковые системы никогда этого не хотели.

Что такое Link Equity? он же «Link Juice» [2021 SEO]

Что такое ссылочный вес?

Равенство ссылок, когда-то в просторечии называемое «ссылочным весом», является фактором ранжирования поисковой системы, основанным на идее, что определенные ссылки передают ценность и авторитет от одной страницы к другой.Это значение зависит от ряда факторов, таких как авторитетность страницы, на которую указывает ссылка, актуальность, статус HTTP и т. Д. Ссылки, передающие ценность, являются одним из многих сигналов, которые Google и другие поисковые системы используют для определения рейтинга страницы в поисковой выдаче.

Соотношение ссылок и PageRank

Когда многие люди думают о соотношении ресурсов, они также думают о PageRank. PageRank был первым алгоритмическим расчетом Google, используемым для определения того, как сайт должен ранжироваться, в первую очередь на основе профиля обратной ссылки этого сайта.PageRank больше не является основным фактором, определяющим рейтинг сайта; Сейчас это только один из сотен факторов ранжирования, на которые обращает внимание Google, и его важность в наши дни сильно приуменьшена.

В некоторой степени ссылочный вес можно понять как то, как поток рейтинга страницы передается от одной ссылки к другой. Если на очень авторитетной странице есть ссылка на статью меньшего сайта, это можно интерпретировать как вотум доверия для связанной страницы, передавая определенное количество полномочий через эту ссылку.

Возможно, вы слышали об устаревшей тактике SEO, известной как «формирование PageRank», при которой владелец сайта стратегически выбирает, по каким ссылкам следует переходить, а по каким ссылкам запрещать переход, чтобы контролировать поток полномочий от страницы к странице. Хотя это все еще может быть в некоторой степени эффективным при правильных условиях, неправильное использование nofollows — это стратегия, которую мы никогда не рекомендовали бы. Вместо этого сосредоточьтесь на улучшении своей информационной архитектуры и реализации надежной стратегии ранжирования.

Как определяется ссылочный капитал?

Как внутренние, так и внешние ссылки могут передавать ссылочный вес.Когда дело доходит до определения того, будет ли ссылка передавать эквити, необходимо учитывать несколько важных моментов:

• Уместна ли ссылка? Если вы переходите по ссылке на страницу о ремонте автомобиля из статьи о том, как испечь секретный рецепт бабушкиных маффинов, ссылка, вероятно, не имеет отношения к делу — и Google узнает. Нерелевантные ссылки могут не иметь большого авторитета или ценности.

• Является ли ссылающийся сайт авторитетным? Ссылки с надежных сайтов, которые приобрели свой авторитет, как правило, передают больше ссылочного капитала, чем ссылки с совершенно новых сайтов, которые только начинаются.

• Переходили ли по ссылке? Ссылки, по которым не отслеживаются, сигнализируют поисковым роботам, что их следует игнорировать. У них не будет ссылочного капитала. Однако то, что ссылка не отслеживается, не обязательно означает, что она не имеет другого значения.

• Можно ли сканировать ссылку? Если страница блокирует поисковые роботы через файл robots.txt, поисковому роботу предлагается проигнорировать его, и ссылка не будет передавать значение.

• Где находится ссылка на странице? Ссылки, скрытые в нижнем колонтитуле страницы или на боковой панели, не имеют такого же веса, как ссылки в теле содержимого страницы (за некоторыми исключениями).Архитектура сайта помогает Google определить, какой контент наиболее полезен для посетителей, поэтому рассмотрите его логически: каковы намерения посетителя при посещении страницы и как ссылки помогают им достичь этого?

• Сколько ссылок находится на странице? Если ссылка на ваш сайт одна из многих сотен или тысяч, она может быть не такой ценной, хотя не существует четкого правила об оптимальном количестве ссылок на странице. Однако, помимо простой ссылочной массы, если ваша ссылка потеряна среди многих других, маловероятно, что пользователь найдет ее и нажмет на нее, что еще больше обесценит ее.

• Каков HTTP-статус связанной страницы? Страницы, которые разрешаются как 200-е или постоянные 301 редиректы, сохранят свой ссылочный вес. Хотя Google заявил, что все перенаправления, включая временные 302, теперь проходят через PageRank, разумно отнестись к этому совету с недоверием. Другие поисковые системы могут не относиться к ним так же, и есть факторы помимо ссылок, которые следует учитывать при планировании стратегии ранжирования.

---

Продолжайте учиться

Положите свои навыки на работу

Оцените влияние сайта с помощью проводника ссылок

Link Explorer — это инструмент для анализа популярности и обратных ссылок, который позволяет вам исследовать и сравнивать любой сайт в Интернете.

Как работают поисковые системы?

В этом руководстве мы познакомим вас с принципами работы поисковых систем. Это будет охватывать процессы сканирования и индексации , а также такие концепции, как бюджет сканирования и PageRank .

Поисковые системы работают, сканируя сотни миллиардов страниц с помощью собственных поисковых роботов. Эти веб-сканеры обычно называются роботами поисковых систем или пауками .Поисковая система перемещается по сети, загружая веб-страницы и переходя по ссылкам на этих страницах, чтобы обнаруживать новые страницы, которые стали доступными.

Индекс поисковой системы

веб-страниц, обнаруженных поисковой системой, добавляются в структуру данных, называемую индексом.

Индекс включает все обнаруженные URL-адреса вместе с рядом соответствующих ключевых сигналов о содержимом каждого URL-адреса, например:

• ключевых слов обнаружил в содержании страницы — какие темы охватывает страница?
• Тип содержимого , которое сканируется (с использованием микроданных, называемых схемой) — что включено на страницу?
• Свежесть страницы — как недавно она обновлялась?
• Предыдущее взаимодействие с пользователем страницы и / или домена — как люди взаимодействуют со страницей?

Какова цель алгоритма поисковой машины?

Цель алгоритма поисковой машины — предоставить релевантный набор высококачественных результатов поиска, которые позволят выполнить запрос / вопрос пользователя как можно быстрее.

Затем пользователь выбирает вариант из списка результатов поиска, и это действие, наряду с последующими действиями, затем учитывается в будущих знаниях, которые могут повлиять на ранжирование в поисковых системах в будущем.

Что происходит при выполнении поиска?

Когда поисковый запрос вводится пользователем в поисковую систему, все страницы, которые считаются релевантными, идентифицируются из индекса, и используется алгоритм для иерархического ранжирования соответствующих страниц в наборе результатов.

Алгоритмы, используемые для ранжирования наиболее релевантных результатов, различаются для каждой поисковой системы. Например, страница, которая имеет высокий рейтинг по поисковому запросу в Google, может не иметь высокого рейтинга по тому же запросу в Bing.

Помимо поискового запроса, поисковые системы используют другие релевантные данные для выдачи результатов, в том числе:

Почему страница может не индексироваться?

Существует ряд обстоятельств, при которых URL-адрес не будет проиндексирован поисковой системой. Это может быть связано с:

Далее: сканирование в поисковых системах

Автор

Сэм Марсден

Сэм Марсден — менеджер по поисковой оптимизации и контенту DeepCrawl.Сэм регулярно выступает на маркетинговых конференциях, таких как SMX и BrightonSEO, и является автором отраслевых публикаций, таких как Search Engine Journal и State of Digital.

Как работает поиск Google для начинающих

Добавление в результаты поиска Google бесплатное и простое; вам даже не нужно отправлять сайт в Google.

Google — это полностью автоматизированная поисковая система, использующая программное обеспечение, известное как «веб-сканеры», регулярно исследуйте Интернет, чтобы найти сайты для добавления в наш индекс.Фактически, огромное большинство сайтов, перечисленных в наших результатах, не отправляются для включения вручную, но обнаруживается и добавляется автоматически, когда наши поисковые роботы просматривают Интернет.

Поиск в Google состоит из трех этапов:

• Сканирование: Google выполняет поиск в Интернете с помощью автоматизированных программ, называемых сканеры , ищущие новые или обновленные страницы. Google хранит эту страницу адреса (или URL страниц ) в большом списке для просмотра позже.Мы находим страницы по многим разные методы, но основной метод — переход по ссылкам со страниц, которые мы уже знаем о.
• Индексирование: Google посещает страницы, о которых узнал сканирование и пытается проанализировать, о чем каждая страница. Google анализирует контент, изображения и видеофайлы на странице, пытаясь понять, о чем страница. Этот информация хранится в индексе Google , огромной базе данных, которая хранится на многих компьютеры.
• Обслуживание результатов поиска: Когда пользователь выполняет поиск в Google, Google пытается определить результаты самого высокого качества. «Лучшие» результаты зависят от многих факторов, включая такие вещи, как местоположение пользователя, язык, устройство (настольный компьютер или телефон) и предыдущие запросы. Например, поиск по запросу «мастерские по ремонту велосипедов» покажет разные отвечает пользователю в Париже, чем пользователю в Гонконге. Google не принимает Плата за повышение рейтинга страниц, и ранжирование выполняется алгоритмически.

Если интересно, вот немного еще немного о том, как работает поиск.

Как работают поисковые системы? Руководство для начинающих

Прежде чем мы перейдем к техническим вопросам, давайте сначала удостоверимся, что мы понимаем, что такое поисковые системы на самом деле, почему они существуют и почему все это имеет значение.

Что такое поисковые системы?

Поисковые системы — это инструменты, которые находят и оценивают веб-контент, соответствующий поисковому запросу пользователя.

Каждая поисковая система состоит из двух основных частей:

1. Индекс поиска. Электронная библиотека информации о веб-страницах.
2. Алгоритмы поиска. Компьютерная программа (ы), которая ранжирует результаты сопоставления из поискового индекса.

Примеры популярных поисковых систем: Google, Bing и DuckDuckGo.

Какова цель поисковых систем?

Каждая поисковая система стремится предоставлять пользователям самые лучшие и наиболее релевантные результаты.Именно так они получают или удерживают долю рынка — по крайней мере, теоретически.

Как поисковые системы зарабатывают деньги?

Поисковые системы имеют два типа результатов поиска:

• Обычные результаты из поискового индекса. Вы не можете платить, чтобы быть здесь.
• Выплачено результатов от рекламодателей. Вы можете заплатить, чтобы быть здесь.

Каждый раз, когда кто-то нажимает на платный результат поиска, рекламодатель платит поисковой системе. Это называется рекламой с оплатой за клик (PPC).

Вот почему доля рынка имеет значение. Больше пользователей означает больше кликов по рекламе и больший доход.

Почему вам должно быть важно, как работают поисковые системы?

Понимание того, как поисковые системы находят, индексируют и ранжируют контент, поможет вам повысить рейтинг вашего сайта в обычных результатах поиска по релевантным и популярным ключевым словам.

Если вы сможете занять высокие позиции по этим запросам, вы получите больше кликов и органический трафик для своего контента.

Какая поисковая система самая популярная?

Google.Доля рынка составляет 92%.

Google — это поисковая система, о которой заботится большинство специалистов по SEO и владельцев веб-сайтов, потому что она способна направить больше трафика, чем любая другая поисковая система.

Большинство известных поисковых систем, таких как Google и Bing, содержат триллионы страниц в своих поисковых индексах. Итак, прежде чем мы поговорим об алгоритмах ранжирования, давайте подробнее рассмотрим механизмы, используемые для создания и поддержки веб-индекса.

Вот основной процесс, любезно предоставленный Google:

Давайте разберем его, шаг за шагом:

1. URL-адреса
2. Сканирование
3. Обработка и рендеринг
4. Индексирование

Примечание.

Приведенный ниже процесс применяется конкретно к Google, но, вероятно, очень похож на другие поисковые системы, такие как Bing. Существуют и другие типы поисковых систем, такие как Amazon, YouTube и Wikipedia, которые показывают результаты только со своих веб-сайтов.

Шаг 1. URL-адреса

Все начинается с известного списка URL-адресов. Google обнаруживает их с помощью различных процессов, но наиболее распространенными из них являются:

По обратным ссылкам

У Google уже есть индекс, содержащий триллионы веб-страниц.Если кто-то добавит ссылку на одну из ваших страниц с одной из этих веб-страниц, он сможет найти ее оттуда.

Вы можете бесплатно просматривать обратные ссылки своего веб-сайта с помощью Site Explorer с Инструментами для веб-мастеров Ahrefs.

1. Зарегистрируйтесь для получения бесплатной учетной записи Ahrefs Webmaster Tools
2. Вставьте свой домен в Site Explorer
3. Перейдите к отчету Обратные ссылки .

Наш сканер является вторым по активности после Google, поэтому вы должны увидеть здесь достаточно полное представление о своих обратных ссылках.

Из карт сайта

В файлах Sitemap перечислены все важные страницы вашего сайта. Если вы отправите карту сайта в Google, это может помочь им быстрее обнаружить ваш сайт.

Из представленных URL-адресов

Google также позволяет отправлять отдельные URL-адреса через консоль поиска Google.

Шаг 2. Сканирование

Сканирование — это когда компьютерный бот, называемый пауком (например, робот Google), посещает и загружает обнаруженные страницы.

Важно отметить, что Google не всегда сканирует страницы в том порядке, в котором они их обнаруживают.

Google ставит URL в очередь для сканирования на основе нескольких факторов, в том числе:

• PageRank URL
• как часто изменяется URL
• независимо от того, новый он или нет

Это важно, потому что это означает, что поисковые системы могут сканировать и индексировать одни страницы раньше других. Если у вас большой веб-сайт, поисковым системам может потребоваться некоторое время, чтобы полностью его просканировать.

Шаг 3. Обработка

Обработка — это то, где Google работает, чтобы понять и извлечь ключевую информацию из просканированных страниц.Никто, кроме Google, не знает всех подробностей об этом процессе, но важными частями для нашего понимания являются извлечение ссылок и сохранение контента для индексации.

Google должен обрабатывать страницы, чтобы полностью их обработать. Именно здесь Google запускает код страницы, чтобы понять, как она выглядит для пользователей.

При этом некоторая обработка происходит до и после рендеринга, как вы можете видеть на диаграмме.

Шаг 4. Индексирование

При индексировании обработанная информация с просканированных страниц добавляется в большую базу данных, называемую поисковым индексом.По сути, это цифровая библиотека из триллионов веб-страниц, с которых поступают результаты поиска Google.

Это важный момент. Когда вы вводите запрос в поисковую систему, вы не выполняете поиск соответствующих результатов напрямую в Интернете. Вы выполняете поиск в индексе веб-страниц поисковой системы. Если веб-страница отсутствует в поисковом индексе, пользователи поисковых систем не найдут ее. Вот почему так важно проиндексировать ваш сайт в основных поисковых системах, таких как Google и Bing.

Обнаружение, сканирование и индексирование контента — это лишь первая часть головоломки.Поисковым системам также необходим способ ранжирования результатов соответствия, когда пользователь выполняет поиск. Это работа алгоритмов поисковых систем.

Каждая поисковая система имеет уникальные алгоритмы ранжирования веб-страниц. Но поскольку Google является наиболее широко используемой поисковой системой (по крайней мере, в западном мире), именно на ней мы сосредоточимся в оставшейся части этого руководства.

У Google более 200 факторов ранжирования.

Никто не знает, каковы все эти факторы ранжирования, но мы знаем о ключевых.

Давайте обсудим некоторые из них.

• Обратные ссылки
• Актуальность
• Свежесть
• Актуальный авторитет
• Скорость страницы
• Мобильность

Обратные ссылки

Обратные ссылки — один из наиболее важных факторов ранжирования Google.

Андрей Липатцев, старший специалист по стратегии поиска в Google, подтвердил это во время веб-семинара в 2016 году. Когда его спросили о двух наиболее важных факторах ранжирования , он ответил просто: контента и ссылок.

Совершенно верно. Я могу сказать вам, каковы они [два главных фактора ранжирования]. Это доволен. И это ссылки, указывающие на ваш сайт.

Ссылки были важным фактором ранжирования в Google с 1997 года, когда они представили PageRank, формулу для оценки ценности веб-страницы на основе количества и качества обратных ссылок, указывающих на нее.

Когда мы проанализировали более миллиарда страниц, мы обнаружили четкую корреляцию между количеством веб-сайтов, ссылающихся на страницу, и объемом органического трафика, который она получает от Google.

Однако дело не только в количестве, потому что не все обратные ссылки одинаковы. Страница с несколькими обратными ссылками высокого качества вполне может превзойти страницу с большим количеством обратных ссылок более низкого качества.

Есть шесть ключевых атрибутов хорошей обратной ссылки.

Давайте подробнее рассмотрим, возможно, два самых важных: авторитет и релевантность .

Авторитет ссылок

Обратные ссылки с авторитетных страниц и веб-сайтов обычно имеют наибольшее влияние на рейтинг.

Как вы определяете власть? В контексте SEO авторитетные страницы и веб-сайты — это те, которые имеют много обратных ссылок или «голосов».

В Ahrefs у нас есть две метрики для оценки относительного авторитета веб-сайтов и страниц:

• Рейтинг домена (DR) : относительный авторитет веб-сайта по шкале от 0 до 100.
• Рейтинг URL (UR) : относительный авторитет страницы по шкале от 0 до 100.

Вы можете проверить авторитетность любого веб-сайта или веб-страницы в Site Explorer Ahrefs.

Релевантность ссылки

Ссылки с соответствующих веб-сайтов и веб-страниц обычно являются наиболее ценными.

Google говорит о релевантности в контексте ранжирования полезных страниц на своей странице о том, как работает поиск.

Если другие известные веб-сайты по теме ссылаются на эту страницу, это хороший признак высокого качества информации.

Если вам интересно, почему важна релевантность, подумайте, как все работает в реальном мире. При поиске лучшего итальянского ресторана вы, вероятно, доверились бы совету друга-шеф-повара, а не совету друга-ветеринара.Но если бы вы искали рекомендации по кормлению кошек, было бы наоборот.

Релевантность

У Google есть много способов определения релевантности страницы.

На самом базовом уровне он ищет страницы, содержащие те же ключевые слова, что и поисковый запрос.

Но релевантность выходит далеко за рамки соответствия ключевым словам.

Google также использует данные взаимодействия, чтобы оценить, соответствуют ли результаты поиска запросам. Другими словами, находят ли пользователи эту страницу полезной?

Отчасти поэтому все лучшие результаты по запросу «яблоко» относятся к технологической компании, а не к фруктам.Google знает из данных о взаимодействии, что большинство поисковиков ищут информацию о первом, а не втором.

Однако данные о взаимодействии — далеко не единственный способ, которым Google это делает.

Google инвестировал во множество технологий, чтобы помочь понять отношения между такими сущностями, как люди, места и предметы. Сеть знаний — одна из таких технологий, которая, по сути, представляет собой огромную базу знаний об объектах и ​​отношениях между ними.

И яблоко (фрукты), и Apple (технологическая компания) являются объектами в Сети знаний.

Google использует отношения между объектами, чтобы лучше понять релевантность страницы. Соответствующий результат для слова «яблоко», в котором говорится об апельсинах и бананах, явно относится к фруктам. Но тот, в котором говорится об iPhone, iPad и iOS, явно относится к технологической компании.

Отчасти благодаря сети знаний Google может выйти за рамки сопоставления ключевых слов.

Иногда вы можете даже увидеть результаты поиска, в которых не упоминаются, казалось бы, важные ключевые слова из запроса.Например, возьмем второй результат для «приложение для бумаги для яблока», в котором нигде на странице не упоминается слово «яблоко».

Google может сказать, что это релевантный результат, отчасти потому, что он упоминает такие объекты, как iPhone и iPad, которые, несомненно, тесно связаны с Apple в сети знаний.

Примечание.

Данные взаимодействия и сеть знаний — не единственные технологии, которые Google использует для определения релевантности страницы поисковому запросу. Большая часть работы выполняется с использованием технологий, позволяющих понять смысл и цель самого запроса, таких как BERT и RankBrain.Google даже иногда незаметно переписывает запросы, чтобы предоставлять более релевантные результаты.

Свежесть

Свежесть — это фактор ранжирования, зависящий от запроса, что означает, что для одних результатов он имеет большее значение, чем для других.

Для такого запроса, как «что нового на Amazon Prime», важна свежесть, потому что поисковики хотят знать о недавно добавленных фильмах и телешоу. Вероятно, поэтому Google ставит недавно опубликованные или обновленные результаты поиска выше.

Для таких запросов, как «лучшие наушники», свежесть имеет значение, но не так много.Технологии наушников развиваются быстро, поэтому результаты 2015 года не принесут много пользы, но сообщение, опубликованное 2–3 месяца назад, по-прежнему будет полезно.

Google знает об этом и показывает результаты, которые были обновлены или опубликованы за последние несколько месяцев.

Есть также запросы, по которым актуальность результатов в основном не имеет значения, например, «как связать ничью». В этом процессе ничего не изменилось за десятилетия, поэтому не имеет значения, были ли результаты поиска за вчерашний день или за 1998 год. Google знает это и не сомневается в ранжировании сообщений, опубликованных много лет назад.

Актуальный авторитет

Google хочет ранжировать контент с веб-сайтов, авторитетных по данной теме. Это означает, что Google может рассматривать веб-сайт как хороший источник результатов для запросов по одной теме, но не по другой.

Google говорит об этом в одном из своих патентов:

Считает ли поисковая система сайт авторитетным, обычно зависит от запроса. […] Поисковая система может рассматривать сайт Центров по контролю за заболеваниями, «cdc.gov», как авторитетный сайт для запроса «CDC против укусов комаров», но не может считать тот же сайт авторитетным для запрос «рекомендации ресторана».

Хотя это лишь один из многих патентов, поданных Google, мы видим доказательства того, что «актуальный авторитет» имеет значение в результатах поиска по многим запросам.

Достаточно взглянуть на результаты по запросу «вакуумный упаковщик sous vide».

Здесь мы видим два небольших нишевых сайта о приготовлении пищи в су-видео, которые превосходят New York Times.

Хотя здесь, несомненно, играют роль и другие факторы, кажется вероятным, что «актуальный авторитет» является одной из причин, по которым эти сайты занимают такое место.

Вероятно, поэтому руководство Google для начинающих по поисковой оптимизации говорит владельцам веб-сайтов:

Создавать репутацию эксперта и надежности в определенной области.

Скорость страницы

Никто не любит ждать загрузки страниц, и Google это знает. Вот почему они сделали скорость страницы фактором ранжирования для поиска на компьютере в 2010 году и для мобильного поиска в 2018 году.

Многие люди зацикливаются на скорости страницы, поэтому стоит отметить, что ваши страницы не должны быть молниеносными, чтобы классифицировать.Google заявляет, что скорость загрузки страниц является проблемой только для страниц, которые «обеспечивают самую медленную работу пользователей».

Другими словами, сокращение на несколько миллисекунд и без того быстрого сайта вряд ли повысит рейтинг. Просто он должен быть достаточно быстрым, чтобы не повлиять на пользователей.

Вы можете проверить скорость любой веб-страницы в PageSpeed ​​Insights, который также генерирует предложения по ускорению страницы.

PageSpeed ​​Insights также показывает, как выглядит ваша страница, когда дело доходит до Core Web Vitals.

Core Web Vitals состоят из трех показателей, которые оценивают производительность загрузки, интерактивность и визуальную стабильность ваших веб-страниц. Google подтвердил, что Core Web Vitals будет сигналом ранжирования с июня 2021 года.

Вы можете увидеть эффективность всех страниц своего веб-сайта с помощью отчета Core Web Vitals в консоли поиска Google.

Если многие URL-адреса работают плохо или нуждаются в улучшении, обратитесь к разработчику.

Оптимизация для мобильных устройств

65% поисковых запросов в Google выполняется на мобильных устройствах.Вот почему с 2015 года удобство для мобильных устройств является важным фактором для мобильных устройств.

С 2019 года удобство для мобильных устройств также является фактором ранжирования для поиска с компьютеров благодаря переходу Google на индексацию с ориентацией на мобильные устройства. Это означает, что Google «преимущественно использует мобильную версию контента для индексации и ранжирования» на всех устройствах.

Другими словами, отсутствие поддержки мобильных устройств может повлиять на ранжирование — везде.

Вы можете проверить мобильность любой веб-страницы с помощью инструмента Google Mobile-Friendly Test или в отчете Mobile Usability в Google Search Console.

Поисковые системы понимают, что разные результаты нравятся разным людям. Вот почему они адаптируют свои результаты для каждого пользователя.

Если вы когда-либо искали одно и то же на нескольких устройствах или в разных браузерах, вы, вероятно, заметили эффект этой персонализации. Результаты часто отображаются в разных положениях в зависимости от различных факторов.

Именно из-за этой персонализации, если вы занимаетесь поисковой оптимизацией, вам лучше использовать специальный инструмент, например Rank Tracker от Ahrefs, для отслеживания позиций в рейтинге.Заявленные позиции в этих инструментах, вероятно, будут ближе к истине, потому что они просматривают Интернет таким образом, что не дают поисковым системам много полезной информации для персонализации.

Как поисковые системы персонализируют результаты?

Google заявляет, что «такая информация, как ваше местоположение, история прошлого поиска и настройки поиска, — все это помогает [нам] адаптировать ваши результаты к тому, что является наиболее полезным и актуальным для вас в данный момент».

Давайте подробнее рассмотрим эти три вещи.

1. Местоположение

Если вы ищете что-то вроде «итальянский ресторан», все результаты в пакете карт — это местные рестораны.

Google делает это, потому что вряд ли вы полетите полмира на обед.

Но Google также использует ваше местоположение для персонализации результатов поиска за пределами пакета карт. Если мы прокрутим наш поиск по запросу «итальянский ресторан», то даже результаты TripAdvisor будут персонализированными, и мы увидим, что многие из лучших результатов являются веб-сайтами местных ресторанов.

Аналогичная история с запросом типа «купить дом». Google возвращает страницы с местными данными вместо национальных, потому что вы, вероятно, не хотите переезжать в другую страну.

Ваше местоположение настолько сильно влияет на результаты локальных запросов, что при поиске одного и того же объекта из двух разных мест практически не происходит совпадения.

2. Язык

Google знает, что нет смысла показывать результаты на английском испанским пользователям. Вот почему Google оценивает английскую версию нашего руководства по поисковой оптимизации YouTube для поиска на английском языке и испанскую версию для поиска на испанском языке.

Однако Google в некоторой степени полагается на владельцев веб-сайтов. Если у вас есть страницы на нескольких языках, Google может не понять этого, пока вы им не расскажете.

Это можно сделать с помощью HTML-атрибута hreflang.

Hreflang немного сложен и выходит за рамки этого руководства, но в основном это небольшой фрагмент кода, указывающий на взаимосвязь между несколькими версиями одной и той же страницы на разных языках.

3. История поиска

Возможно, наиболее очевидным примером использования Google истории поиска для персонализации результатов является «ранжирование» ранее полученного результата выше при следующем запуске того же поиска.

Это случается не всегда, но кажется довольно частым, особенно если вы нажимаете или посещаете страницу несколько раз за короткий промежуток времени.

Давайте подведем итоги

Понимание того, как работают поисковые системы, — это первый шаг к более высокому ранжированию в Google и увеличению посещаемости. Если поисковые системы не могут найти, просканировать и проиндексировать ваши страницы, значит, вы потерялись в воде еще до того, как начнете.

Если вы хотите знать, как это сделать и как начать оптимизацию своего сайта для SEO, прочтите наше руководство по основам SEO.

Есть вопросы? Дайте мне знать в комментариях или в Твиттере.

Как работают поисковые системы: все, что вам нужно знать, чтобы понять роботов

Еще в 1996 году два доктора наук из Стэнфорда предложили новый вид поисковой системы. Вместо того, чтобы ранжировать результаты на основе того, сколько раз ключевое слово появлялось на веб-странице, Ларри Пейдж и Сергей Брин решили, что было бы лучше ранжировать результаты на основе отношений между страницами. Они назвали свою идею «BackRub», потому что она оценивала результаты поиска на основе обратных ссылок.

Это сильно отличается от того, как работают сегодня поисковые системы. Поисковая система Пейджа и Брина, Google, получает 5,5 миллиардов запросов в день. Или 63 000 поисков в секунду. По каждому из этих запросов поисковая система просматривает более 130 триллионов отдельных страниц в Интернете и выбирает результаты менее чем за секунду.

За этими результатами стоит большой фундамент. Хотя Google и другие поисковые системы, как известно, хранят в секрете механизмы, лежащие в основе результатов поиска, маркетологам полезно знать, как работают поисковые системы.Понимание того, как поисковые системы находят, упорядочивают и выбирают результаты, означает, что вы можете лучше оптимизировать свои веб-страницы для ранжирования.

Как работают поисковые системы: основы

«Поисковая машина» — это несколько взаимосвязанных механизмов, которые работают вместе для идентификации частей веб-контента — изображений, видео, страниц веб-сайтов и т. Д. — на основе слов, которые вы вводите в строку поиска. Владельцы сайтов используют поисковую оптимизацию, чтобы повысить вероятность того, что содержание их сайта будет отображаться в результатах поиска.

Поисковые системы используют три основных механизма:

• Поисковые роботы : боты, которые постоянно ищут в Интернете новые страницы. Сканеры собирают информацию, необходимую для правильного индексирования страницы, и используют гиперссылки для перехода на другие страницы и их индексации.
• Индекс поиска : запись всех веб-страниц в сети, организованная таким образом, чтобы допускать связь между ключевыми словами и содержанием страницы. У поисковых систем также есть способы оценивать качество контента в своих индексах.
• Алгоритмы поиска : вычисления, которые оценивают качество веб-страниц, определяют, насколько эта страница релевантна поисковому запросу, и определяют ранжирование результатов на основе качества и популярности.

Поисковые системы пытаются предоставить наиболее полезные результаты для каждого пользователя, чтобы большое количество пользователей возвращалось снова и снова. Это имеет смысл для бизнеса, поскольку большинство поисковых систем зарабатывают деньги на рекламе. Например, в 2018 году Google заработал внушительные 116 миллиардов долларов.

Как поисковые системы сканируют, индексируют и ранжируют контент

Внешне поисковые системы выглядят просто. Вы вводите ключевое слово, и вы получаете список релевантных страниц. Но этот обманчиво простой обмен требует много вычислительной работы за кулисами.

Тяжелая работа начинается задолго до того, как вы приступите к поиску. Поисковые системы работают круглосуточно, собирая информацию с мировых веб-сайтов и систематизируя ее, чтобы ее было легко найти. Это трехэтапный процесс: сначала просканируют веб-страниц, , проиндексируют их , а затем ранжируют их с помощью поисковых алгоритмов.

Ползание

Поисковые системы используют сканеры — автоматизированные скрипты — для поиска информации в Интернете. Поисковые роботы начинают со списка веб-сайтов. Алгоритмы — наборы вычислительных правил — автоматически решают, какой из этих сайтов сканировать. Алгоритмы также определяют, сколько страниц сканировать и как часто.

Сканеры систематически посещают каждый сайт в списке, переходя по ссылкам с помощью тегов, таких как HREF и SRC, для перехода на внутренние или внешние страницы.Со временем сканеры создают постоянно расширяющуюся карту связанных страниц.

Вывод для маркетологов

Убедитесь, что ваш сайт легко доступен для поисковых роботов. Если боты не могут его просканировать, они не могут его проиндексировать, а это значит, что ваш сайт не будет отображаться в результатах поиска. Вы можете гарантировать доступность сканера, реализовав следующее:

• Логическая иерархия сайта : Определите логическую архитектуру сайта, которая перетекает от домена к категории и подкатегории.Это позволяет сканерам быстрее перемещаться по вашему сайту, позволяя сайту оставаться в рамках своего краулингового бюджета.
• Ссылки : Используйте внутренние на каждой странице. Сканерам нужны ссылки для перехода между страницами. Страницы без ссылок нельзя сканировать и, следовательно, индексировать.
• XML-карта сайта : Составьте список всех страниц своего веб-сайта, включая сообщения в блогах. Этот список действует как инструкция для поисковых роботов, сообщая им, какие страницы сканировать. Существуют плагины и инструменты, такие как Yoast и Google XML Sitemaps, которые будут создавать и обновлять вашу карту сайта, когда вы публикуете новый контент.

Если вы не уверены, доступен ли ваш сайт для поисковых роботов, воспользуйтесь нашим инструментом аудита сайта. Инструмент выявляет проблемы с доступностью и дает советы, как их исправить. Он также отправляет свежий технический отчет по SEO для вашего сайта каждые две недели, так что вы можете быть в курсе того, что ваш сайт виден поисковым роботам.

Инструмент

Alexa Site Audit определяет страницы без ссылок, что позволяет улучшить доступ для сканеров.

Индексирование

Найдя страницу, бот извлекает (или отображает) ее аналогично тому, как это делает ваш браузер.Это означает, что бот должен «видеть» то, что вы видите, включая изображения, видео или другие типы динамического содержимого страницы.

Бот организует этот контент по категориям, включая изображения, CSS и HTML, текст и ключевые слова и т. Д. Этот процесс позволяет поисковому роботу «понять», что находится на странице, что является необходимым предшественником для принятия решения, по какому ключевому слову поисковая страница релевантна.

Затем поисковые системы

сохраняют эту информацию в индексе, гигантской базе данных с записью каталога для каждого слова, встречающегося на каждой проиндексированной веб-странице.Индекс Google, Caffeine Index, занимает около 100000000 гигабайт и заполняет «серверные фермы», тысячи компьютеров, которые никогда не выключаются, по всему миру.

Вывод для маркетологов

Убедитесь, что сканеры «видят» ваш сайт так, как вы хотите; контролировать, какие части сайта вы разрешаете им индексировать.

• Инструмент проверки URL-адресов : если вы хотите знать, что видят сканеры, когда заходят на ваш сайт, используйте инструмент проверки URL-адресов. Вы также можете использовать этот инструмент, чтобы узнать, почему сканеры не индексируют страницу или не запрашивают у Google ее сканирование.
• Robots.txt : вам не нужно, чтобы сканеры отображали каждую страницу вашего сайта в поисковой выдаче; например, страницы авторов или страницы с разбивкой на страницы могут быть исключены из индексов. Используйте файл robots.txt для управления доступом, сообщая ботам, какие страницы они могут сканировать.

Блокирование роботов от определенных рабочих областей вашего сайта не повлияет на ваш рейтинг в поисковой выдаче. Скорее, это поможет сканерам сосредоточить бюджет сканирования на наиболее важных страницах.

Рейтинг

На последнем этапе поисковые системы сортируют проиндексированную информацию и возвращают правильные результаты для каждого запроса.Они делают это с помощью алгоритмов поиска , правил, которые анализируют, что ищет искатель, и какие результаты лучше всего соответствуют запросу.

Алгоритмы используют множество факторов для определения качества страниц в своем индексе. Google использует целый ряд алгоритмов для ранжирования релевантных результатов. Многие из факторов ранжирования, используемых в этих алгоритмах, анализируют общую популярность части контента и даже качественный опыт пользователей, когда они попадают на страницу. Эти факторы включают:

• Качество обратных ссылок
• Мобильность
• «Свежесть», или как недавно обновлялось содержимое
• Помолвка
• Скорость страницы
• Чтобы убедиться, что алгоритмы работают должным образом, Google использует оценщиков качества поиска людей для тестирования и уточнения алгоритма.Это один из немногих случаев, когда люди, а не программы, участвуют в работе поисковых систем.

Вывод для маркетологов

Поисковые системы хотят показывать наиболее релевантные и полезные результаты. Это делает поисковиков счастливыми, а доходы от рекламы растут. Вот почему факторы ранжирования большинства поисковых систем — это фактически те же факторы, по которым люди оценивают контент, например скорость страницы, актуальность и ссылки на другой полезный контент.

При разработке и обновлении веб-сайтов оптимизируйте скорость страницы, читаемость и плотность ключевых слов, чтобы отправлять положительные сигналы ранжирования поисковым системам.Работа над улучшением показателей взаимодействия, таких как время пребывания на странице и показатель отказов, также может помочь повысить рейтинг.

При разработке и обновлении веб-сайтов оптимизируйте скорость страницы, читаемость и плотность ключевых слов, чтобы отправлять поисковым системам положительные сигналы ранжирования. Нажмите, чтобы твитнуть

Узнайте больше о как ранжироваться в Google.

Что происходит при проведении поиска?

Теперь мы знаем о трехэтапном процессе, который поисковые системы используют для выдачи релевантных результатов.Сканирование, индексирование и ранжирование позволяют поисковым системам находить и систематизировать информацию. Но как это поможет им ответить на ваш поисковый запрос?

Давайте рассмотрим, как поисковые системы отвечают на запросы, шаг за шагом, с того момента, как вы вводите термин в строке поиска.

Шаг 1. Поисковые системы анализируют намерение

Чтобы возвращать релевантные результаты, поисковые системы должны «понимать» цель поиска, стоящую за термином. Для этого они используют сложные языковые модели, разбивая ваш запрос на блоки ключевых слов и анализируя значения.

Например, система синонимов Google позволяет поисковой системе распознавать, когда группы слов означают одно и то же. Поэтому, когда вы вводите «платья темного цвета», поисковые системы будут возвращать результаты как для черных платьев, так и для темных тонов. Движок понимает, что темнота часто является синонимом черного.

Результаты поиска по запросу «платье темного цвета» также показывают синонимичные результаты.

Поисковые системы также используют ключевые слова для понимания широких «категорий» целей поиска.В примере с «темным платьем» термин «купить» сигнализирует поисковым системам, что они должны открывать страницы продуктов, чтобы соответствовать намерениям покупателя.

Узнайте, как оптимизировать для семантического поиска.

Результаты поиска также используют алгоритмы «свежести», чтобы понять намерения поисковика. Эти алгоритмы определяют популярные ключевые слова и возвращают новые страницы. Вы увидите это для таких терминов, как «результаты выборов», которые возвращают совершенно разные результаты поисковой выдачи во время выборов и во время выборов.

Шаг 2. Поисковые системы сопоставляют страницы с целью запроса

Как только поисковая система понимает, какой результат вы хотите видеть, ей необходимо найти совпадающие страницы. Ряд факторов помогает поисковой системе решить, какие страницы лучше всего, в том числе:

• Соответствие заголовка / содержания
• Типы содержания
• Качество содержания
• Качество и свежесть сайта
• Популярность страницы
• Язык запроса

Таким образом, если вы выполните поиск «лучшие места, где можно поесть суши», поисковые системы будут сопоставлять страницы списков с «суши» или синонимами (например.g., «японская еда») в заголовке и тексте. Они будут упорядочивать эти результаты на основе факторов популярности, свежести и качества.

В зависимости от цели поиска поисковые системы могут также показывать расширенные результаты, такие как граф знаний или карусель изображений.

Шаг 3. Поисковые системы применяют «локализованные» факторы

Когда поисковые системы решают, какие результаты вы видите, в игру вступает ряд индивидуальных факторов. Вы можете увидеть разные результаты для «лучшей пиццы с замороженным сыром», чем у друга, который живет в другом штате, благодаря сочетанию индивидуальных факторов.

• Местоположение : Некоторые запросы, например «рестораны рядом со мной», очевидно, зависят от местоположения. Но Google будет ранжировать результаты по местным факторам даже при поиске без привязки к местоположению. Поиск по слову «футбол», скорее всего, покажет страницы о Стилерс кому-то в Питтсбурге и страницы о 49ers кому-то в Сан-Франциско.
• Настройки поиска : настройки поиска также являются важным индикатором того, какие результаты вы, вероятно, найдете полезными, например, если вы установили предпочтительный язык или включили SafeSearch (инструмент, который помогает отфильтровывать явные результаты).
• История поиска : история поиска пользователя также влияет на результаты, которые они видят. Например, введите слово «хемингуэй», и вы увидите результаты как для писателя, так и для приложения для редактирования. Щелкните несколько результатов об авторе и снова выполните поиск по запросу «хемингуэй». На этот раз вы увидите больше результатов о писателе, чем о приложении.

Вывод для маркетологов

Результаты поиска очень специфичны и динамичны. Невозможно предсказать, когда и как ваш сайт будет отображаться для каждого отдельного пользователя.Лучший подход — посылать сильные сигналы релевантности поисковым системам с помощью исследования ключевых слов, технического SEO и контент-стратегии. Таким образом, вы попадете в поисковую выдачу, которая действительно актуальна для вашего контента.

Связано: как получить одобрение в качестве источника новостей Google

Используйте эти знания для улучшения результатов

Когда вы узнаете, как работают поисковые системы, вам будет проще создавать веб-сайты, которые можно сканировать и индексировать. Отправка правильных сигналов поисковым системам гарантирует, что ваши страницы появятся на страницах результатов, соответствующих вашему бизнесу.Предоставление искателям и поисковым системам нужного контента — это шаг на пути к успешному онлайн-бизнесу.

Подпишитесь на бесплатную пробную версию расширенного плана Alexa, чтобы получить инструменты аудита сайта, необходимые для проверки того, что ваш контент находится в хорошем состоянии для поисковых роботов. Кроме того, вы получаете доступ к подробным отчетам, в которых выявляются возможности технической оптимизации и оптимизации на странице, которые вы, возможно, упустили.

Google и логотип Google являются зарегистрированными товарными знаками Google LLC, используемыми с разрешения.

Как работает поисковая система? + Повысьте эффективность SEO |…

Хотя вы всегда должны создавать контент веб-сайта, ориентированный на ваших клиентов, а не на поисковые системы, важно понимать, как работает поисковая система. Как только вы это узнаете, вы можете переходить к следующему шагу, который включает в себя элементы, которые ищет поисковая система.

Как работают поисковые системы?

Большинство поисковых систем создают индекс на основе сканирования, то есть процесса, посредством которого такие системы, как Google, Yahoo и другие, находят новые страницы для индексации.Механизмы, известные как боты или пауки, сканируют Интернет в поисках новых страниц (1). Боты обычно начинают со списка URL-адресов веб-сайтов, определенных в результате предыдущих сканирований. Когда они обнаруживают новые ссылки на этих страницах с помощью таких тегов, как HREF и SRC, они добавляют их в список сайтов для индексации. Затем поисковые системы используют свои алгоритмы, чтобы предоставить вам ранжированный список из своего индекса того, какие страницы вам должны быть наиболее интересны, на основе используемых вами поисковых запросов.

Затем механизм вернет список результатов в Интернете, ранжированных с использованием его определенного алгоритма.В Google другие элементы, такие как персонализированные и универсальные результаты, также могут изменить рейтинг вашей страницы. В персонализированных результатах поисковая система использует дополнительную информацию, которую она знает о пользователе, чтобы возвращать результаты, непосредственно соответствующие их интересам. Универсальные результаты поиска объединяют видео, изображения и новости Google для создания более крупной картинки, что может означать усиление конкуренции со стороны других веб-сайтов по тем же ключевым словам.

Вот основные элементы, которые нужно изменить при разработке вашего магазина для SEO:

Архитектура — Сделайте веб-сайты, которые поисковые системы могут легко сканировать.Это включает в себя несколько элементов, например, как контент организован и категоризирован, а также как отдельные веб-сайты связаны друг с другом. Карта сайта XML может позволить вам предоставить список URL-адресов поисковым системам для сканирования и индексации. (2)

Контент — Хороший контент — один из наиболее важных элементов для SEO, потому что он сообщает поисковым системам, что ваш сайт актуален. Это не только ключевые слова, но и написание привлекательного контента, который будет часто интересовать ваших клиентов.

Ссылки — Когда множество людей ссылаются на определенный сайт, это предупреждает поисковые системы о том, что этот конкретный сайт является авторитетным, что повышает его рейтинг. Сюда входят ссылки из источников в социальных сетях. Когда ваш сайт ссылается на другие авторитетные платформы, поисковые системы также с большей вероятностью оценит ваш контент как качественный.

Ключевые слова — Ключевые слова, которые вы используете, являются одним из основных методов, используемых поисковыми системами для ранжирования вас. Использование тщательно подобранных ключевых слов может помочь нужным клиентам найти вас.Если вы управляете ювелирным магазином, но никогда не упоминаете слова «ювелирные изделия», «ожерелье» или «браслет», алгоритм Google может не считать вас экспертом в этой области.

Описание заголовков — Хотя он может не отображаться на веб-сайте, поисковые системы обращают внимание на тег заголовка в html-коде вашего сайта, слова между