Больше видео на нашем канале — изучайте интернет-маркетинг с SEMANTICA

Например, вы увидели картину, с кричащим человеком. Она вам очень понравилась, и вы решили найти ее в интернете. Но вы не знаете ни имени автора, ни названия самой картины, поэтому вы делаете следующий запрос:

Конечно, полотно не называется «картина, где человек кричит», но поисковик все равно помог нам найти именно то, что мы искали. В этом и есть принцип работы алгоритма «Королёв» – система ищет не только название материала, но и сам текст, размещенный на странице.

Такой же алгоритм работает и в Google, но уже под другим названием RankBrain.

Чем отличается от алгоритма «Палех»

Новый алгоритм «Королев» – это усовершенствованная версия предыдущего алгоритма компании, который носил название «Палех». Он был представлен в ноябре 2016 года и стал первым шагом в сторону семантического поиска. Его основная задача – лучше понять содержание контента на страницах.

В «Палехе» также использовались нейронные сети для поиска информации, но именно в «Королёве» увеличено их влияние на распределение сайтов поиске. Вот в чем отличия этих алгоритмов:

• В «Королеве» встроена система сравнения смыслов запросов. В Яндексе привели пример запросов «ленивая кошка из монголии» и «манул». Целью двух этих запросов является найти информацию о мануле, и новый алгоритм Яндекса «Королёв» удовлетворит оба варианта поиска
• В «Палехе» нейронные сигналы вступали в действие уже на последних этапах распределения информации, и останавливались примерно на 150 первых документах. Из-за такой схемы поиска терялось довольно много документов, особенно сложных , которые могли быть именно теми, что пользователь искал. «Королёв» ранжирует информацию уже на стадии индексирования, что приводит к вычислению 200 тысяч(!) документов.

После выпуска «Королева» поисковик смотрит не только на заголовок страницы, но и на ее содержание, на текст.

В чем суть работы и обучаемости нейронной сети

Яндекс не достиг бы таких высоких показателей без прямой связи с пользователями. Новый алгоритм совершенствуется и обучается с помощью обезличенной поисковой статистики. Система статистики учитывает, с какого запроса пользователь зашел на ту или иную страницу. Если он провёл на ней много времени, тогда вполне резонно предположить, что это именно та страница, которую он искал. Это значит, что поисковик выдал правильный ответ на вопрос пользователя.

Люди являются главными помощниками машин в этом дела. Яндексу нужна реальная оценка качества поиска от своих пользователей, поэтому они создали специальную платформу – Яндекс.Толока. Пользователи сервиса анализируют и оценивают работу поисковой системы. Они помогают компании улучшать качество работы алгоритма и получают за это денежное вознаграждение.

Раньше этим занимались нанятые работники – асессоры, но с ростом рынка спроса их стало катастрофически не хватать. Это и есть основной причиной создания Толоки.

На данный момент численность участников Толоки составляет больше миллиона человек.

С помощью алгоритма «Королев» Яндекс существенно сможет улучшить качество поиска. Люди сами делают свои запросы в Яндексе лучше, и чем больше людей будет привлечено в данный проект, тем меньше неудач в поиске на нас ждет в будущем.

Принцип работы нового алгоритма «Королёв»

Так же как и в алгоритме прошлого поколения «Палех», текст сайта с помощью нейросети преобразуется в смысловые векторы. «Королёв» высчитывает градиенты страниц не в тот момент, когда вы делаете запрос, а намного раньше, на этапе индексирования. Как только сайт проходит индексирование, к нему уже прикрепляются некоторые ключевые слова, которые поспособствуют дальнейшему упрощению поиска информации. Поэтому, когда вы вводите информацию, Яндекс уже выдает семантически схожие страницы.

Также система способна устанавливать связь между данным единичным запросом и другими запросами, которые способствуют попаданию пользователя на эту же страницу.

Влияет ли алгоритм на выдачу и нужно ли предпринимать какие-то действия, чтобы оптимизировать контент под «Королева»

Да, данный алгоритм в некоторой мере изменил поиск в Яндексе. Вот некоторые точные данные о том, насколько сильные есть изменения:

Как видим, изменение не являются феноменально большими. Особые изменение произошли в возрасте документов. В топ-100 поиска свежие документы теперь будут появляться намного чаще.

Оптимизировать статьи под «Королёв» нет смысла, потому что система учится определять смысл текста самостоятельно, а это значит, что в скором будущем в работе оптимизаторов значимость текстовой оптимизации снизится.

Новый поисковый алгоритм Яндекса. \»Вега\» к нам приходит…

Компания Яндекс запустила глобальное обновление поискового алгоритма, которое получило название «Вега».

Благодаря его внедрению в работу Яндекс будет гораздо быстрее точнее и быстрее отвечать на пользовательские запросы, а также будет учитывать сигналы, поступающие от асессоров-экспертов, в процессе обучения поискового алгоритма.

Кроме того пользователи Яндекса смогут решать с его помощью так называемые гиперлокальные задачи. Например, находить что-то нужное в конкретном микрорайоне, квартале или даже доме.

По словам представителей команды разработчиков, новый алгоритм «Вега» включает в себя более 1500 разнообразных улучшений, добавленных в работу поисковой системы Яндекс за последний год.

По словам представителей компании Яндекс современная поисковая система должна быть действительно умной, технологичной и готовой помочь пользователю в любом месте и в любой возникшей ситуации.

Именно поэтому в рамках обновления «Вега» в работу поисковой системы Яндекс были внедрены наиболее передовые технологии, например, такие как новая система хранения веб-документов, технология предварительной загрузки результатов поиска, обучение поискового алгоритма с помощью экспертов-асессоров и многое другое.

Улучшения, запущенные в рамках обновления «Вега» смело можно распределить по четырем основным направлениям. Давайте поговорим о каждом из них более подробно.

Повышение качества поиска

Теперь Яндекс будет составлять поисковую базу с помощью нейросетей. Именно нейросети будут распределять веб-документы из поисковой базы по так называемым «смысловым кластерам».

Подобный подход позволит обеспечить выигрыш во времени и потребляемых вычислительных ресурсах. Именно за счет освобождения действительно большого количества вычислительных ресурсов Яндексу удалось увеличить применяемую поисковую базу в два раза.

Благодаря этому поисковая система Яндекс поможет найти даже веб-страницы, которые могут потребоваться пользователям 1–2 раза в год.

Мгновенные ответы

В мобильном поиске от Яндекса будет более активно использоваться технология предварительной загрузки результатов поиска (предварительный рендеринг).

Данная технология пытается угадать каким будет полный текст пользовательского запроса, в тот момент, когда человек только начинает набирать первые слова.

Подобный подход позволяет заранее сформировать результаты поиска и мгновенно продемонстрировать их пользователю, ровно в тот момент, когда он нажмет кнопку «Найти».

Ожидается, что это позволит сэкономить время, которое пользователь тратит на поиск в интернете, особенно при низкой скорости соединения с всемирной паутиной.

Экспертный поиск

Поисковая система Яндекс внедрила в свою работу новый алгоритм ранжирования, а также подключило к работе асессоров-экспертов. Каждый привлеченный Яндексом асессор будет являться высококвалифицированным специалистом в той или иной области.

Например, асессор-гидролог действительно понимает, как можно объяснить процесс [образования двухэтажных рек], и сможет квалифицированно оценить, насколько хорошо веб-страницы отвечают на запросы по данной теме.

Кроме того вердикты, которые будут выносить асессоры-эксперты станут ключевым сигналом для обучения нового поискового алгоритма.

Также стало известно о том, что компания Яндекс запустила новый сервис под названием Кью. С его помощью ученые, профессионалы и просто разбирающиеся люди смогут отвечать на вопросы пользователей.

Ожидается, что оценки асессоров-экспертов и объяснения от специалистов, предоставленные в рамках сервиса Кью, позволят пользователям Яндекса получить полный и понятный ответ даже на самые сложные поисковые запросы.

Гиперлокальность

Компания Яндекс осуществила обновление своих сервисов «Район» и «Услуги». В рамках сервиса «Район» стали доступны чаты, в которых смогут общаться жители одного и того же дома.

В свою очередь сервис Яндекс.Услуги теперь умеет демонстрировать предложения различных услуг на удобной карте.  

Благодаря всему этому пользователи смогут обратиться к Яндексу с задачами, которые вплоть до последнего времени чаще всего решались в offline-режиме. Такими задачами может стать, например, вызов на дом сантехника, который готов приехать к вам в течение получаса.

В заключение стоит напомнить о том, что предыдущее глобальное обновление поискового алгоритма Яндекса под названием «Королев», было официально представлено в августе 2017 года.

Королев – новый поисковый алгоритм Яндекса

1 Сентября 2017 | 3787 | 0

Автор статьи: Антон Шабан
QA в отделе SEO

22 августа 2017 Яндекс запустил новую версию поискового алгоритма – «Королёв». Максимально кратко и емко можно описать его суть словами из пресс-релиза Яндекса:

Если вы мало что поняли, читайте дальше нашу статью, мы объясним подробнее.

Ссылка на пресс-релиз и все другие официальные источники приведена ниже.

0

Запуск алгоритма состоялся в Московском планетарии и сопровождался докладами разработчиков алгоритма, торжественным нажатием кнопки запуска и даже звонком на МКС и прямым эфиром с космонавтами.

Полное видео презентации можно посмотреть прямо здесь, а ниже мы рассмотрим основные изменения и ответы на частые вопросы. Информацию мы будем сопровождать комментариями сотрудников Яндекса в блоге компании, а также цитатами из официальных источников.

Что изменилось в поиске Яндекса?

«Королев» – это продолжение алгоритма «Палех», представленного в ноябре 2016 года. «Палех» был первым шагом в сторону семантического поиска, задача которого – лучше понимать смысл страниц.

«Королев» же теперь умеет понимать смысл всей страницы, а не только заголовка title, как было после анонса «Палеха».

Алгоритм должен улучшить выдачу по редким и сложным запросам.

Документы могут не содержать многих слов запроса, поэтому традиционные алгоритмы определения текстовой релевантности не справятся с этой задачей.

Выглядит это примерно так:

В Google работает аналогичный алгоритм – RankBrain:

Область действия алгоритма «Королев» распространяется на все запросы, в том числе на коммерческие. Однако больше всего влияние заметно именно на многословных запросах. Яндекс подтвердил, что алгоритм работает на всем поиске.

Конечно, целью алгоритма было улучшение качества выдачи по редким и сложным вопросам. Проверим на редких и сложных коммерческих запросах, связанных как раз с названием предмета.Например, в этом случае Яндекс действительно понимает, о чем идет речь. Правда, в выдаче в основном обзоры и статьи, а не коммерческие сайты.

А в этом случае поисковик понял, что меня, скорее всего, интересует дрон или квадрокоптер. Конечно же, выдача начинается с Яндекс.Маркет:

Но в некоторых случаях Яндекс бессилен…

Как это работает (+ 11 фото из презентации)

Разберем подробнее презентацию нового алгоритма. Ниже будут только выдержки самых интересных моментов с нашими комментариями и слайды из презентации.

Новая версия поиска основана на нейронной сети. Она состоит из большого количества нейронов. У нейрона есть один выход и несколько входов, он умеет суммировать полученную информацию и после преобразования передавать ее дальше.

Нейронная сеть может выполнять гораздо более сложные задачи и ее можно обучить понимать смысл текста. Для этого нужно дать ей много обучающих примеров.

Работу в этом направлении Яндекс начал с модели DSSM, состоящей из двух частей, соответствующих запросу и странице. На выходе была оценка, насколько они близки по смыслу.

Для обучения нейросети нужно много обучающих примеров.

• Отрицательные – это пара текстов, не связанных по смыслу.

• Положительные – пары «текст-запрос», связанные по смыслу.

Согласно презентации, Яндекс использовал для обучения массив данных о поведении пользователей на выдаче и считал связанными по смыслу запрос и страницу, на которую часто кликают пользователи в выдаче. Но как позже пояснил Михаил Сливинский, удовлетворенность пользователя результатами поиска меряются не только кликами:

Как ранее рассказывал в презентации «Палеха» Александр Садовский, наличие клика не говорит о том, что документ релевантен, а отсутствие, что не релевантен. Модель Яндекса предсказывает, задержится ли пользователь на сайте и учитывает множество других метрик удовлетворенности пользователя.

После обучения модель представляет текст в виде набора 300 чисел – семантического вектора. Чем ближе тексты по смыслу, тем больше сходство чисел векторов.

В поиске Яндекса нейронные модели использовались давно, но в алгоритме «Королёв» увеличено влияние нейронных сетей на ранжирование.

Теперь при оценке смысловой близости алгоритм смотрит не только на заголовок, но и на текст страницы.

Параллельно Яндекс работал над алгоритмом сравнения смыслов запросов на основании нейронных сетей. Например, если для одного запроса поисковая система точно знает лучший ответ, а пользователь ввел запрос, очень близкий к нему, тогда результаты поиска должны быть похожи. В качестве иллюстрации такого подхода Яндекс приводит пример: «ленивая кошка из монголии» – «манул». (Источник цитаты ниже)

В «Палехе» нейронные модели применялись только на самых поздних стадиях ранжирования, приблизительно на 150 лучших документов. Поэтому на ранних стадиях ранжирования часть документов терялась, а они могли быть хорошими. Это особенно важно для сложных и низкочастотных запросов.

Теперь вместо вычисления семантического вектора во время исполнения запроса Яндекс делает вычисления заранее – при индексации. «Королёв» проводит вычисления на 200 тыс. документов на запрос, вместо 150, которые были раньше при «Палехе». Сначала такой метод предварительного расчета был испытан на «Палехе», это позволило сэкономить на мощности и находить соответствие запросу не только заголовка, но и текста.

Поисковик берет полный текст на этапе индексации, проводит нужные операции и получает значение. В итоге для всех слов и популярных пар слов формируется дополнительный индекс со списком страниц и их предварительной релевантностью запросу.

Команда Яндекса, которая занималась проектированием и внедрением нового поиска, запускает его.

Запуск алгоритма:

Обучение искусственного интеллекта

В Яндексе уже много лет задачей сбора данных для машинного обучения занимаются асессоры, которые оценивают релевантность документов запросу. С 2009 по 2013 год поисковик получил более 30 млн таких оценок.

За это время появился поиск по картинкам, по видео, внутренние классификаторы и алгоритмы: количество проектов Яндекса выросло.

Так как все они работали на технологиях машинного обучения, требовалось больше оценок и больше асессоров. Когда асессоров стало больше 1500, Яндекс запустил краудсорсинговую платформу «Толока», где может зарегистрироваться и выполнять задания любой человек.

Например, вот такие задания встречаются в «Толоке»:

Или такие:

Если хотите подробнее узнать, как пользователи оценивают релевантность ответов, чтобы понимать, какие параметры выдачи оцениваются, рекомендуем почитать инструкции по заданиям или даже попробовать пройти обучение.

За несколько лет в сервисе собралось более 1 млн человек, которые сделали более 2 млрд оценок. Это позволило Яндексу сделать огромный рывок в масштабировании и объеме обучающих данных. Только в 2017 году задания выполняли более 500 000 человек.

Среди заданий есть:

• Оценка релевантности документов;

Правила, которым Яндекс хочет научить алгоритм, открыты всем зарегистрированным пользователям в виде инструкций для работников «Толоки». По некоторым заданиям просто собирается субъективное мнение людей.

Вот выдержка из инструкции о том, как Яндекс определяет релевантность документа:

Яндексу очень важно качество оценок. Оно может быть субъективно, поэтому задания даются сразу нескольким людям, а потом математическая модель оценивает распределение голосов с учетом степени доверия к каждому работнику и экспертизы каждого участника. Для каждого «толокера» хранятся данные о точности оценок по каждому проекту и сводятся в единый рейтинг.

Именно поэтому нельзя сетовать на то, что необъективность асессоров погубила ваш сайт.

Таким образом, в Яндексе появилась дополнительная группа факторов:

• Смысл страницы и соответствие ее запросу;
• Является ли документ хорошим ответом на похожие пользовательские запросы.

Что изменилось в топе Яндекса?

Алгоритм предположительно был запущен несколько раньше презентации и, если верить сторонним сервисам (например, https://tools.pixelplus.ru/updates/yandex), изменения в выдаче начались еще в начале августа, но неизвестно, связано ли это с алгоритмом «Королев».

По этим данным можно выдвинуть гипотезу, что уменьшение доли главных страниц в топ-100 и уменьшение возраста документов в пределах топ-100 связано с новым алгоритмом, который помогает получить больше релевантных ответов.

Правда, при этом заметных изменений в топ-10, топ-20 или топ-50 не видно. Возможно, их там нет либо они незначительны. Мы также не заметили существенных изменений выдачи по продвигаемым запросам.

Текстовая релевантность в стандартном понимании никуда не делась. Подборки и более широкие ответы по многословным запросам содержат большое количество страниц с вхождениями слов запроса в title и текст:

Свежесть результатов поиска тоже имеет значение. Пример из презентации Яндекса содержит ряд свежих результатов с искомой фразой целиком.

Хотя, учитывая тот факт, что алгоритм проводит расчеты сразу при индексации, «Королев» теоретически может влиять и на подмешивание результатов быстроботом.

Надо ли как-то оптимизировать тексты под «Королев»?

Скорее наоборот: чем больше поисковик учится определять смысл текста, тем меньше требуется вхождений ключевых слов и тем больше требуется смысла. Но принципы оптимизации не меняются.

Например, еще в 2015 году Google рассказал об алгоритме RankBrain, который помогает поиску лучше отвечать на многословные запросы, заданные на естественном языке. Он неплохо работает, что отметили пользователи в многочисленных публикациях сравнения поиска Яндекса и Google после анонса новой версии алгоритма.

Это не сопровождалось масштабной презентацией и сильно не повлияло на работу специалистов. Никто целенаправленно не занимается «оптимизацией под RankBrain», поэтому и в Яндексе это никак глобально не меняет работу специалиста. Да, появился тренд на поиск и включение в текст так называемых LSI-ключей, но это явно не просто часто повторяющиеся слова на страницах конкурентов. Ожидаем развития SEO-сервисов в этом направлении.

В алгоритме также заявлено, что анализируется смысл и других запросов, по которым пользователи попадают на страницу. Опять же, в перспективе это должно дать одинаковую или похожую выдачу по синонимичным запросам, так как сейчас результат анализа выдачи порой показывает, что пересечений по синонимичным запросам в выдаче нет. Будем надеяться, что алгоритм поможет устранить подобные несоответствия.

Но Яндекс пока не может найти (или плохо находит) документы, близкие по смыслу к запросу, но вовсе не содержащие слов запроса ( источник).

Советы:

1. Убедитесь, что страница отвечает на запросы, под которые она оптимизирована и по которым переходят пользователи.

2. Убедитесь, что страница все же включает слова из поисковых запросов. Мы не говорим про прямые вхождения, просто проверьте, есть ли слова из запросов в любой форме на странице.

3. Тематические слова могут придать странице дополнительную релевантность, но это явно не просто часто повторяющиеся слова на страницах конкурентов. Ожидаем развития SEO-сервисов в этом направлении.

4. Для ключевых фраз, по которым страница сайта хорошо ищется, проверьте, не выбивается ли показатель отказов из среднего показателя по сайту. Если по запросу сайт находится на высокой позиции и пользователь находит то, что ему нужно, сайт может быть показан по сходным по смыслу ключевым фразам (если такие есть).

5. Клики на поиске показывают удовлетворенность пользователя результатом. Это не ново, но стоит еще раз проверить сниппеты по ключевым запросам. Возможно, где-то получится повысить кликабельность.

Как проверить влияние алгоритма на свой сайт?

Для сайтов, у которых нет ярко выраженной сезонности, вы можете сравнить количество низкочастотных ключевых фраз, по которым переходили на сайт до запуска алгоритма и после. Например, взять неделю в июле и неделю в августе.

Выбираем «Отчеты – Стандартные отчеты – Источники – Поисковые запросы».

Выбираем визиты из Яндекса:

И фильтром оставляем только те запросы, по которым был 1 переход. Дополнительно стоит исключить фразы, содержащие название бренда.

Далее можно сравнить количество визитов до запуска алгоритма и после.

Также можете посмотреть наличие поисковых фраз, слов из которых у вас нет в тексте. В целом, такие фразы присутствовали среди НЧ-запросов и раньше, просто сейчас их может стать заметно больше.

Перспективы и прогноз

• Поисковик сможет еще лучше находить документы, близкие по смыслу к запросу. Наличие вхождений станет еще менее важным.

• Алгоритм будет обучаться дальше и улучшаться.

• К текущему алгоритму будет добавлена персонализация.

• В перспективе хорошие материалы, отвечающие на вопрос пользователя, могут получить еще больше трафика по микрочастотным, редким или семантически похожим запросам.

• По низкочастотным ключевым фразам может увеличиться конкуренция за счет большей релевантности неоптимизированных документов.

• Гипотеза. С помощью подобных алгоритмов Яндекс может лучше оценивать, насколько семантически связаны страницы, ссылающиеся на другие, и учитывать это для оценки внешних ссылок. Если это может быть значимым фактором с учетом слабого влияния ссылок в Яндексе.

• Нам стоит ожидать дальнейших изменений, связанных с нейросетями, и в других сервисах Яндекса.

Вопрос-ответ

Вопрос: так как Яндекс оценивает клики, значит ли это, что накрутка поведенческих факторов будет набирать обороты?

Вопрос: связан ли «Королев» с «Баден-Баденом»?

Вопрос: как включить новый поиск Яндекса?

Ответ: в блоге Яндекса и в поисковых запросах часто встречались вопросы, как включить или установить новый поиск. Никак. Новый алгоритм уже работает и никаких дополнительных настроек делать не нужно.

Новый алгоритм Яндекса «Королев»: практическое использование

Что такое «Королёв»?

22 августа 2017 года Яндекс официально заявил о запуске нового поискового алгоритма «Королёв» (назван в честь города, как и большинство предыдущих поисковых алгоритмов). В его основе лежит механизм распознавания сложных запросов, который работает по принципу самообучаемой нейронной сети. Это значит, что Яндекс должен определять подходящие по смыслу документы, даже если они не содержат слов из запроса.

Чем он отличается от «Палеха»?

Ещё в ноябре 2016 года Яндекс запустил предшественника «Королёва» — поисковый алгоритм «Палех». Основное отличие нового алгоритма, помимо улучшения технической реализации, — возможность распознавать схожие «смыслы» по всему документу, а не только заголовку (Title), который появляется в окне браузера.

Для чего внедрили алгоритм «Королёв»?

В Яндексе давно задумывались над проблемой определения релевантных документов по большому пулу низкочастотных запросов, которые задаются не совсем естественным языком. Это большой список запросов типа:
— [на какой картине плавятся часы]
— [где придумали одеколон]
— [в каком фильме писатель сходит с ума отеле]

Основная проблема — подходящие документы могли не содержать слов из запроса. Чтобы её решить и показывать более подходящую выдачу, было задумано создание алгоритма «Королёв» — самообучающейся нейронной сети. Как заверяют в самом Яндексе, нейронная сеть на основе машинного обучения будет совершенствоваться в понимании «смыслов», которые подразумевает человек при вводе запросов.

Как работает этот алгоритм на практике?

Описанный Яндексом подход звучит, конечно, хорошо, но гораздо интереснее посмотреть на конкретные результаты в выдаче.

Для начала возьмём запрос, который сам Яндекс рекламировал:
[картина где небо закручивается]

В объектных ответах справа Яндекс правильно определил, что мы подразумевали своим запросом. Он также указал верные ответы в Яндекс.Картинках. Остальная выдача состоит из новостей о новом алгоритме. Становится очевидным: в данной ситуации Яндекс пользуется традиционными методами определения релевантности и для выдачи алгоритм «Королёв» не работает.

 

Попробуем по-другому и зададим следующий запрос:
[где появился первый парламент]

В данном случае можно увидеть интересную выдачу. В объектных ответах появилось значение «Англия». В самой же выдаче есть разные сайты, которые содержат слова из запроса.

Алгоритм в объектных ответах работает, если мы хотим знать:
— где появилось слово «парламент»;
— где появился первый представительный и законодательный орган, который называется «парламент».

Алгоритм не работает:
— если мы хотим знать, где появился вообще первый законодательный орган.

Принято считать, что первый парламент появился в Исландии, но назывался он не «парламент», а «альтинг». В выдаче (на скриншоте выше) можно увидеть и правильный ответ на наш запрос. Он появился только потому, что в заголовке статьи есть слова из запроса.

Важно понять:
поисковик может понять запрос, только если каждое слово обладает одним понятным смыслом.

Если слово обладает несколькими смыслами, как в нашем случае «парламент», могут возникать проблемы.

 

Проведём ещё один эксперимент:
[песня про теракт в уоррингтоне]

Запрос максимально конкретный и на него может быть только один конкретный ответ — песня «Zombie» группы The Cranberries.

Если немного поменять запрос и указать [песня про теракт в 1993 году], можно увидеть, что поисковик выдачу разделяет: часть ответов о песне, часть — о теракте. Яндекс не совсем понимает, о чём именно мы хотим получить информацию.

 

Если сделать запрос ещё более общим, то правильного ответа не будет совсем:
[песня про теракт в англии]

Выдача полностью состоит из новостей о теракте, а о заявленном смысле речи не идёт.

 

Теперь наберём запрос:
[фильм в котором писатель сходит с ума в отеле]

В этом случае можно увидеть, что алгоритм работает. Яндекс понимает, что мы хотим найти и, при этом, указывает, что у данного запроса есть два смысла (два интента): фильм «Сияние» и фильм «1408». Тут также важно, что слова из запроса не встречаются на страницах. В этом случае алгоритм работает.

 

Теперь попробуем набрать запрос:
[фильм в котором траволта танцует]

Варианты с наиболее популярными фильмами есть в объектных ответах, но не в выдаче.

 

Ответы становятся более конкретными, если модифицировать запрос:
[фильм в котором траволта танцует молодой]

Правильный вариант можно увидеть только в виде объектного ответа и страницы Википедии. Остальная выдача далека от нужного результата.

 

Ещё раз изменим запрос и наберём:
[фильм в котором траволта танцует в баре]

Как мы видим, алгоритм даёт сбой. Это происходит потому, что на данный запрос крайне сложно дать однозначный ответ. Например, в фильме «Криминальное чтиво» танцы происходят в ресторане, в фильме «Лихорадка субботнего вечера» — в клубе. Но есть фильм «Майкл», в котором Траволта как раз танцует в баре. Если несколько раз протестировать выдачу с целью найти необходимый фильм, начнут появляться релевантные результаты.

 

Какие выводы можно из этого сделать?

• Алгоритм показывает свою работу в выдаче только на страницах больших информационных сайтов (типа Википедия или Кинопоиск) и в объектных ответах.
• Алгоритм понимает только простые запросы, которые содержат один смысл.
• «Королёв» лучше работает при поиске популярной информации (например, по запросу «фильм» он покажет наиболее популярный, наиболее известный — тот, о котором информации в индексе больше всего).
• Алгоритм работает только с информационными запросами.
• Алгоритм действительно самообучаемый и при повторных обращениях результаты становятся лучше.

Для SEO алгоритм сейчас даёт мало. По большинству запросов большое значение имеет текстовый фактор. Там, где работает новый алгоритм, Яндекс отдаёт предпочтение более известным сайтам, например, Википедии. Небольшим проектам будет тяжело с ними конкурировать. Возможность высоко ранжироваться по таким запросам появится только когда у алгоритма будет более полная база знаний о желаниях и предпочтениях пользователей. Но для этого уже сейчас нужно:
— создавать текстовый контент, который содержит как можно больше слов, определяющих тематику страницы;
— улучшать поведенческие факторы, чтобы поисковик точно знал, что страница будет полезной пользователю.

Хотите получить рекомендации по улучшению контента сайта и подготовить его к работе алгоритма — обратитесь к нам.

Подписаться на рассылку

Еще по теме:

---

Никита П.

SEO-аналитик

Есть вопросы?

Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.

Новый алгоритм Королев Яндекс

Подробности

Категория: Раскрутка и SEO

Здравствуйте, дорогие читатели блога Firelinks.ru. Прошу прощения, что некоторые посты выходят с большим промежутком по времени, но я запустил еще несколько проектов, которые резко вырвались в ТОП за 1,5 месяца, используя свои знания в области блоггинга (кому нужна консультация пишите в личку). Приходится разрываться между проектами и стройкой дома для своей семьи.

Сегодня затронем новый алгоритм Королев от Яндекса и постараемся сравнить его с предшественниками. Лично на мой блог, он особо не повлиял, разве что полезные и объемные статьи стали еще выше в ТОПе. Ну давайте подробнее рассмотрим все в статье и сделаем необходимые выводы после наблюдения за этим алгоритмом.

Алгоритм Королёв Яндекс — что это такое и как работает

В конце августа 2017 вышел новый алгоритм Королев Яндекс. Новость об обновлении в поисковике сразу же заинтересовала СЕО специалистов и СМИ.

Главная особенность Королева является увеличение скорости обработки информации и повышение качества смыслового анализа текста.

В несколько тысяч раз повысилась скорость обработки данных. Палех для формирования ТОПа использовал 150 документов. Теперь сравнивается более 200 000 статей между собой. Этот результат был достигнут за счет оптимизации протокола ранжирования.

Чтобы понять новый алгоритм, надо вернуться на шаг назад к Палеху. Его презентация проведена 2 ноября 2016 года. Статистика показывала, что наибольшая часть поисковых фраз приходится на НЧ фразы, заточенные под единственно верный ответ. Эта часть приходится на длинный хвост птицы.

Чтобы дать нужный ответ клиенту необходимо обладать ассоциативным мышлением и навыком самообучения, как у человека. С подобными задачами лучше всего справляются нейронные сети, поэтому они и стали основой нового алгоритма.

Главная цель «Королёва»

При желании найти конкретный предмет человек начинает описывать его свойства, это особенности ассоциативного мышления. Если мы забыли название видео, то мы начинаем говорить, что содержалось внутри: «фильм про девушек во время войны» или «фильм про существо с хвостом и крыльями». В первом случае Яндекс предоставляет «А зори здесь тихие», во втором варианте получаем «химера».

Яндекс улучшает качество сравнения многословных фраз. Программа анализирует связь между каждым, словом в предложении и выстраивает своеобразную ассоциацию с множеством вариантов ответов. Также как это делает человеческий мозг.

Что нового?

Нововведения:

• семантический вектор для всего контента, а не только заголовка;
• сравнение более 200 000 статей при формировании поисковой выдачи;
• учитывается поведение пользователя на странице;
• люди помогают обучать систему.

Королев анализирует не только заголовок, а полностью весь контент (в том числе фото, видео, таблицы и т. п.) и на его основе составляет семантический вектор.

Главным нововведением стало многократное ускорение работы поисковых методов. В прошлом семантический вектор выстраивался в момент введения фразы в поисковую строку. Подобный метод сильно нагружал сервера и задерживал скорость выдачи ответа.

При отправке поисковой фразы происходит сравнение его семантического вектора с массивом уже записанных в базе данных. Палех сравнивал около 150 вариантов, новая же версия анализирует более 200 000 статей за 1 раз. За счет чего повышается шанс нахождения желаемого ответа.

Нейросеть Яндекс: принцип работы нейронной сети Королев + примеры

Главной особенностью нейронной сети является возможность самообучения. Работа осуществляется не только по преднамеренным формулам, а также на основе предыдущего опыта и ошибок.

Человеческий мозг представляет собой огромнейшую нейросетьс ассоциативным мышлением, компьютеры же стараются эмитировать человеческое поведение за счет воссоздания архитектуры нейронных сетей.

Особенности нейросетевой структуры

Нейронная сеть представляет из себя множество единичных нейронов, каждый из которых хранит или обрабатывает информацию. Каждый из нейронов способен принимать, обрабатывать и отдавать сигналы. Поток входных данных постепенно перерабатывается от одного нейрона к другому и в конце получается необходимый результат.

Искусственные нейронные сети передают между собой условные веса – числа от 0 до 1, чтобы определить насколько тот или иной вариант входящей информации соответствует нужной информации. После окончания анализа нейрон с наибольшим весом считается наиболее подходящим для ответа на поставленный вопрос.

Схема изображает нейронную сеть. Первые два слоя занимаются обработкой. Каждый из нейронов содержит определенную функцию, которая получает входные данные и после обработки выдает необходимый ответ. Так сравниваются семантические вектора.

Семантические векторы

Компьютеры не умеют оперировать словами или картинками, поэтому для сравнения информации между собой они используют массивы чисел. Поисковики должны самостоятельно определять главную тему и мысль текста, чтобы выдавать пользователю то что ему нужно.

Чем схоже вектора заданного вопроса и текста, тем выше находится статья в приоритете выдачи. В Королеве используется анализ всего контента:

• таблицы;
• текст;
• фото;
• видео;
• заголовки;
• цитаты;
• списки;
• выделения (курсив, жирный и т. д.).

В несколько раз повышается качество построения вектора за счет преобразования большего количества информации.

Для создания векторов используется нейросеть, текст пропускают через последовательность нейронов и в итоге получают выходной трехсотмерный массив из чисел. В дальнейшем его вносят в единую базу данных и используют для сравнения.

Обучение

Главная особенность нейронных сетей – обучаемость. В отличие от стандартных алгоритмов нейроны способны запоминать свой предыдущий опыт и самообучаться на нем. Компьютер с каждым разом все лучше и лучше различает информацию.

В прошлом обучением занимались сотрудники компании, их задача состояла переходить по миллионам запросов и на свое усмотрение изменять приоритеты выдачи. Затем разработчики создали приложение Яндекс.Толока, оно представляет из себя список несложных заданий. Надо переходить по запросам и оценивать качество поисковой выдачи. За каждое задание платят около 0.1-1$

Какой контент по мнению нового поискового алгоритма является хорошим

Наиболее подходящей для ТОП выдачи будет статья содержащия максимум полезной информации для пользователя и соответствующая запросу. Следовательно, в ней должны по разделам раскрываться всевозможные вопросы клиента.

В Королеве в приоритете учитывается поведение пользователя на странице. Поэтому задача администраторов постараться удержать пользователя и заинтересовать его. Чтобы это сделать используйте структурированность заголовков, таблицы, списки, выделения, фото и видео.

Новые приоритеты поиска

SEO специалисты, после релиза, провели исследование, чтобы оценить изменения приоритетов ранжирования. Особых изменений не наблюдалась приоритетами остаются:

• структурированность текста;
• полнота раскрытия темы;
• простата чтения контента;
• соответствие заголовков смысловому содержанию текста;
• правильное формирование семантического ядра.

Главное писать для живых людей, этот приоритет остается самым важным.

Зачем Яндекс запустил новый поисковый алгоритм и чем это грозит сайтам

Любая компания стремится сделать свою продукцию лучшей на рынке услуг. В данном случае крупнейшим соперником Yandexявляется Google. Нововведения были созданы для следующих целей:

• улучшение качества поиска по нестандартным вопросам;
• привлечение новых инвесторов;
• увеличение продуктивности ранжирования (более 200000 статей при формировании выдачи).

Главная цель была улучшить качество выдачи. Кроме того, надо было показать инвесторам, что работа в компании ведется полным ходом и их деньги использовались по назначению.Новшества в последующем использовались при создании голосового помощника «Алиса».

Линейка предыдущих алгоритмов

Чтобы лучше разобраться с новыми технологиями надо вернуться в прошлое. В данном случае рассмотрим линейку предыдущих алгоритмов, которые использовались поисковиком для ранжирования.

В первое время интернет содержал всего пару тысяч сайтов, чтобы найти нужную статью на них достаточно было сравнить ключевые слова поисковой фразы. В последующем глобальная сеть разрасталась в геометрической прогрессии, сейчас на одну тематику можно найти более сотен тысяч схожих сайтов с миллионом статей.

Поэтому надо было усложнить системы ранжирования и начали учитывать следующие дополнительные параметры:

• количество ссылающихся материалов;
• уникальность контента;
• поведение клиента на странице.

Матрикснет

В 2009 году Yandex столкнулись с проблемой, что статьи все чаще не отвечают на вопросы пользователей. Чтобы исправить эту ошибку надо было научить сервера самостоятельно принимать решения и самообучаться.

Была изобретена сложная математическая формула с множеством параметров для определения соответствия текста к поисковой фразе. 

Но оставались следующие проблемы:

• поиск зависит от слов;
• не учитываются вспомогательные материалы (фото, видео, цитаты и т. п.).

Главная из проблем была в том, что не всегда в одном заголовке можно было полностью описать смысл статьи. Довольно часто в статье нет конкретных ключевых слов, но при этом она полностью раскрывает тему и дает развернутый ответ на вопрос пользователя.

Алгоритм Палех

В 2016 году в системе ранжирования была применена компьютерная модель нейросети. Главная особенность подобного подхода в том, что теперь компьютер способен запоминать свои ошибки и обучаться на собственном опыте.

В этом же году были введены семантические вектора. Название статьи пропускалось через нейронную сеть и раскладывался на множество векторов. Теперь компьютеры сравнивали не слова из поиска, а многомерные массивы чисел и векторов. Удалось уйти от прямой зависимости от количества тех или иных слов в фразе, а отдать приоритет смысловому содержанию.

Из недочетов осталась проблема низкой скорости работы. Для формирования поисковой выдачи сравнивались всего 200 наиболее подходящих статей. Поэтому системе было сложно отыскать многословные смысловые фразы типа «фильм про девочку, шпионку которая сбегает и учиться в школе».

Алгоритм Yandex Королев

В последнем нововведении в первую очередь провели оптимизацию нейросети и улучшили продуктивность обработки текста. Сейчас вектора сравниваются заранее в оффлайн режиме, благодаря этому удалось повысить результативность формирования поиска.

Yandex самостоятельно собирает статистику об заинтересованности пользователей и по ним создает заранее подготовленную поисковую выдачу.

Благодаря оптимизации семантический вектор составляется не только для заголовков, а для всего контента целиков. Удается найти максимум смысловых связей между словами.

Угрозы для сайтов

В целом никаких опасностей для сайтов не создалось и статистика переходов особо не изменяется. В первую очередь нововведения коснуться информационных блогов, форумов и сайтов с фильмами.

С лидирующих позиций могут слететь вебсайты не отвечающих интересам пользователя. Например, название «домашний яблочный сок», а в статье рассматриваются методы выращивания деревьев, блинчики с повидлом и совершенно иной текст.

Не забываем сделать репост и подписаться на рассылку блога. Всех благ.

Всего наилучшего, Галиуин Руслан.

Полезные материалы:

Добавить комментарий