«Как работает алгоритм яндекса «Королёв»? Не документация в их блоге, а конкретно как сопоставляются вектора сравнения в нейронной сети? » – Яндекс.Кью

Как новый алгоритм Яндекса «Королёв» повлияет на продвижение

22 августа 2017 года «Яндекс» презентовал новый алгоритм ранжирования «Королёв», основанный на принципах нейронной сети. По словам компании, теперь поиск «Яндекса» будет точнее распознавать запросы пользователей не по прямым фразам, а по смыслу.

До этого в прошлом году «Яндекс» запустил алгоритм «Палех», который точнее понимал «длинный хвост» запросов, редко встречающихся в поиске из-за многословности или неточности.

Как новый алгоритм Яндекса «Королёв» повлияет на продвижение

Но оставалась проблема — как научить поиск определять ту самую релевантность «редкого» запроса и быстро выдавать нужные пользователю страницы.

Пример запроса из «длинного хвоста»
Раньше эту задачу решали с помощью метода машинного обучения «Матрикснет», который учитывал связь запроса с заголовком страницы. Но результаты поисковой выдачи были недостаточно релевантными. Поэтому в июле 2017 года Яндекс перешел на CatBoost — категориальный бустинг, на котором и работает «Королёв». Эта технология распознает данные из разнородных источников и учитывает категориальные признаки.

Разберем пример на яблоках. Бывают разные сорта: «Симиренко», «Гренни», «Антоновка», «Фуши». В этом случае сорт — это категория. Задача алгоритма — понять эту связь и предложить релевантные запросу страницы. Помимо этого, нужно учесть поведенческие сигналы — прочие запросы, по которым пользователи уже посещали сайт. Эти факторы и отличают новый метод от «Матрикснета».

Если целью «Матрикснета» было научиться понимать связи запросов с заголовками страниц, то CatBoost — со смыслом контента. Для этого и нужны категории. Со временем выдача запросов должна стать точнее и персонализированнее. Это и есть главная задача «Королёва», который, по сути, можно назвать «Палехом 2.0».

Если раньше для успешного продвижения нужно было создавать две одинаковые по смыслу страницы, но с разными заголовками, то в будущем достаточно будет одного качественного текста, чтобы покрывать разные многословные запросы.

Что теперь
Контент должен быть полезен, а не только напичкан точными вхождениями ключей. Еще нужно обратить внимание на синонимы поисковых фраз и слова, задающие тематику, чтобы сесть на «длинный хвост». Это уже не SEO-копирайтинг, а LSI-тексты. Употреблять фразы в них можно с разной частотностью, но они должны быть каким-то образом связаны с якорным запросом.

Слова, которые дополняют запрос «купить ноутбук»
Что же станет с коммерческими запросами? Ничего. Выдача по высокочастотным коммерческим запросам настолько «законсервирована», что интернет-магазины и в целом e-commerce не почувствует значимых изменений. В большей степени «Королёв» актуален для контентных проектов — блогов, журналов, СМИ, отраслевых порталов.

Нейронные сети помогли Яндексу лучше отвечать на необычные запросы

Интернет, 2 ноября 2016 года. Яндекс запустил новый поисковый алгоритм «Палех», в основе которого лежат нейронные сети. Благодаря «Палеху» Яндекс стал лучше подбирать ответы на редкие и уникальные поисковые запросы. Такие запросы редко повторяются, но в совокупности их очень много — около ста миллионов в день.

При подборе ответов на запросы поисковые системы используют ключевые слова. Если слова из запроса есть на веб-странице, то она, вероятно, будет интересна пользователю. Но только на слова опираться нельзя: один и тот же смысл можно выразить совершенно по-разному. Тогда на помощь приходят дополнительные данные, например обезличенная статистика: на какие страницы перешли пользователи, задавшие такой же запрос. В случае с уникальными запросами статистики мало или нет вовсе — а значит, поиску труднее понять, какие страницы хорошо отвечают на запрос, а какие нет.

Поисковая модель на нейронных сетях, которую использует «Палех», умеет устанавливать смысловые соответствия между поисковым запросом и заголовками веб-страниц. С её помощью можно выявить, что в запросе и на странице говорится об одном и том же, даже если у них нет общих ключевых слов. Так, поиск поймёт, что в запросе [фильм про человека который выращивал картошку на другой планете] речь идёт о «Марсианине», хотя релевантные страницы могут и не содержать слов «картошка» или «планета».

Редкие и уникальные запросы составляют почти треть всего потока поисковых запросов, поэтому иногда их называют «длинным хвостом» поиска. Новому алгоритму решили дать название «Палех» в честь Жар-птицы — сказочной птицы с длинным хвостом, которая часто появляется в сюжетах палехской миниатюры. Рассказ об алгоритме «Палех» и особенностях поисковых запросов из «длинного хвоста» опубликован в блоге Яндекса. О том, как разработчики поиска обучали нейронную сеть обрабатывать редкие и уникальные запросы, можно узнать в статье на «Хабрахабре».

Искусственные нейронные сети — один из методов машинного обучения. Он показывает отличные результаты в анализе естественной информации: изображений, звука, текста. В Яндексе нейронные сети задействованы в поиске по картинкам и смежных задачах — например, модерации рекламных объявлений и фильтрации взрослого контента. На их основе также построены модели, отвечающие за распознавание речи.

Контакты
Пресс-служба компании «Яндекс»
Владимир Исаев, Матвей Киреев
Тел.: +7 495 739-70-00
Электронная почта: [email protected]

Алгоритм Яндекса «Палех» | Новый поисковый алгоритм «Палех»

В ноябре 2016 года анонсировано нововведение в самом популярном поисковике Рунета. Яндекс запустил новый алгоритм, получивший название «Палех» и базирующийся на нейронных сетях.

Суть нового поискового алгоритма «Палех» от Яндекса

Пользователями в день задается огромное количество как одинаковых, так и уникальных, редких запросов. Сотрудники Яндекса сравнивают весь пул поисковых фраз с птицей: самые популярные — клюв, среднечастотные — туловище, редкие — хвост. Последние могут быть заданы всего лишь один раз за всю историю, однако в совокупности их много — около 40%. При поиске по таким запросам были обнаружены сложности, которые новый алгоритм «Палех» должен исключить. Метод машинного обучения «Матрикснет» для построения формулы ранжирования использует данные о поведении людей, преобразованные в факторы. Этот подход хорошо работает для популярных запросов, где таких данных много. При оценке же уникальных фраз подобных факторов у «Матрикснета» нет, что влияет на качество поиска. Более того, в запросах «хвоста» не всегда точным образом заданы ключевые слова. К примеру, во фразе «фильм где день повторялся снова и снова» никак не фигурирует слово «сурок».

На помощь Яндексу при ранжировании таких запросов и пришел поисковый алгоритм «Палех». Его название символизирует длинный хвост жар-птицы, зачастую изображаемой на миниатюрах этого поселка в Ивановской области.

Математической моделью нового алгоритма «Палех» в Яндексе послужили нейронные сети. Преимуществом такого подхода является возможность обучения, в процессе которого машиной могут быть обнаружены сложные взаимосвязи между данными. В случае с поисковым алгоритмом «Палех» запросы были представлены как множество чисел со своими координатами. Это позволяет расположить все фразы в одном пространстве и определить близость между ними. При создании поискового алгоритма также была использована информация о поведении пользователей Яндекса в качестве положительных и отрицательных примеров для нейронной сети. Благодаря новому методу поиска «Палех» теперь может определять, насколько по смыслу близки друг другу непохожие по семантике запросы.

Влияние нового поискового алгоритма Яндекса на SEO

Уже сейчас действие поискового алгоритма «Палех» в Яндексе может распространяться на все группы запросов, но на фразы «хвоста» оказывается более сильное влияние. Тем не менее, это всего лишь один из тысячи факторов ранжирования, который может быть использован «Матрикснетом» в случае необходимости.

Нейронные сети хорошо обучаемы и имеют большой потенциал для улучшения ранжирования в Яндексе. Сейчас поиск ведется только по заголовкам, которые, как правило, не содержат всей информации о документе. Поиск с использованием нового алгоритма «Палех» по всему контенту открывает Яндексу новые возможности для оценки релевантности текстов. По словам разработчиков, их цель — создание моделей, «понимающих» семантическое соответствие запросов и текстов на уровне мышления человека.

Пока это планы на будущее, но уже сейчас поисковик все большее внимание уделяет смыслу текстов. Для получения топовых позиций недостаточно «насытить» страницу ключевиками, она должна максимально подробно отвечать на запрос пользователя. Благодаря поисковому алгоритму «Палех» это позволит увеличить трафик по низкочастотным запросам в Яндексе, а значит, привлечь потенциальных клиентов.

«Яндекс запустил новый поисковый алгоритм «Палех»» в блоге «Информационные технологии»

Яндекс запустил новый поисковый алгоритм «Палех», в основе которого лежат нейронные сети. Благодаря «Палеху» Яндекс стал лучше подбирать ответы на редкие и уникальные поисковые запросы. Такие запросы редко повторяются, но в совокупности их очень много — около ста миллионов в день.

При подборе ответов на запросы поисковые системы используют ключевые слова. Если слова из запроса есть на веб-странице, то она, вероятно, будет интересна пользователю. Но только на слова опираться нельзя: один и тот же смысл можно выразить совершенно по-разному. Тогда на помощь приходят дополнительные данные, например обезличенная статистика: на какие страницы перешли пользователи, задавшие такой же запрос. В случае с уникальными запросами статистики мало или нет вовсе — а значит, поиску труднее понять, какие страницы хорошо отвечают на запрос, а какие нет.

Поисковая модель на нейронных сетях, которую использует «Палех», умеет устанавливать смысловые соответствия между поисковым запросом и заголовками веб-страниц. С её помощью можно выявить, что в запросе и на странице говорится об одном и том же, даже если у них нет общих ключевых слов. Так, поиск поймёт, что в запросе [фильм про человека который выращивал картошку на другой планете] речь идёт о «Марсианине», хотя релевантные страницы могут и не содержать слов «картошка» или «планета».

Редкие и уникальные запросы составляют почти треть всего потока поисковых запросов, поэтому иногда их называют «длинным хвостом» поиска. Новому алгоритму решили дать название «Палех» в честь Жар-птицы — сказочной птицы с длинным хвостом, которая часто появляется в сюжетах палехской миниатюры.

Искусственные нейронные сети — один из методов машинного обучения. Он показывает отличные результаты в анализе естественной информации: изображений, звука, текста. В Яндексе нейронные сети задействованы в поиске по картинкам и смежных задачах — например, модерации рекламных объявлений и фильтрации взрослого контента. На их основе также построены модели, отвечающие за распознавание речи. Далекая, но чрезвычайно интересная цель поиска Яндекса состоит в том, чтобы получить на основе нейронных сетей модели, способные «понимать» семантическое соответствие запросов и документов на уровне, сравнимом с уровнем человека.

Палех Яндекс | Новый алгоритм Яндекс Палех

Еще пару месяцев назад в Яндекс со многими моими сайтами случилось нечто неописуемое… Уже тогда я четко знал, что нас что-то ждет. Вообще основа моего продвижения — это подготовка для продвигаемого сайта больших порций оптимизированного контента и проработка структуры, что позволяет уверенно и на протяжении долгих месяцев наращивать трафик. Из года в год сайты стабильно наращивали посещаемость, в Сентябре начали происходить странные вещи, как оказалось — уже тогда работал новый алгоритм Яндекс — Палех. Но об этом ниже.

Краткое введение

Буду очень краток. Палех использует нейронный сети в построении выдачи по случайным запросам. Случайные запросы (писал тут) это наиболее распространенные запросы, которые генерируют пользователи и на такие запросы труднее всего ответить роботу, т.к. нет никаких накопленных данных по ним (ни ПФ, ни ссылок, ничего, т.к. о таких запросах никто не может знать заранее, ведь они задаются поиску всего однажды).

Искусственный интеллект призван сопоставлять имеющиеся в базе документы с запросом пользователя даже если он ни разу и нигде не встречается. Только вот данная технология ранее применялась при сопоставлении изображений (определение номера автомобиля) и при сопоставлении звуков (идентификация голоса). Сравнение текстов до настоящего момента не получило широкого распространения, поэтому технология еще достаточно сырая. Вероятно, ввиду этого — в случае с Яндекс используется именно выборка по тайтлам сайтов. То есть именно title страниц попадают в поле зрения искусственного интеллекта при построении выдачи.

Сама же выдача по наиболее частым случайным запросам должна стать более качественной.

Вот только я заметил совсем другие изменения…

Что на самом деле?

А на самом деле Яндекс полон сюрпризов

Во первых, а об этом почти никто не пишет — сильно просели позиции страниц с большими текстами. Был прям таки провал, но под конец все вернулось на круги своя. Ниже вы можете видеть несколько примеров. И данная картина наблюдалась на многих проектах. Иногда этот странный провал был очень заметен, иногда просто было плато, там где должен быть рост.  Очень уж трудно это увязать с описанием нового алгоритма — по сути — в описании нет ничего, что может прояснить подобную ситуацию.

 

 

На скриншоте выше — ярко выраженное плато там где должен быть сезонный рост!

 

На скриншоте выше очень ярко выраженный провал, как раз сайт продвигается большими текстами!

 

Во вторых было ясно заметно, что Яндекс ужесточил нажим на сайты, которые грешат текстовым спамом — их позиции были урезаны еще сильнее.

Повсеместно блогеры пишут о планомерном увеличении трафика на контентных сайтах — да — и такое я наблюдал, включая мой блог, но должен вас разочаровать, что в процентном соотношении данный подъем ни на одном из сайтов не сильно превысил средний процентный рост сезонности от прошлого года. То есть да, рост есть, но он вызван скорее всего именно сезонностью и общей динамикой трафика из поиска:

 

Вообще очень странный алгоритм и его еще надо переварить, но у меня уже есть множество идей про внедрению и размножению искусственной семантики внутри контентных сайтов.  Одно ясно без сомнений — глубокая проработка семантики и структуры стала (должна стать) еще эффективнее. Вообще — правильная структура сайта и ранее была одним из наиболее эффективных факторов увеличения посещаемости сайтов в разы, а с Палехом широкий семантический охват становится еще более значимым!

НО! Тут есть просто огроменное но — все это актуально только при правильно заполненных тайтлах, то есть значимость правильного заполнения этого тега возросла многократно и это особенно актуально для интернет магазинов, многие из которых грешат ужасными title, практически одинаковыми в рамках всего сайта. То есть, если у вас даже идеальная структура, но не проработаны тайтлы — ничего хорошего из этого не выйдет!

Чтобы получить качественный сайт c возможностями продвижения, самым первым делом в его создании становится проработка семантического ядра ресурса. А для того, чтобы ваш сайт был оптимален для продвижения по СЕО, у него должна быть соответствующая структура. Про нее я писал тут.

Стоит отметить, что я готовлю большое руководство по самостоятельной проработке структуры для сайта и интернет магазина. Руководство будет доступно только для подписчиков блога, так что подписывайтесь на обновления, чтобы не пропустить этот материал!

 

 

 

Алгоритм Палех — искусственный интеллект в поиске

Уже несколько лет Яндекс при ранжировании сайтов использует Матрикснет — метод машинного обучения, опирающийся на большое количество факторов: текстовые, коммерческие, поведенческие и т.д. Количество факторов каждый год растет и на данный момент составляет более 1500.

В начале ноября 2016 года Яндекс представил новый поисковый алгоритм Палех, помогающий основному алгоритму Матрикснет работать с редкими низкочастотными запросами.

По статистике Яндекса около 40% из всех вводимых пользователями запросов являются низкочастотными, даже уникальными. График распределения частотностей запросов чаще всего представляют в виде птицы, где клюв олицетворяет более общие высокочастотные запросы, процент которых относительно всех запросов низок. Далее туловище представляет собой среднечастотные запросы из Клюва со словами-уточнениями, и наконец, Хвост – очень низкочастотные редкие запросы.

В связи с тем, что низкочастотных запросов очень много, то получить наиболее релевантный ответ с помощью Матрикснета становится очень сложно. Подсказок от пользователей в виде поведенческих факторов нет, т.к. запросы сами по себе могут быть уникальны, поэтому для построения наиболее отвечающей пользовательскому вопросу выдачи Яндекс решил научиться понимать смысловое соответствие между запросом и документом.

Решением поставленной задачи для Яндекса стал еще один метод машинного обучения: ИНС – искусственные нейронные сети.

Как работает новый алгоритм Палех?

Технология ИНС уже испытана в распознавании картинок или музыки. В случае поисковых систем речь пойдет о понимании смысла текстов.

Суть данного метода в том, чтобы система обучалась на положительных и отрицательных примерах поисковой системы, накопленных ранее, по наиболее популярным запросам, сопоставляла пользовательские запросы и заголовки документов и находила наиболее релевантный ответ.

Для сопоставления системой запросов и заголовков их переводят в специальное 300-мерное пространство, где каждому запросу и заголовку соответствует группа из 300 чисел. Таким образом, выделяется семантический вектор.

Когда пользователь вводит длинный запрос в поисковую строку, Палех переводит его в 300-мерное пространство на соответствующих параллелях и показывает документ, наиболее подходящий к этому запросу в построенной системе координат.

На данный момент обрабатывается не весь текст ресурса, а только заголовки, но Яндекс говорит, что в планах работа со всем текстом. Это позволит еще лучше понимать, удовлетворяет ли требованиям пользователя сайт, и формировать максимально релевантные результаты поиска.

Примеры работы алгоритма Палех

Работу нового алгоритма Яндекса Палех можно оценить только на низкочастотных запросах, так как на ВЧ запросах приоритетнее другие факторы ранжирования.

При запросе «фильм в котором человек родил и зачал себя сам» мы получим в ответ информацию о фильме «Патруль времени» 2014 года, а не сайты с ответами на вопросы на форумах.

Что делать коммерческим сайтам с Палехом?

Новый алгоритм Яндекса практически никак не влияет на ранжирование интернет-магазинов и сайтов услуг, так как Палех направлен в первую очередь на ресурсы с большим текстовым контентом. Для продвижения сайтов продажи услуг и товаров гораздо важнее цены, юзабилити, дизайн, коммерческие и поведенческие факторы.

Но следует учитывать, что новый алгоритм влияет на коммерческие контент-проекты, такие как, например, строительные порталы, где публикуется большое количество статей строительной тематики. В общем, этот алгоритм внедрен, чтобы улучшить качество поиска для низкочастотных запросов с «большим хвостом». Преимущества получают качественные информационные сайты.

Вместо заключения

Особенности нового алгоритма года Палех:

• Большое количество вхождений слов, связанных с запросом по смыслу повышает значение нового фактора;
• По информации Яндекса: Палех пока работает только с title страниц, а не с самим содержимым;
• Качество алгоритма измеряется поведенческими метриками пользовательской удовлетворенности.
• Влияние на ранжирование коммерческих сайтов в настоящее время алгоритм Палех не имеет, но это очередной повод задуматься о способах продвижения — что пора забыть времена, когда на позицию сайта можно было повлиять только ссылками или количеством ключей в тексте.

Современные реалии требуют создания удобных сайтов для людей, написание качественного контента, который будет полезен пользователям.

Алгоритм палех Яндекс — ранжирование с помощью сети

Компания Яндекс анонсировала внедрение нового поискового алгоритма – Палех, который строится на обучении искусственной нейронной сети понимать сложные поисковые запросы. Внедрение этого алгоритма – очень важная часть развития общего алгоритма компании Яндекс, которая выведет ее на новый уровень развития. Алгоритм Палех строится по принципиально новой технологии – поисковая система не будет отбирать релевантные веб-страницы путем сложного вычисления соответствия. Задав 300-х мерную систему координат, нейронная сеть сможет тут же находить ответ на запрос, отбирая страницу по 300 параметрам!

Птица Палех послужила основой для названия нового алгоритма

Создать поисковый алгоритм Палех компанию вынудила конкуренция с Google. Ни для кого не секрет, что раньше гугл лучше обрабатывал сложные запросы, выдавая пользователю более релевантные веб-страницы на сложные запросы. С введением алгоритма Палех компания Яндекс вступает в борьбу за примерно 35 % поисковых запросов, обработка которых, раньше вызывало трудности. Это поисковые запросы, которые содержат ошибки или слишком сложны для понимания поисковой машины. Например, точные вопросы или примерное описание какой либо искомой черты. При таких запросах поисковик обычно руководствуется названием веб-страницы (тег Title) и уникальным контентом. Если совпадение не находилось, то поисковик не считал такую страницу релевантной.

Алгоритм Палех ранжирует сложные запросы, которые не имеют аналогов

Сейчас, с помощью поискового алгоритма Палех, поисковик Яндекс способен не только понимать суть сложного поискового запроса, но и находить ответ в тех случаях, когда не заданы точные параметры поиска. В первую очередь, это касается запросов, в которых не представлены явные слова-определения (вконтакте, как доехать, выбрать и т.д.). Поисковая система на основе своего алгоритма отбирает наиболее вероятные страницы сайтов на основе 300 мерной системы, где представлены как явные факторы ранжирования, так и не явные. Алгоритм позволит улучшить релевантность поисковой выдачи Яндекс, и снова стать лидером на рынке поиска в России.

Простая двухмерная модель поиска на сложный запрос пользователя

Какие же изменения ждут вебмастеров при работе с сайтом. В первую очередь, это дает возможность сконцентрироваться на работе с качеством контента, не отдавая акцент на оптимизацию сайта. Во вторую очередь, судя по всему, повысится требование к качеству веб-страниц, которые будут участвовать в поиске по новой технологии. Также снизиться акцент на качество кода страницы, который в последнее время, набирал обороты. Для вебмастеров это обозначает, что необходимо больше внимание уделять «гуманитарной» части сайта (контенту), а не технической составляющей (коду). Алгоритм Палех – новая веха в развитие поисковых машин и ранжирование поисковых запросов. Благодаря ему, постепенно происходит переход от факторной модели работы поисковых систем, к отбору запросов на основе искусственной нейронной сети.

Более подробно о новом алгоритме Палех читайте тут