Алгоритм Яндекса с нейроными сетями

Яндекс запустил новый «умный» алгоритм по поиску веб-страниц. В нем задействованы не только ключевые слова, но и смысл запроса, набранного пользователем.  

Сопоставлением смысла запроса и соответствующего документа занимается поисковая модель, основанная на нейронных сетях. Расскажем немного о том, как она работает.

Точный поиск по «длинным хвостам»

Алгоритм на нейронных сетях позволяет поиску Яндекса более точно отвечать на сложные, но довольно частые запросы из «длинного хвоста».

Ежедневно поисковик Яндекс отвечает на более, чем 250 миллионов запросов. Многие из них уникальны и не повторяются. Но самое удивительное, что такие низкочастотные запросы составляют весомую часть всего поискового потока. В то время как список самых популярных запросов ограничен, хотя и встречаются они в поисковой строке Яндекса чаще.

Другими словами, пользователи предпочитают искать нечто конкретное, уточненное и «со смыслом», оставляя абстрактные запросы в прошлом. Есть несколько категорий пользователей, которые любят задавать сложные запросы из «длинного хвоста». К примеру, дети или взрослые, которые запамятовали название книги, либо фильма (вводят в строку поиска фразу, либо фрагмент кинофильма).

Безусловно, что поисковику сложнее воспринимать запросы из «длинного хвоста». И введенные в длинном запросе слова могут просто запутать поисковую систему, которая выдаст совершенно не тот по значению результат.

Для этого Яндексом и были привлечены нейронные сети.

Как работают нейронные сети и что такое семантический вектор?

Нейронная сеть по принципу искусственного интеллекта легко обучается распознаванию звука, текстовой информации и изображений. Нейросеть в состоянии различить положительные и отрицательные результаты, найти нужные объекты и дифференцировать их по заданным признакам.

В случае с поисковым алгоритмом речь идет о текстовой информации, так называемой паре, состоящей из запроса и заголовка веб-страниц. Примеры их соответствия подбираются с помощью статистики, накопленной в поиске. Так, нейросеть обучается, находя смысловые соответствия между парами.

Поскольку компьютерной системе более понятен язык цифр, специалисты Яндекс научили нейрсеть переводить множество заголовков и веб-страниц в числовые значения. В итоге вся документация базы данных Яндекса получила координаты в трехсотмерном пространстве.

Провести подобные расчеты для человека практически невозможно. Поэтому не будем углубляться в решение этой задачи. Уточним только, что и поисковой запрос, и веб-страница могут располагаться в одном пространстве координат. И чем ближе они будут друг к другу, тем точнее найденная страница соответствует запросу.

Подобный способ обработки поискового запроса и его совпадение с ответами в Яндексе назвали семантическим вектором.

Такой подход идеален для запросов из «длинного хвоста». Поскольку семантические векторы подыскивают ответы на самые сложные запросы. Мало того, изображение запроса и веб-страницы в виде вектора в трёхсотмерном пространстве, позволяет получить самый точный результат выдачи. В него попадают и те веб-страницы, которые не связаны с запросом общими словами, а только лишь смыслом.

Семантический вектор используется не только Яндексом, но и сервисом «Картинки», когда находит в интернет-сети изображения, отвечающие введенному текстовому запросу.

У технологии семантического вектора большое будущее. Смысловой «умный» поиск в интернете сегодня намного актуальнее, чем бессмысленные запросы-роботы. Поэтому и от веб-ресурсов требуют содержательного и познавательного контента.

Обучайтесь со смыслом, узнавайте новое с GUSAROV.

04.11.2018

СПАСИБО, ЧТО ДОВЕРИЛИСЬ НАМ!

Мы вас не подведём! Наш менеджер перезвонит в течение часа, чтобы обсудить всё, что вам интересно. Не бойтесь спрашивать, мы не кусаемся!

СПАСИБО, ЧТО ДОВЕРИЛИСЬ НАМ!

Мы вас не подведём! Наш менеджер перезвонит в течение часа, чтобы обсудить всё, что вам интересно. Не бойтесь спрашивать, мы не кусаемся!

СПАСИБО, ЧТО ДОВЕРИЛИСЬ НАМ!

Мы вас не подведём! Наш менеджер перезвонит в течение часа, чтобы обсудить всё, что вам интересно. Не бойтесь спрашивать, мы не кусаемся!

• Беларусь

• Россия

• Другие

«Палех» — новый поисковый алгоритм от Яндекса

В ноябре 2016 года, компанией Яндекс был представлен поисковый алгоритм, который называется «Палех». Для реализации этого алгоритма использовались искусственные нейронные сети.

«Длинный хвост» поисковых запросов

Ежедневно поиск Яндекса отвечает в среднем на 280 миллионов запросов разной частотности, часть которых вводится практически ежесекундно, а другие настолько уникальны, что могут больше не повториться. Визуально распределение частотности запросов можно представить в виде Жар-птицы (сказочный персонаж, который встречается на палехских миниатюрах – отсюда и название алгоритма).

Запросы, которые задают очень часто (их небольшое количество), образуют «клюв» птицы. Те запросы, у которых средние количество и частотность, составляют «туловище». Низкочастотные запросы, встречающиеся крайне редко по отдельности, вместе образуют «длинный хвост» — они являются большей частью поискового потока (таких запросов вводят около ста миллионов ежедневно).

Так как запросы из «длинного хвоста» пользователи задают реже остальных, то отслеживание статистики поведения по ним представляется трудной задачей. Из-за этого поисковой системе трудно понять то, какие сайты могут соответствовать таким запросам, а какие нет. Для того чтобы поиск мог лучше обрабатывать «длинный хвост» запросов, Яндекс создал новый алгоритм, для разработки которого были привлечены искусственные нейронные сети.

Искусственные нейронные сети и семантический вектор

Искусственные нейросети нашли свое применение в различных задачах машинного обучения. Сеть можно научить распознавать какие-либо объекты, например изображения. Во время обучения, сети показывают набор картинок. Одна часть этого набора содержит нужные для распознавания объекты (положительный пример), а другая не содержит (отрицательный пример). После обучения, нейронная сеть способна определять необходимые объекты на разных изображениях.

В случае с поисковыми запросами, приходится иметь дело не с изображениями, а с текстами (запросов и заголовков). Обучение нейросети происходит по тому же принципу положительных и отрицательных примеров. В качестве примера здесь выступает пара «запрос-заголовок».

Так как компьютеру проще работать с числами, то разработчиками было принято решение обучить нейронную сеть переводить заголовки веб-страниц, известные Яндексу, в группы из трехсот чисел. В результате документы из базы Яндекса получили координаты в трехсотмерном пространстве.

В виду того, что такое многомерное пространство представить довольно трудно, в качестве примера можно рассмотреть двумерное пространство. В этом случае каждое число будет координатой одной из двух осей, а веб-страница будет соответствовать точке на координатной плоскости.

По тому же принципу, текст запроса переводится в числовой набор, т.е. запрос помещается в то же пространство координат, что и заголовок веб-страницы. Суть такого представления состоит в том, что чем ближе координаты поискового запроса и заголовка будут располагаться друг к другу, тем релевантнее будет страница. Такой способ сопоставления запроса с вероятными ответами называется «семантическим вектором».

Таким образом, семантические векторы позволяют лучше находить соответствующие запросу страницы при отсутствии поведенческой статистики.

Яндекс запускает новый алгоритм Палех для улучшения результатов поиска по запросам с длинным хвостом

Перейти к основному содержанию

Габби Стейгвил

Габби Стейгвил

Специалист по маркетингу в Cet-annonsering.no — агентство цифрового маркетинга

Опубликовано 3 ноября 2016 г.

+ Подписаться

Новый алгоритм Яндекса Палех только что сравнялся с RankBrain от Google?

Яндекс объявил в своем блоге на русском языке, что они запустили новый алгоритм, направленный на улучшение обработки запросов с длинным хвостом. Новый алгоритм называется Палех, по названию всемирно известного российского города, на гербе которого изображена жар-птица.

У жар-птицы длинный хвост, и Яндекс, крупнейшая российская поисковая система, использовал это кодовое имя для запросов с длинным хвостом. Длинные запросы — это несколько слов, введенных в поле поиска, которые в наши дни чаще встречаются в голосовых запросах. Яндекс говорит, что около 100 миллионов запросов в день попадают под классификацию «длинного хвоста» в их поисковой системе.

Алгоритм Палеха позволяет Яндексу понимать смысл каждого запроса, а не просто искать похожие слова. Что напоминает мне Google RankBrain. Я спросил у Яндекса, похожа ли она на RankBrain от Google, и они ответили, что «точно не знают, какая технология стоит за RankBrain от Google, хотя эти технологии выглядят очень похожими».

Алгоритм Палеха Яндекса начал использовать нейронные сети в качестве одного из 1500 факторов ранжирования. Представитель Яндекса сказал нам, что им «удалось научить наши нейронные сети видеть связи между запросом и документом, даже если они не содержат общих слов».

Они сделали это, «преобразовав слова из миллиардов поисковых запросов в числа (с группами по 300 в каждом) и поместив их в 300-мерное пространство — теперь каждый документ имеет свой собственный вектор в этом пространстве», — сказали нам. «Если номера запроса и номера документа находятся рядом друг с другом в этом пространстве, то результат релевантен», — добавили они.

Когда я спросил, используют ли они машинное обучение, Яндекс сказал, что они используют машинное обучение, и объяснил, что они обучают свою «нейронную сеть на основе этих запросов, что приведет к некоторым улучшениям в ответах на диалоговые запросы в будущем». Добавив, что у них «также есть много целей (прогнозирование длинных кликов, CTR, модели «нажимать или не нажимать» и т. д.), которые обучают нашу нейронную сеть — наше исследование показало, что использование большего количества целей более эффективно».

Источник: http://searchengineland.com/yandex-launches-new-algorithm-named-palekh-improve-search-results-long-tail-queries-262334?utm_campaign=socialflow&utm_source=facebook&utm_medium=social

• Google удаляет функцию ключевых слов контента из Google Search Console

  29 ноября 2016 г.

  

• Google официально меняет формат расширения цен AdWords на карты, которые можно перелистывать

  16 ноября 2016 г.

• Все о мобильном индексе Google

  10 ноября 2016 г.

• Google тестирует кнопку «наверх» в интерфейсе мобильного поиска

  4 ноября 2016 г.

• Поисковая реклама принесла 50% доходов от цифровой рекламы в первой половине 2016 года.

  

  2 ноября 2016 г.

• Расширение Google AdWords для текстовых сообщений выходит из бета-версии

  1 ноября 2016 г.

• 8 изменений SEO за последние 10 лет

  1 ноября 2016 г.

Исследуйте темы

Яндекс — Вики | Golden

Яндекс — технологическая компания, которая создает интеллектуальные продукты и услуги на основе машинного обучения. Их цель — помочь потребителям и компаниям лучше ориентироваться в онлайн- и офлайн-мире. С 1997 года Яндекс предоставляет локальные поисковые и информационные услуги мирового класса. Кроме того, они разработали ведущие на рынке транспортные услуги по требованию, навигационные продукты и другие мобильные приложения для миллионов потребителей по всему миру. Яндекс, у которого более 30 офисов по всему миру, котируется на NASDAQ с 2011 года9.0003

Яндекс заблокирован на территории украины в 2017 году.

Хронология

Яндекс запустил проект «Рука помощи» для поддержки врачей, медсестер и других медицинских работников, а также всех, кто оказался в трудной ситуации. Службы доставки Яндекса развивались экспоненциально, в том числе из-за роста числа клиентов, вызванного карантином. Новый скачок в поисковых технологиях и главное улучшение за последние десять лет получило название YATI. Яндекс.Маркет, пионер системы сравнения покупок, снова присоединился к экосистеме Яндекса. у яндекс

Экспресс-доставка продуктов и товаров для дома на дом менее чем за 15 минут после оформления заказа запускает летом Яндекс.Лавка. Яндекс запускает первую в России экосистему умного дома на базе Алисы. Яндекс представляет крупное обновление поиска (Vega). Яндекс добился значительного прогресса в беспилотных технологиях, протестировав в дорожных условиях автономного робота для доставки малогабаритных грузов и протестировав лидары собственной разработки. Образовательная инициатива Яндекса стартует в сентябре, когда компания объявляет об инвестициях в пять миллиардов рублей в подготовку 100 000 специалистов для ИТ-сектора в течение трех лет.

Яндекс представляет свой первый аппаратный продукт — Яндекс.Станцию, умную колонку, оснащенную русскоязычным голосовым помощником компании на основе искусственного интеллекта. Яндекс выводит свой автономный автомобиль из лаборатории на дорогу. В начале этого года Яндекс запускает два сервиса: каршеринг Яндекс.Драйв и сервис доставки заказов Яндекс. Еда. Яндекс выпускает большое обновление своей поисковой системы, которое включает в себя более тысячи улучшений.

Яндекс запустил первого диалогового ИИ-помощника, не ограниченного набором предопределенных сценариев, под названием «Алиса». Компания открыла исходный код CatBoost, новой библиотеки машинного обучения, основанной на повышении градиента. Яндекс разработал и внедрил новый поисковый алгоритм Королев. Компания начала тестировать свою беспилотную автомобильную технологию. «Яндекс.Такси» и Uber договорились об объединении бизнеса в России, Азербайджане, Армении, Беларуси, Грузии и Казахстане. Яндекс.Переводчик добавил нейронную модель машинного перевода. Компания также представила ряд новых услуг и продуктов для бизнеса, в том числе многофункциональное голосовое решение для подключенных автомобилей «Яндекс.Авто» и платформу для совместной работы «Яндекс.Коннект».

Яндекс запустил новый алгоритм поиска, использующий нейронные сети для извлечения результатов поиска по смыслу, а не по ключевым словам. Назван в честь села Палех. Компания запустила образовательный проект «Яндекс.Лицей» по обучению программированию 14-15-летних. В браузер Яндекса и лаунчер Яндекса встроена технология персонализированных рекомендаций по контенту под названием Дзен. Яндекс запускает программу, направленную на развитие и поддержку образовательных веб-проектов по истории, литературе, языкознанию, искусству и философии. Также в этом году было выпущено приложение для записи на прием к врачу «Яндекс.Здоровье», а также новые сервисы для бизнеса — виртуальная автоматизированная система общения клиентов «Яндекс.Телефония» и «Яндекс.Аудитория».

Яндекс разработал собственную технологию прогнозирования погоды под названием Meteum. Новые правила в Яндекс.Директе. В этом году запущено мобильное приложение «Яндекс.Паркинг» для водителей и «Яндекс.Радио». Также была выпущена бета-версия Яндекс.Транспорта. Заработали два сервиса для бизнеса: летом агрегатор логистических услуг «Яндекс.Доставка»; а осенью медиа-сервис, который, как автоматическое информационное агентство.

Яндекс открыл Yandex Data Factory, международный проект, предоставляющий решения для работы с большими данными корпоративным и корпоративным клиентам. Яндекс и Московская Высшая школа экономики совместно открыли факультет компьютерных наук, который готовит специалистов по двум направлениям — программная инженерия и прикладная математика и информатика. Выпущено мобильное новостное приложение и два новых сервиса — «Яндекс.Город» и «Яндекс.Мастер». Первый помогал пользователям находить и выбирать предприятия и организации до 2016 года, а второй помогал людям находить специалистов для своих бытовых задач и был закрыт через год после запуска.

На конференции ЯК-2013 Яндекс представил собственную технологию распознавания голоса SpeechKit и API для работы с ней. Яндекс стал ассоциированным членом CERN openlab. Яндекс открыл Yandex.Store, магазин приложений для Android.

Яндекс выпустил браузер собственной разработки. Яндекс внедрил Real Time Bidding — технологию аукциона показов рекламы. Яндекс открыл свой облачный сервис хранения данных Яндекс.Диск. Яндекса

В мае Яндекс провел IPO на фондовой бирже NASDAQ в Нью-Йорке. Акции компании торгуются под тикером YNDX. Компания вышла за пределы постсоветского пространства, открыв 20 сентября в Турции портал yandex.com.tr. Он предлагает Яндекс.Поиск, Яндекс.Карты, Яндекс.Почту и другие сервисы для турецких пользователей. «Яндекс» представил свою новую технологию «Крипта», которая может классифицировать разные группы пользователей на основе их поведения в сети. Компания организовала соревновательный чемпионат по программированию «Яндекс.Алгоритм. Запущен Яндекс.Переводчик.

Продукты

Приобретения

Патенты

Дополнительные ресурсы

Воспроизведение видео в браузере — бета-версия браузера. Справка

Яндекс

ЯК 2021: Как живет Яндекс

8 декабря 2021

Яндекс — История — История Яндекса FinSMEs

FinSMEs

20 сентября 2021

FinSMEs

О компании | Рекламировать | Контакты | Отказ от ответственности | Новости | Ежедневный информационный бюллетень сделок FinSMEs. com от FinSMEs находится под лицензией Creative Commons Attribution-NonCommercial-NoDerivs 3.0 Unported License.

Яндекс выкупает долю Uber в Yandex Self-Driving Group, Eats, Lavka и Delivery за $1 млрд

Ребекка Беллан

31 августа 2021 Российская компания 100% владеет всеми четырьмя предприятиями.

The Station: Рождение Rimac-Bugatti, Tesla выпускает бета-версию FSD v9 и Ola привлекает 500 миллионов долларов настоящие и будущие средства перемещения людей и посылок из пункта А в пункт Б. Я вернулся из своего путешествия и плаваю в электронных письмах. Если вы отправили мне сообщение в Твиттере, по электронной почте или в голубиной почте, пожалуйста, дайте мне несколько дней […]

Yandex Self-Driving Group сотрудничает с Grubhub для роботизированной доставки в кампусы колледжей , объявила о партнерстве со службой доставки еды Grubhub, которая станет ее многолетним поставщиком роботизированной доставки в кампусах американских колледжей. По словам Дмитрия Полищука, генерального директора Yandex Self-Driving Group, Яндекс начнет работать этой осенью с десятками автомобилей и надеется достичь [.