Яндекс новый алгоритм: как нейронные сети помогают поиску Яндекса — Блог Яндекса – SEO эксперты комментируют апдейт и дают советы

Содержание

Яндекс запустил новую версию поиска — «Вега»

Интернет, 17 декабря 2019 года. Яндекс представил «Вегу» — большое поисковое обновление. Теперь Яндекс точнее и быстрее отвечает на запросы, а также учитывает сигналы от асессоров-экспертов при обучении поискового алгоритма. Люди могут решать с помощью Яндекса гиперлокальные задачи — находить нужное в конкретном микрорайоне, квартале или даже доме. «Вега» объединяет более полутора тысяч улучшений, добавленных в поиск за последний год.

«Сегодняшнее обновление — итог работы большой команды в течение года. Оно отражает наше видение того, каким должен быть современный поиск: умным, технологичным и готовым помочь в любом месте и в любой ситуации, — говорит руководитель поискового портала Яндекса Андрей Стыскин. — В этом обновлении мы соединили передовые разработки Яндекса — новую систему хранения веб-документов, технологию предзагрузки результатов поиска и множество других решений — с обучением алгоритма с помощью асессоров-экспертов. Пользователи своим выбором подтверждают, что мы на верном пути. Доля поиска Яндекса на всех платформах сейчас составляет 57,9%, а доля на Android — самой популярной в России мобильной ОС — за год выросла на 4,8 процентных пункта и достигла 54,7%».

Улучшения в «Веге» распределяются по четырём ключевым направлениям:

Повышение качества поиска

Яндекс научился составлять поисковую базу с помощью нейросетей — они распределяют документы из базы по «смысловым кластерам». Такой подход даёт выигрыш во времени и вычислительных ресурсах. За счёт высвобождения ресурсов поисковую базу удалось увеличить вдвое. Теперь поиск находит даже страницы, которые могут потребоваться людям 1–2 раза в год.

Мгновенные ответы

В мобильном поиске появилась технология предварительной загрузки результатов поиска (пререндеринг). Она угадывает, каким будет полный текст запроса, в момент, когда человек только набирает первые слова. Технология позволяет сформировать результаты поиска заранее и мгновенно показать их пользователю, когда он нажмёт кнопку «Найти». Это экономит время, особенно при медленном интернете.

Экспертный поиск

Яндекс внедрил новый алгоритм ранжирования и обзавёлся асессорами-экспертами. Каждый такой асессор — профессионал в той или иной области. Например, асессор-гидролог понимает, как объяснить процесс [образования двухэтажных рек], и может квалифицированно оценить, насколько хорошо веб-страницы отвечают на запросы на эту тему. Вердикты асессоров-экспертов — ключевой сигнал для обучения нового алгоритма. Также Яндекс запускает сервис Кью, где учёные, профессионалы и просто разбирающиеся люди отвечают на вопросы пользователей. Оценки асессоров-экспертов и объяснения от специалистов из Кью позволяют получить полный и понятный ответ даже на сложные запросы.

Гиперлокальность

Яндекс обновил сервисы Район и Услуги. В Районе появились чаты, где могут общаться жители одного и того же дома, а Услуги научились показывать предложения услуг на карте. Теперь к Яндексу можно обращаться с задачами, которые раньше решались в основном в офлайне: от поиска сбежавшего кота до вызова на дом сантехника, готового приехать в течение получаса.

Подробнее об улучшениях, которые входят в состав «Веги», читайте в блоге Яндекса: https://yandex.ru/blog/company/vega

Дополнительные материалы — скриншоты, видео и фотографии — доступны на Яндекс.Диске: https://yadi.sk/d/AzXlSJCN502ecg

Контакты
Пресс-служба компании «Яндекс»

Александра Юданова
Тел.: +7 (495) 739 7000
E-mail: [email protected]

Новый алгоритм «Вега». Что ждать от Яндекса в 2020 году

«Андромеда» погасла. К концу 2019 года засияла «Вега», большое поисковое обновление для Яндекса. Оно вмещает более полутора тысяч улучшений, которые постепенно добавлялись в поиск в течение года. По заверениям представителей Яндекса, поисковик начнет быстрее и точнее отвечать на запросы. Пользователям же станут доступны гиперлокальные задачи и множество новых сервисов. Каким будет «Яндекс» в 2020 году? Давайте разбираться. 

Экспертный уровень ответов 

Яндекс набрал асессоров-экспертов, являющихся профессионалами в той или иной сфере. Вердикты экспертов стали ключевым сигналом для обучения нового алгоритма ранжирования. 

Вот что о найме асессоров-экспертов сообщает Максим Загребин, руководитель «Яндекс Поиска»:

Яндекс Вега Асессоры

Все асессоры проходят особый отбор, каждый из них отлично разбирается в отдельных темах. Эксперты квалифицированно оценивают, насколько хорошо веб-страницы отвечают на запросы по их специальности. Подход, при котором оценки асессоров имеют больший вес в сравнении с другими сигналами, позволяет улучшить ранжирование по самым разным запросам. 

Мнение простых пользователей по поводу усиления внимания к ответам асессоров разделились. Многим субъективный анализ сайтов кажется чем-то непонятным, чуть ли не убийственным для SEO. 

Яндекс Вега асессоры

Другая часть людей отнеслась к новости спокойней. Сеошники говорят о том, что идея использования экспертов не новая. Google давно оценивает значимые страницы подобным образом. Но хорошая это идея или нет – покажет только время. Остается надеяться, что Яндекс не будет слишком грубо опираться на субъективные оценки сторонних экспертов.

Мгновенные результаты

Яндекс должен не только давать исчерпывающие ответы на пользовательские запросы, но и работать максимально быстро. Для сокращения времени ожидания ответа, поисковик внедрил технологию предварительной загрузки поисковых результатов. Называется это пререндерингом. Технология угадывает, каким получится полный текст поискового запроса уже при наборе пользователем первых слов. Пререндеринг заранее формирует результаты поиска и демонстрирует их пользователю сразу после нажатия по кнопке «Найти». 

Яндекс Вега обновление

За год количество запросов, на которые Яндекс ответил сразу в выдаче, увеличилось больше чем на 20%. 

Повышение качества поиска

После запуска поискового обновления «Палех» Яндекс научился искать по смыслу, а не только по словам. Это стало возможным благодаря нейросетям, сопоставляющим смысл запроса и веб-страниц.  

С «Вега» Яндекс пошел еще дальше. Теперь нейросети задействуются при составлении поисковой базы. Умный алгоритм распределяет документы из базы по «смысловым кластерам».  Когда пользователь вводит запрос, поиск «достает» ответ не из единой огромной базы, а из отдельного кластера с документами, которые соответствуют запросу по смыслу. 

Смысловые кластеры являются основой новой системы хранения веб-документов. Тут следует выделить сразу несколько преимуществ:

  • Поиск понимает, какие кластеры релевантны запросу, и для ответа берет лучшие веб-страницы из потенциально подходящих;
  • Обработка запросов проходит быстрее и задействует меньше вычислительных мощностей;
  • Поисковая база увеличивается вдвое за счет высвобождения ресурсов.

Качество поиска повысилось настолько, что отныне Яндекс способен найти даже те страницы, которые нужны пользователям 1-2 раза в год.

Некоторые эксперты уже паникуют: якобы поисковик семимильными шагами отдаляется от свободного поиска, забирая выдачу в свое распоряжение. Появляется гигантский, почти монопольный агрегатор трафика. Похожее мнение высказывают и пользователи:

Яндекс Вега обновление

Есть и противоположное мнение. Мол, стратегия меняется, и для наращивания трафика используются не сайты, а разнообразные сервисы Яндекса – «Карты», «Кью», «Услуги», «Беру», «Дзен» и многие другие. Пока неизвестно, удобно ли это и выгодно в долгосрочной перспективе. Но то что привычное SEO в Яндексе отмирает, очевидно уже сейчас. 

Гиперлокальность 

Яндекс уже несколько лет учитывает регион и даже город, из которого задан запрос. Но в большинстве случаев этого недостаточно. Например, петербуржец, у которого сломался компьютер, предпочтет найти мастера из своего района, а не из другого конца северной столицы. 

Яндекс с запуском «Веги» стал гиперлокальным. Теперь решать задачи можно на уровне микрорайона или даже отдельного дома. Во многом это стало возможным благодаря новому сервису «Яндекс.Район», который был запущен в этом году во всех городах России. 

Яндекс.Район

С запуском «Веги» сервис «Район» окончательно вышел из бета-тестирования. Отныне «соцсеть для соседей» функционирует во всех российских городах. Появились новые функции, вроде голосования и ленты «Найдется все» — для поиска пропавших людей, животных и вещей. 

Яндекс Район Вега обновление

Сама лента заключила соглашение со спасательным отрядом «Лиза Алерт». 

Яндекс Район Вега

В дальнейшем сервис может быть интегрирован в иные проекты компании, заявляют представители поисковой системы. 

Яндекс.Услуги

Еще один сервис Яндекса, усиливающий гиперлокальность поисковика через поиск особых услуг в районе пользователя. 

Яндекс Услуги обновление Вега

Одна из особенностей «Услуг» — поиск исполнителей по карте. Порой важно, чтобы исполнитель находился рядом. 

Яндекс Услуги обновление Вега 2020

Яндекс.Кью

Одновременно с запуском «Веги» компания объединила «Яндекс.Знатоки» и The Question в один сервис «Яндекс.Кью». 

Яндекс Кью Вега обновление

Напомним, что с 2019 года в распоряжении Яндекса было два сервиса, посвященных ответам на пользовательские вопросы. Это «Знатоки» и купленный в марте 2019 года The Question. С момента присоединения последнего, число запросов, на который эксперты «Знатоков» и «TQ» давали ответы, выросло в четыре раза. 

Яндекс Кью мнение Вега

«Кью» вместит в себя весь контент с двух прошлых сервисов, включая избранное, истории и персональные рекомендации. Одно из важнейших изменений «Яндекс.Кью» — это улучшение качества ответов. Все эксперты теперь должны верифицироваться, а запросы будут выделяться плашкой «Обратите внимание». Так получится указать на потенциальную противоречивость информации.

Яндекс Кью обновление Вега

Новый сервис интегрирован в поисковую выдачу похожим на «Знатоков» образом. Демонстрируется несколько ответов и кнопка перехода на сервис. 

Яндекс.Коллекции

С запуском «Веги» компания запустила возможность сбора коллаборативных коллекций. Их могут собирать сразу несколько пользователей. Также «Коллекции» дают возможность создания контента организациям. Если компания имеет профиль в «Справочнике» или «Картах», она способна создавать контент в «Кью» или «Коллекциях».

Это отличная платформа для продвижения продукции, решение о покупки которых люди принимают на визуальном уровне. Например, это изготовление кондитерских изделий, хенд мейд, услуги фотографа, бренды одежды и т.д.

В «Коллекциях» можно указывать стоимость товаров, а в описании профиля или карточки предоставлять ссылку на сайт со страницей оформления заказа. «Бизнес-коллекции» можно продвигать через Директ. 

Яндекс 2020

Что в итоге? Если раньше для продвижения организации достаточно было включить пару предложений в «Справочник», то теперь придется активно работать со множеством сервисов Яндекса. Придется заводить локации, активно продвигаться на «Карте», использовать «Дзен», маркетплейсы, ряд социальных и визуальных сервисов. В скором будущем потребуется оптимизация и под голосовой поиск. В 2020 году придется быть экспертом еще больше, чем ранее. 

как он работает и в чем его суть

Мы увеличиваем посещаемость и позиции в выдаче. Вы получаете продажи и платите только за реальный результат, только за целевые переходы из поисковых систем

Получи нашу книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».

Подпишись на рассылку и получи книгу в подарок!

Поисковой алгоритм «Королёв» – алгоритм Яндекса нового поколения. Система с помощью сигналов нейронной сети совмещает семантику запросов пользователей и той информации, которую они ищут. С помощью новой версии ответы на запросы в Яндексе стали более точными и релевантными, а количество соответствующей информации для сложных запросов увеличилось.

Больше видео на нашем канале - изучайте интернет-маркетинг с SEMANTICA

Например, вы увидели картину, с кричащим человеком. Она вам очень понравилась, и вы решили найти ее в интернете. Но вы не знаете ни имени автора, ни названия самой картины, поэтому вы делаете следующий запрос:

Конечно, полотно не называется «картина, где человек кричит», но поисковик все равно помог нам найти именно то, что мы искали. В этом и есть принцип работы алгоритма «Королёв» – система ищет не только название материала, но и сам текст, размещенный на странице.

Такой же алгоритм работает и в Google, но уже под другим названием RankBrain.

Чем отличается от алгоритма «Палех»

Новый алгоритм «Королев» – это усовершенствованная версия предыдущего алгоритма компании, который носил название «Палех». Он был представлен в ноябре 2016 года и стал первым шагом в сторону семантического поиска. Его основная задача – лучше понять содержание контента на страницах.

В «Палехе» также использовались нейронные сети для поиска информации, но именно в «Королёве» увеличено их влияние на распределение сайтов поиске. Вот в чем отличия этих алгоритмов:

  • В «Королеве» встроена система сравнения смыслов запросов. В Яндексе привели пример запросов «ленивая кошка из монголии» и «манул». Целью двух этих запросов является найти информацию о мануле, и новый алгоритм Яндекса «Королёв» удовлетворит оба варианта поиска
  • В «Палехе» нейронные сигналы вступали в действие уже на последних этапах распределения информации, и останавливались примерно на 150 первых документах. Из-за такой схемы поиска терялось довольно много документов, особенно сложных , которые могли быть именно теми, что пользователь искал. «Королёв» ранжирует информацию уже на стадии индексирования, что приводит к вычислению 200 тысяч(!) документов.

После выпуска «Королева» поисковик смотрит не только на заголовок страницы, но и на ее содержание, на текст.

В чем суть работы и обучаемости нейронной сети

Яндекс не достиг бы таких высоких показателей без прямой связи с пользователями. Новый алгоритм совершенствуется и обучается с помощью обезличенной поисковой статистики. Система статистики учитывает, с какого запроса пользователь зашел на ту или иную страницу. Если он провёл на ней много времени, тогда вполне резонно предположить, что это именно та страница, которую он искал. Это значит, что поисковик выдал правильный ответ на вопрос пользователя.

Люди являются главными помощниками машин в этом дела. Яндексу нужна реальная оценка качества поиска от своих пользователей, поэтому они создали специальную платформу – Яндекс.Толока. Пользователи сервиса анализируют и оценивают работу поисковой системы. Они помогают компании улучшать качество работы алгоритма и получают за это денежное вознаграждение.

Раньше этим занимались нанятые работники – асессоры, но с ростом рынка спроса их стало катастрофически не хватать. Это и есть основной причиной создания Толоки.

На данный момент численность участников Толоки составляет больше миллиона человек.

С помощью алгоритма «Королев» Яндекс существенно сможет улучшить качество поиска. Люди сами делают свои запросы в Яндексе лучше, и чем больше людей будет привлечено в данный проект, тем меньше неудач в поиске на нас ждет в будущем.

Принцип работы нового алгоритма «Королёв»

Так же как и в алгоритме прошлого поколения «Палех», текст сайта с помощью нейросети преобразуется в смысловые векторы. «Королёв» высчитывает градиенты страниц не в тот момент, когда вы делаете запрос, а намного раньше, на этапе индексирования. Как только сайт проходит индексирование, к нему уже прикрепляются некоторые ключевые слова, которые поспособствуют дальнейшему упрощению поиска информации. Поэтому, когда вы вводите информацию, Яндекс уже выдает семантически схожие страницы.

Также система способна устанавливать связь между данным единичным запросом и другими запросами, которые способствуют попаданию пользователя на эту же страницу.

Влияет ли алгоритм на выдачу и нужно ли предпринимать какие-то действия, чтобы оптимизировать контент под «Королева»

Да, данный алгоритм в некоторой мере изменил поиск в Яндексе. Вот некоторые точные данные о том, насколько сильные есть изменения:

Как видим, изменение не являются феноменально большими. Особые изменение произошли в возрасте документов. В топ-100 поиска свежие документы теперь будут появляться намного чаще.

Оптимизировать статьи под «Королёв» нет смысла, потому что система учится определять смысл текста самостоятельно, а это значит, что в скором будущем в работе оптимизаторов значимость текстовой оптимизации снизится.

Новый поисковый алгоритм Яндекса. \"Вега\" к нам приходит...

Компания Яндекс запустила глобальное обновление поискового алгоритма, которое получило название «Вега».

Благодаря его внедрению в работу Яндекс будет гораздо быстрее точнее и быстрее отвечать на пользовательские запросы, а также будет учитывать сигналы, поступающие от асессоров-экспертов, в процессе обучения поискового алгоритма.

Кроме того пользователи Яндекса смогут решать с его помощью так называемые гиперлокальные задачи. Например, находить что-то нужное в конкретном микрорайоне, квартале или даже доме.

По словам представителей команды разработчиков, новый алгоритм «Вега» включает в себя более 1500 разнообразных улучшений, добавленных в работу поисковой системы Яндекс за последний год.

По словам представителей компании Яндекс современная поисковая система должна быть действительно умной, технологичной и готовой помочь пользователю в любом месте и в любой возникшей ситуации.

Именно поэтому в рамках обновления «Вега» в работу поисковой системы Яндекс были внедрены наиболее передовые технологии, например, такие как новая система хранения веб-документов, технология предварительной загрузки результатов поиска, обучение поискового алгоритма с помощью экспертов-асессоров и многое другое.

Улучшения, запущенные в рамках обновления «Вега» смело можно распределить по четырем основным направлениям. Давайте поговорим о каждом из них более подробно.

Повышение качества поиска

Теперь Яндекс будет составлять поисковую базу с помощью нейросетей. Именно нейросети будут распределять веб-документы из поисковой базы по так называемым «смысловым кластерам».

Подобный подход позволит обеспечить выигрыш во времени и потребляемых вычислительных ресурсах. Именно за счет освобождения действительно большого количества вычислительных ресурсов Яндексу удалось увеличить применяемую поисковую базу в два раза.

Благодаря этому поисковая система Яндекс поможет найти даже веб-страницы, которые могут потребоваться пользователям 1–2 раза в год.

Мгновенные ответы

В мобильном поиске от Яндекса будет более активно использоваться технология предварительной загрузки результатов поиска (предварительный рендеринг).

Данная технология пытается угадать каким будет полный текст пользовательского запроса, в тот момент, когда человек только начинает набирать первые слова.

Подобный подход позволяет заранее сформировать результаты поиска и мгновенно продемонстрировать их пользователю, ровно в тот момент, когда он нажмет кнопку «Найти».

Ожидается, что это позволит сэкономить время, которое пользователь тратит на поиск в интернете, особенно при низкой скорости соединения с всемирной паутиной.

Экспертный поиск

Поисковая система Яндекс внедрила в свою работу новый алгоритм ранжирования, а также подключило к работе асессоров-экспертов. Каждый привлеченный Яндексом асессор будет являться высококвалифицированным специалистом в той или иной области.

Например, асессор-гидролог действительно понимает, как можно объяснить процесс [образования двухэтажных рек], и сможет квалифицированно оценить, насколько хорошо веб-страницы отвечают на запросы по данной теме.

Кроме того вердикты, которые будут выносить асессоры-эксперты станут ключевым сигналом для обучения нового поискового алгоритма.

Также стало известно о том, что компания Яндекс запустила новый сервис под названием Кью. С его помощью ученые, профессионалы и просто разбирающиеся люди смогут отвечать на вопросы пользователей.

Ожидается, что оценки асессоров-экспертов и объяснения от специалистов, предоставленные в рамках сервиса Кью, позволят пользователям Яндекса получить полный и понятный ответ даже на самые сложные поисковые запросы.

Гиперлокальность

Компания Яндекс осуществила обновление своих сервисов «Район» и «Услуги». В рамках сервиса «Район» стали доступны чаты, в которых смогут общаться жители одного и того же дома.

В свою очередь сервис Яндекс.Услуги теперь умеет демонстрировать предложения различных услуг на удобной карте.  

Благодаря всему этому пользователи смогут обратиться к Яндексу с задачами, которые вплоть до последнего времени чаще всего решались в offline-режиме. Такими задачами может стать, например, вызов на дом сантехника, который готов приехать к вам в течение получаса.

В заключение стоит напомнить о том, что предыдущее глобальное обновление поискового алгоритма Яндекса под названием «Королев», было официально представлено в августе 2017 года.

Королев – новый поисковый алгоритм Яндекса

1 Сентября 2017 | 3787 | 0

Автор статьи: Антон Шабан
QA в отделе SEO

22 августа 2017 Яндекс запустил новую версию поискового алгоритма – «Королёв». Максимально кратко и емко можно описать его суть словами из пресс-релиза Яндекса:

Новый алгоритм Яндекса «Королев» - читайте в разделе Материалы на seo.artox-media.ru - Изображение №1

Если вы мало что поняли, читайте дальше нашу статью, мы объясним подробнее.

Ссылка на пресс-релиз и все другие официальные источники приведена ниже.

0

Запуск алгоритма состоялся в Московском планетарии и сопровождался докладами разработчиков алгоритма, торжественным нажатием кнопки запуска и даже звонком на МКС и прямым эфиром с космонавтами.

Полное видео презентации можно посмотреть прямо здесь, а ниже мы рассмотрим основные изменения и ответы на частые вопросы. Информацию мы будем сопровождать комментариями сотрудников Яндекса в блоге компании, а также цитатами из официальных источников.

Что изменилось в поиске Яндекса?

«Королев» – это продолжение алгоритма «Палех», представленного в ноябре 2016 года. «Палех» был первым шагом в сторону семантического поиска, задача которого – лучше понимать смысл страниц.

«Королев» же теперь умеет понимать смысл всей страницы, а не только заголовка title, как было после анонса «Палеха».

Новый алгоритм Яндекса «Королев» - читайте в разделе Материалы на seo.artox-media.ru - Изображение №2

Алгоритм должен улучшить выдачу по редким и сложным запросам.

Новый алгоритм Яндекса «Королев» - читайте в разделе Материалы на seo.artox-media.ru - Изображение №3

Документы могут не содержать многих слов запроса, поэтому традиционные алгоритмы определения текстовой релевантности не справятся с этой задачей.

Выглядит это примерно так:

Новый алгоритм Яндекса «Королев» - читайте в разделе Материалы на seo.artox-media.ru - Изображение №4

В Google работает аналогичный алгоритм – RankBrain:

Новый алгоритм Яндекса «Королев» - читайте в разделе Материалы на seo.artox-media.ru - Изображение №5

Область действия алгоритма «Королев» распространяется на все запросы, в том числе на коммерческие. Однако больше всего влияние заметно именно на многословных запросах. Яндекс подтвердил, что алгоритм работает на всем поиске.

Новый алгоритм Яндекса «Королев» - читайте в разделе Материалы на seo.artox-media.ru - Изображение №6

Новый алгоритм Яндекса «Королев» - читайте в разделе Материалы на seo.artox-media.ru - Изображение №7

Конечно, целью алгоритма было улучшение качества выдачи по редким и сложным вопросам. Проверим на редких и сложных коммерческих запросах, связанных как раз с названием предмета.Например, в этом случае Яндекс действительно понимает, о чем идет речь. Правда, в выдаче в основном обзоры и статьи, а не коммерческие сайты.

 Новый алгоритм Яндекса «Королев» - читайте в разделе Материалы на seo.artox-media.ru - Изображение №8

А в этом случае поисковик понял, что меня, скорее всего, интересует дрон или квадрокоптер. Конечно же, выдача начинается с Яндекс.Маркет:

Новый алгоритм Яндекса «Королев» - читайте в разделе Материалы на seo.artox-media.ru - Изображение №9

Но в некоторых случаях Яндекс бессилен…

Новый алгоритм Яндекса «Королев» - читайте в разделе Материалы на seo.artox-media.ru - Изображение №10

Как это работает (+ 11 фото из презентации)

Разберем подробнее презентацию нового алгоритма. Ниже будут только выдержки самых интересных моментов с нашими комментариями и слайды из презентации.

Новая версия поиска основана на нейронной сети. Она состоит из большого количества нейронов. У нейрона есть один выход и несколько входов, он умеет суммировать полученную информацию и после преобразования передавать ее дальше.

Новый алгоритм Яндекса «Королев» - читайте в разделе Материалы на seo.artox-media.ru - Изображение №11

Нейронная сеть может выполнять гораздо более сложные задачи и ее можно обучить понимать смысл текста. Для этого нужно дать ей много обучающих примеров.

Работу в этом направлении Яндекс начал с модели DSSM, состоящей из двух частей, соответствующих запросу и странице. На выходе была оценка, насколько они близки по смыслу.

Новый алгоритм Яндекса «Королев» - читайте в разделе Материалы на seo.artox-media.ru - Изображение №12

Для обучения нейросети нужно много обучающих примеров.

Новый алгоритм Яндекса «Королев» - читайте в разделе Материалы на seo.artox-media.ru - Изображение №13

  • Отрицательные – это пара текстов, не связанных по смыслу.

  • Положительные – пары «текст-запрос», связанные по смыслу.

Согласно презентации, Яндекс использовал для обучения массив данных о поведении пользователей на выдаче и считал связанными по смыслу запрос и страницу, на которую часто кликают пользователи в выдаче. Но как позже пояснил Михаил Сливинский, удовлетворенность пользователя результатами поиска меряются не только кликами:

Новый алгоритм Яндекса «Королев» - читайте в разделе Материалы на seo.artox-media.ru - Изображение №14

Как ранее рассказывал в презентации "Палеха" Александр Садовский, наличие клика не говорит о том, что документ релевантен, а отсутствие, что не релевантен. Модель Яндекса предсказывает, задержится ли пользователь на сайте и учитывает множество других метрик удовлетворенности пользователя.

После обучения модель представляет текст в виде набора 300 чисел – семантического вектора. Чем ближе тексты по смыслу, тем больше сходство чисел векторов.

Новый алгоритм Яндекса «Королев» - читайте в разделе Материалы на seo.artox-media.ru - Изображение №15

В поиске Яндекса нейронные модели использовались давно, но в алгоритме «Королёв» увеличено влияние нейронных сетей на ранжирование.

Теперь при оценке смысловой близости алгоритм смотрит не только на заголовок, но и на текст страницы.

Параллельно Яндекс работал над алгоритмом сравнения смыслов запросов на основании нейронных сетей. Например, если для одного запроса поисковая система точно знает лучший ответ, а пользователь ввел запрос, очень близкий к нему, тогда результаты поиска должны быть похожи. В качестве иллюстрации такого подхода Яндекс приводит пример: «ленивая кошка из монголии» – «манул». (Источник цитаты ниже)

Новый алгоритм Яндекса «Королев» - читайте в разделе Материалы на seo.artox-media.ru - Изображение №16

В «Палехе» нейронные модели применялись только на самых поздних стадиях ранжирования, приблизительно на 150 лучших документов. Поэтому на ранних стадиях ранжирования часть документов терялась, а они могли быть хорошими. Это особенно важно для сложных и низкочастотных запросов.

Теперь вместо вычисления семантического вектора во время исполнения запроса Яндекс делает вычисления заранее – при индексации. «Королёв» проводит вычисления на 200 тыс. документов на запрос, вместо 150, которые были раньше при «Палехе». Сначала такой метод предварительного расчета был испытан на «Палехе», это позволило сэкономить на мощности и находить соответствие запросу не только заголовка, но и текста.

Новый алгоритм Яндекса «Королев» - читайте в разделе Материалы на seo.artox-media.ru - Изображение №17

Поисковик берет полный текст на этапе индексации, проводит нужные операции и получает значение. В итоге для всех слов и популярных пар слов формируется дополнительный индекс со списком страниц и их предварительной релевантностью запросу.

Команда Яндекса, которая занималась проектированием и внедрением нового поиска, запускает его.

Новый алгоритм Яндекса «Королев» - читайте в разделе Материалы на seo.artox-media.ru - Изображение №18

Запуск алгоритма:

Новый алгоритм Яндекса «Королев» - читайте в разделе Материалы на seo.artox-media.ru - Изображение №19

Обучение искусственного интеллекта

В Яндексе уже много лет задачей сбора данных для машинного обучения занимаются асессоры, которые оценивают релевантность документов запросу. С 2009 по 2013 год поисковик получил более 30 млн таких оценок.

Новый алгоритм Яндекса «Королев» - читайте в разделе Материалы на seo.artox-media.ru - Изображение №20

За это время появился поиск по картинкам, по видео, внутренние классификаторы и алгоритмы: количество проектов Яндекса выросло.

Новый алгоритм Яндекса «Королев» - читайте в разделе Материалы на seo.artox-media.ru - Изображение №21

Так как все они работали на технологиях машинного обучения, требовалось больше оценок и больше асессоров. Когда асессоров стало больше 1500, Яндекс запустил краудсорсинговую платформу «Толока», где может зарегистрироваться и выполнять задания любой человек.

Например, вот такие задания встречаются в «Толоке»:

Новый алгоритм Яндекса «Королев» - читайте в разделе Материалы на seo.artox-media.ru - Изображение №22

Или такие:

Новый алгоритм Яндекса «Королев» - читайте в разделе Материалы на seo.artox-media.ru - Изображение №23

Если хотите подробнее узнать, как пользователи оценивают релевантность ответов, чтобы понимать, какие параметры выдачи оцениваются, рекомендуем почитать инструкции по заданиям или даже попробовать пройти обучение.

За несколько лет в сервисе собралось более 1 млн человек, которые сделали более 2 млрд оценок. Это позволило Яндексу сделать огромный рывок в масштабировании и объеме обучающих данных. Только в 2017 году задания выполняли более 500 000 человек.

Новый алгоритм Яндекса «Королев» - читайте в разделе Материалы на seo.artox-media.ru - Изображение №24

Среди заданий есть:

  • Оценка релевантности документов;

Новый алгоритм Яндекса «Королев» - читайте в разделе Материалы на seo.artox-media.ru - Изображение №25

Правила, которым Яндекс хочет научить алгоритм, открыты всем зарегистрированным пользователям в виде инструкций для работников «Толоки». По некоторым заданиям просто собирается субъективное мнение людей.

Вот выдержка из инструкции о том, как Яндекс определяет релевантность документа:

Новый алгоритм Яндекса «Королев» - читайте в разделе Материалы на seo.artox-media.ru - Изображение №26

Яндексу очень важно качество оценок. Оно может быть субъективно, поэтому задания даются сразу нескольким людям, а потом математическая модель оценивает распределение голосов с учетом степени доверия к каждому работнику и экспертизы каждого участника. Для каждого «толокера» хранятся данные о точности оценок по каждому проекту и сводятся в единый рейтинг.

Именно поэтому нельзя сетовать на то, что необъективность асессоров погубила ваш сайт.

Таким образом, в Яндексе появилась дополнительная группа факторов:

  • Смысл страницы и соответствие ее запросу;
  • Является ли документ хорошим ответом на похожие пользовательские запросы.

Что изменилось в топе Яндекса?

Алгоритм предположительно был запущен несколько раньше презентации и, если верить сторонним сервисам (например, https://tools.pixelplus.ru/updates/yandex), изменения в выдаче начались еще в начале августа, но неизвестно, связано ли это с алгоритмом «Королев».

Новый алгоритм Яндекса «Королев» - читайте в разделе Материалы на seo.artox-media.ru - Изображение №27

Новый алгоритм Яндекса «Королев» - читайте в разделе Материалы на seo.artox-media.ru - Изображение №28

Новый алгоритм Яндекса «Королев» - читайте в разделе Материалы на seo.artox-media.ru - Изображение №29

По этим данным можно выдвинуть гипотезу, что уменьшение доли главных страниц в топ-100 и уменьшение возраста документов в пределах топ-100 связано с новым алгоритмом, который помогает получить больше релевантных ответов.

Правда, при этом заметных изменений в топ-10, топ-20 или топ-50 не видно. Возможно, их там нет либо они незначительны. Мы также не заметили существенных изменений выдачи по продвигаемым запросам.

Текстовая релевантность в стандартном понимании никуда не делась. Подборки и более широкие ответы по многословным запросам содержат большое количество страниц с вхождениями слов запроса в title и текст:

Новый алгоритм Яндекса «Королев» - читайте в разделе Материалы на seo.artox-media.ru - Изображение №30

Свежесть результатов поиска тоже имеет значение. Пример из презентации Яндекса содержит ряд свежих результатов с искомой фразой целиком.

Новый алгоритм Яндекса «Королев» - читайте в разделе Материалы на seo.artox-media.ru - Изображение №31

Хотя, учитывая тот факт, что алгоритм проводит расчеты сразу при индексации, «Королев» теоретически может влиять и на подмешивание результатов быстроботом.

Надо ли как-то оптимизировать тексты под «Королев»?

Скорее наоборот: чем больше поисковик учится определять смысл текста, тем меньше требуется вхождений ключевых слов и тем больше требуется смысла. Но принципы оптимизации не меняются.

Новый алгоритм Яндекса «Королев» - читайте в разделе Материалы на seo.artox-media.ru - Изображение №32

Например, еще в 2015 году Google рассказал об алгоритме RankBrain, который помогает поиску лучше отвечать на многословные запросы, заданные на естественном языке. Он неплохо работает, что отметили пользователи в многочисленных публикациях сравнения поиска Яндекса и Google после анонса новой версии алгоритма.

Новый алгоритм Яндекса «Королев» - читайте в разделе Материалы на seo.artox-media.ru - Изображение №33

Это не сопровождалось масштабной презентацией и сильно не повлияло на работу специалистов. Никто целенаправленно не занимается «оптимизацией под RankBrain», поэтому и в Яндексе это никак глобально не меняет работу специалиста. Да, появился тренд на поиск и включение в текст так называемых LSI-ключей, но это явно не просто часто повторяющиеся слова на страницах конкурентов. Ожидаем развития SEO-сервисов в этом направлении.

В алгоритме также заявлено, что анализируется смысл и других запросов, по которым пользователи попадают на страницу. Опять же, в перспективе это должно дать одинаковую или похожую выдачу по синонимичным запросам, так как сейчас результат анализа выдачи порой показывает, что пересечений по синонимичным запросам в выдаче нет. Будем надеяться, что алгоритм поможет устранить подобные несоответствия.

Но Яндекс пока не может найти (или плохо находит) документы, близкие по смыслу к запросу, но вовсе не содержащие слов запроса ( источник).

Новый алгоритм Яндекса «Королев» - читайте в разделе Материалы на seo.artox-media.ru - Изображение №34

Советы:

  1. Убедитесь, что страница отвечает на запросы, под которые она оптимизирована и по которым переходят пользователи.

  2. Убедитесь, что страница все же включает слова из поисковых запросов. Мы не говорим про прямые вхождения, просто проверьте, есть ли слова из запросов в любой форме на странице.

  3. Тематические слова могут придать странице дополнительную релевантность, но это явно не просто часто повторяющиеся слова на страницах конкурентов. Ожидаем развития SEO-сервисов в этом направлении.

  4. Для ключевых фраз, по которым страница сайта хорошо ищется, проверьте, не выбивается ли показатель отказов из среднего показателя по сайту. Если по запросу сайт находится на высокой позиции и пользователь находит то, что ему нужно, сайт может быть показан по сходным по смыслу ключевым фразам (если такие есть).

  5. Клики на поиске показывают удовлетворенность пользователя результатом. Это не ново, но стоит еще раз проверить сниппеты по ключевым запросам. Возможно, где-то получится повысить кликабельность.

Как проверить влияние алгоритма на свой сайт?

Для сайтов, у которых нет ярко выраженной сезонности, вы можете сравнить количество низкочастотных ключевых фраз, по которым переходили на сайт до запуска алгоритма и после. Например, взять неделю в июле и неделю в августе.

Новый алгоритм Яндекса «Королев» - читайте в разделе Материалы на seo.artox-media.ru - Изображение №35

Выбираем «Отчеты – Стандартные отчеты – Источники – Поисковые запросы».

Выбираем визиты из Яндекса:

Новый алгоритм Яндекса «Королев» - читайте в разделе Материалы на seo.artox-media.ru - Изображение №36

И фильтром оставляем только те запросы, по которым был 1 переход. Дополнительно стоит исключить фразы, содержащие название бренда.

Новый алгоритм Яндекса «Королев» - читайте в разделе Материалы на seo.artox-media.ru - Изображение №37

Далее можно сравнить количество визитов до запуска алгоритма и после.

Новый алгоритм Яндекса «Королев» - читайте в разделе Материалы на seo.artox-media.ru - Изображение №38

Также можете посмотреть наличие поисковых фраз, слов из которых у вас нет в тексте. В целом, такие фразы присутствовали среди НЧ-запросов и раньше, просто сейчас их может стать заметно больше.

Перспективы и прогноз

  • Поисковик сможет еще лучше находить документы, близкие по смыслу к запросу. Наличие вхождений станет еще менее важным.

  • Алгоритм будет обучаться дальше и улучшаться.

  • К текущему алгоритму будет добавлена персонализация.

  • В перспективе хорошие материалы, отвечающие на вопрос пользователя, могут получить еще больше трафика по микрочастотным, редким или семантически похожим запросам.

  • По низкочастотным ключевым фразам может увеличиться конкуренция за счет большей релевантности неоптимизированных документов.

  • Гипотеза. С помощью подобных алгоритмов Яндекс может лучше оценивать, насколько семантически связаны страницы, ссылающиеся на другие, и учитывать это для оценки внешних ссылок. Если это может быть значимым фактором с учетом слабого влияния ссылок в Яндексе.

  • Нам стоит ожидать дальнейших изменений, связанных с нейросетями, и в других сервисах Яндекса.

Вопрос-ответ

Вопрос: так как Яндекс оценивает клики, значит ли это, что накрутка поведенческих факторов будет набирать обороты?

Новый алгоритм Яндекса «Королев» - читайте в разделе Материалы на seo.artox-media.ru - Изображение №39

Вопрос: связан ли «Королев» с «Баден-Баденом»?

Новый алгоритм Яндекса «Королев» - читайте в разделе Материалы на seo.artox-media.ru - Изображение №40

Вопрос: как включить новый поиск Яндекса?

Ответ: в блоге Яндекса и в поисковых запросах часто встречались вопросы, как включить или установить новый поиск. Никак. Новый алгоритм уже работает и никаких дополнительных настроек делать не нужно.

Новый алгоритм Яндекса «Королев»: практическое использование

telegram channel

Что такое «Королёв»?

22 августа 2017 года Яндекс официально заявил о запуске нового поискового алгоритма «Королёв» (назван в честь города, как и большинство предыдущих поисковых алгоритмов). В его основе лежит механизм распознавания сложных запросов, который работает по принципу самообучаемой нейронной сети. Это значит, что Яндекс должен определять подходящие по смыслу документы, даже если они не содержат слов из запроса.

Чем он отличается от «Палеха»?

Ещё в ноябре 2016 года Яндекс запустил предшественника «Королёва» — поисковый алгоритм «Палех». Основное отличие нового алгоритма, помимо улучшения технической реализации, — возможность распознавать схожие «смыслы» по всему документу, а не только заголовку (Title), который появляется в окне браузера.

Для чего внедрили алгоритм «Королёв»?

В Яндексе давно задумывались над проблемой определения релевантных документов по большому пулу низкочастотных запросов, которые задаются не совсем естественным языком. Это большой список запросов типа:
— [на какой картине плавятся часы]
— [где придумали одеколон]
— [в каком фильме писатель сходит с ума отеле]

Основная проблема — подходящие документы могли не содержать слов из запроса. Чтобы её решить и показывать более подходящую выдачу, было задумано создание алгоритма «Королёв» — самообучающейся нейронной сети. Как заверяют в самом Яндексе, нейронная сеть на основе машинного обучения будет совершенствоваться в понимании «смыслов», которые подразумевает человек при вводе запросов.

Как работает этот алгоритм на практике?

Описанный Яндексом подход звучит, конечно, хорошо, но гораздо интереснее посмотреть на конкретные результаты в выдаче.

Для начала возьмём запрос, который сам Яндекс рекламировал:
[картина где небо закручивается]

korolev-01

В объектных ответах справа Яндекс правильно определил, что мы подразумевали своим запросом. Он также указал верные ответы в Яндекс.Картинках. Остальная выдача состоит из новостей о новом алгоритме. Становится очевидным: в данной ситуации Яндекс пользуется традиционными методами определения релевантности и для выдачи алгоритм «Королёв» не работает.

 

Попробуем по-другому и зададим следующий запрос:
[где появился первый парламент]

korolev-02

В данном случае можно увидеть интересную выдачу. В объектных ответах появилось значение «Англия». В самой же выдаче есть разные сайты, которые содержат слова из запроса.

Алгоритм в объектных ответах работает, если мы хотим знать:
— где появилось слово «парламент»;
— где появился первый представительный и законодательный орган, который называется «парламент».

Алгоритм не работает:
— если мы хотим знать, где появился вообще первый законодательный орган.

Принято считать, что первый парламент появился в Исландии, но назывался он не «парламент», а «альтинг». В выдаче (на скриншоте выше) можно увидеть и правильный ответ на наш запрос. Он появился только потому, что в заголовке статьи есть слова из запроса.

Важно понять:
поисковик может понять запрос, только если каждое слово обладает одним понятным смыслом.

Если слово обладает несколькими смыслами, как в нашем случае «парламент», могут возникать проблемы.

 

Проведём ещё один эксперимент:
[песня про теракт в уоррингтоне]

korolev-03

Запрос максимально конкретный и на него может быть только один конкретный ответ — песня «Zombie» группы The Cranberries.

Если немного поменять запрос и указать [песня про теракт в 1993 году], можно увидеть, что поисковик выдачу разделяет: часть ответов о песне, часть — о теракте. Яндекс не совсем понимает, о чём именно мы хотим получить информацию.

korolev-04

 

Если сделать запрос ещё более общим, то правильного ответа не будет совсем:
[песня про теракт в англии]

korolev-05

Выдача полностью состоит из новостей о теракте, а о заявленном смысле речи не идёт.

 

Теперь наберём запрос:
[фильм в котором писатель сходит с ума в отеле]

korolev-06

В этом случае можно увидеть, что алгоритм работает. Яндекс понимает, что мы хотим найти и, при этом, указывает, что у данного запроса есть два смысла (два интента): фильм «Сияние» и фильм «1408». Тут также важно, что слова из запроса не встречаются на страницах. В этом случае алгоритм работает.

 

Теперь попробуем набрать запрос:
[фильм в котором траволта танцует]

korolev-07

Варианты с наиболее популярными фильмами есть в объектных ответах, но не в выдаче.

 

Ответы становятся более конкретными, если модифицировать запрос:
[фильм в котором траволта танцует молодой]

korolev-08

Правильный вариант можно увидеть только в виде объектного ответа и страницы Википедии. Остальная выдача далека от нужного результата.

 

Ещё раз изменим запрос и наберём:
[фильм в котором траволта танцует в баре]

korolev-09

Как мы видим, алгоритм даёт сбой. Это происходит потому, что на данный запрос крайне сложно дать однозначный ответ. Например, в фильме «Криминальное чтиво» танцы происходят в ресторане, в фильме «Лихорадка субботнего вечера» — в клубе. Но есть фильм «Майкл», в котором Траволта как раз танцует в баре. Если несколько раз протестировать выдачу с целью найти необходимый фильм, начнут появляться релевантные результаты.

korolev-10

 

Какие выводы можно из этого сделать?

  • Алгоритм показывает свою работу в выдаче только на страницах больших информационных сайтов (типа Википедия или Кинопоиск) и в объектных ответах.
  • Алгоритм понимает только простые запросы, которые содержат один смысл.
  • «Королёв» лучше работает при поиске популярной информации (например, по запросу «фильм» он покажет наиболее популярный, наиболее известный — тот, о котором информации в индексе больше всего).
  • Алгоритм работает только с информационными запросами.
  • Алгоритм действительно самообучаемый и при повторных обращениях результаты становятся лучше.

Для SEO алгоритм сейчас даёт мало. По большинству запросов большое значение имеет текстовый фактор. Там, где работает новый алгоритм, Яндекс отдаёт предпочтение более известным сайтам, например, Википедии. Небольшим проектам будет тяжело с ними конкурировать. Возможность высоко ранжироваться по таким запросам появится только когда у алгоритма будет более полная база знаний о желаниях и предпочтениях пользователей. Но для этого уже сейчас нужно:
— создавать текстовый контент, который содержит как можно больше слов, определяющих тематику страницы;
— улучшать поведенческие факторы, чтобы поисковик точно знал, что страница будет полезной пользователю.

Хотите получить рекомендации по улучшению контента сайта и подготовить его к работе алгоритма — обратитесь к нам.

Подписаться на рассылку

Еще по теме:


korolev-10

Никита П.

SEO-аналитик

Есть вопросы?

Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.

korolev-10

Новый алгоритм Королев Яндекс

Подробности
Категория: Раскрутка и SEO

Здравствуйте, дорогие читатели блога Firelinks.ru. Прошу прощения, что некоторые посты выходят с большим промежутком по времени, но я запустил еще несколько проектов, которые резко вырвались в ТОП за 1,5 месяца, используя свои знания в области блоггинга (кому нужна консультация пишите в личку). Приходится разрываться между проектами и стройкой дома для своей семьи.

algoritm yandex korolev

Сегодня затронем новый алгоритм Королев от Яндекса и постараемся сравнить его с предшественниками. Лично на мой блог, он особо не повлиял, разве что полезные и объемные статьи стали еще выше в ТОПе. Ну давайте подробнее рассмотрим все в статье и сделаем необходимые выводы после наблюдения за этим алгоритмом.

Алгоритм Королёв Яндекс - что это такое и как работает

В конце августа 2017 вышел новый алгоритм Королев Яндекс. Новость об обновлении в поисковике сразу же заинтересовала СЕО специалистов и СМИ.

Главная особенность Королева является увеличение скорости обработки информации и повышение качества смыслового анализа текста.

В несколько тысяч раз повысилась скорость обработки данных. Палех для формирования ТОПа использовал 150 документов. Теперь сравнивается более 200 000 статей между собой. Этот результат был достигнут за счет оптимизации протокола ранжирования.

Чтобы понять новый алгоритм, надо вернуться на шаг назад к Палеху. Его презентация проведена 2 ноября 2016 года. Статистика показывала, что наибольшая часть поисковых фраз приходится на НЧ фразы, заточенные под единственно верный ответ. Эта часть приходится на длинный хвост птицы.

image001

Чтобы дать нужный ответ клиенту необходимо обладать ассоциативным мышлением и навыком самообучения, как у человека. С подобными задачами лучше всего справляются нейронные сети, поэтому они и стали основой нового алгоритма.

Главная цель «Королёва»

При желании найти конкретный предмет человек начинает описывать его свойства, это особенности ассоциативного мышления. Если мы забыли название видео, то мы начинаем говорить, что содержалось внутри: «фильм про девушек во время войны» или «фильм про существо с хвостом и крыльями». В первом случае Яндекс предоставляет «А зори здесь тихие», во втором варианте получаем «химера».

Яндекс улучшает качество сравнения многословных фраз. Программа анализирует связь между каждым, словом в предложении и выстраивает своеобразную ассоциацию с множеством вариантов ответов. Также как это делает человеческий мозг.

Что нового?

Нововведения:

  • семантический вектор для всего контента, а не только заголовка;
  • сравнение более 200 000 статей при формировании поисковой выдачи;
  • учитывается поведение пользователя на странице;
  • люди помогают обучать систему.

Королев анализирует не только заголовок, а полностью весь контент (в том числе фото, видео, таблицы и т. п.) и на его основе составляет семантический вектор.

Главным нововведением стало многократное ускорение работы поисковых методов. В прошлом семантический вектор выстраивался в момент введения фразы в поисковую строку. Подобный метод сильно нагружал сервера и задерживал скорость выдачи ответа.

При отправке поисковой фразы происходит сравнение его семантического вектора с массивом уже записанных в базе данных. Палех сравнивал около 150 вариантов, новая же версия анализирует более 200 000 статей за 1 раз. За счет чего повышается шанс нахождения желаемого ответа.

Нейросеть Яндекс: принцип работы нейронной сети Королев + примеры

Главной особенностью нейронной сети является возможность самообучения. Работа осуществляется не только по преднамеренным формулам, а также на основе предыдущего опыта и ошибок.

Человеческий мозг представляет собой огромнейшую нейросетьс ассоциативным мышлением, компьютеры же стараются эмитировать человеческое поведение за счет воссоздания архитектуры нейронных сетей.

Особенности нейросетевой структуры

Нейронная сеть представляет из себя множество единичных нейронов, каждый из которых хранит или обрабатывает информацию. Каждый из нейронов способен принимать, обрабатывать и отдавать сигналы. Поток входных данных постепенно перерабатывается от одного нейрона к другому и в конце получается необходимый результат.

Искусственные нейронные сети передают между собой условные веса – числа от 0 до 1, чтобы определить насколько тот или иной вариант входящей информации соответствует нужной информации. После окончания анализа нейрон с наибольшим весом считается наиболее подходящим для ответа на поставленный вопрос.

image002

Схема изображает нейронную сеть. Первые два слоя занимаются обработкой. Каждый из нейронов содержит определенную функцию, которая получает входные данные и после обработки выдает необходимый ответ. Так сравниваются семантические вектора.

Семантические векторы

Компьютеры не умеют оперировать словами или картинками, поэтому для сравнения информации между собой они используют массивы чисел. Поисковики должны самостоятельно определять главную тему и мысль текста, чтобы выдавать пользователю то что ему нужно.

Чем схоже вектора заданного вопроса и текста, тем выше находится статья в приоритете выдачи. В Королеве используется анализ всего контента:

  • таблицы;
  • текст;
  • фото;
  • видео;
  • заголовки;
  • цитаты;
  • списки;
  • выделения (курсив, жирный и т. д.).

В несколько раз повышается качество построения вектора за счет преобразования большего количества информации.

Для создания векторов используется нейросеть, текст пропускают через последовательность нейронов и в итоге получают выходной трехсотмерный массив из чисел. В дальнейшем его вносят в единую базу данных и используют для сравнения.

Обучение

Главная особенность нейронных сетей – обучаемость. В отличие от стандартных алгоритмов нейроны способны запоминать свой предыдущий опыт и самообучаться на нем. Компьютер с каждым разом все лучше и лучше различает информацию.

В прошлом обучением занимались сотрудники компании, их задача состояла переходить по миллионам запросов и на свое усмотрение изменять приоритеты выдачи. Затем разработчики создали приложение Яндекс.Толока, оно представляет из себя список несложных заданий. Надо переходить по запросам и оценивать качество поисковой выдачи. За каждое задание платят около 0.1-1$

Какой контент по мнению нового поискового алгоритма является хорошим

Наиболее подходящей для ТОП выдачи будет статья содержащия максимум полезной информации для пользователя и соответствующая запросу. Следовательно, в ней должны по разделам раскрываться всевозможные вопросы клиента.

В Королеве в приоритете учитывается поведение пользователя на странице. Поэтому задача администраторов постараться удержать пользователя и заинтересовать его. Чтобы это сделать используйте структурированность заголовков, таблицы, списки, выделения, фото и видео.

Новые приоритеты поиска

SEO специалисты, после релиза, провели исследование, чтобы оценить изменения приоритетов ранжирования. Особых изменений не наблюдалась приоритетами остаются:

  • структурированность текста;
  • полнота раскрытия темы;
  • простата чтения контента;
  • соответствие заголовков смысловому содержанию текста;
  • правильное формирование семантического ядра.

Главное писать для живых людей, этот приоритет остается самым важным.

Зачем Яндекс запустил новый поисковый алгоритм и чем это грозит сайтам

Любая компания стремится сделать свою продукцию лучшей на рынке услуг. В данном случае крупнейшим соперником Yandexявляется Google. Нововведения были созданы для следующих целей:

  • улучшение качества поиска по нестандартным вопросам;
  • привлечение новых инвесторов;
  • увеличение продуктивности ранжирования (более 200000 статей при формировании выдачи).

Главная цель была улучшить качество выдачи. Кроме того, надо было показать инвесторам, что работа в компании ведется полным ходом и их деньги использовались по назначению.Новшества в последующем использовались при создании голосового помощника «Алиса».

Линейка предыдущих алгоритмов

Чтобы лучше разобраться с новыми технологиями надо вернуться в прошлое. В данном случае рассмотрим линейку предыдущих алгоритмов, которые использовались поисковиком для ранжирования.

В первое время интернет содержал всего пару тысяч сайтов, чтобы найти нужную статью на них достаточно было сравнить ключевые слова поисковой фразы. В последующем глобальная сеть разрасталась в геометрической прогрессии, сейчас на одну тематику можно найти более сотен тысяч схожих сайтов с миллионом статей.

Поэтому надо было усложнить системы ранжирования и начали учитывать следующие дополнительные параметры:

  • количество ссылающихся материалов;
  • уникальность контента;
  • поведение клиента на странице.

Матрикснет

В 2009 году Yandex столкнулись с проблемой, что статьи все чаще не отвечают на вопросы пользователей. Чтобы исправить эту ошибку надо было научить сервера самостоятельно принимать решения и самообучаться.

Была изобретена сложная математическая формула с множеством параметров для определения соответствия текста к поисковой фразе. 

Но оставались следующие проблемы:

  • поиск зависит от слов;
  • не учитываются вспомогательные материалы (фото, видео, цитаты и т. п.).

Главная из проблем была в том, что не всегда в одном заголовке можно было полностью описать смысл статьи. Довольно часто в статье нет конкретных ключевых слов, но при этом она полностью раскрывает тему и дает развернутый ответ на вопрос пользователя.

Алгоритм Палех

В 2016 году в системе ранжирования была применена компьютерная модель нейросети. Главная особенность подобного подхода в том, что теперь компьютер способен запоминать свои ошибки и обучаться на собственном опыте.

В этом же году были введены семантические вектора. Название статьи пропускалось через нейронную сеть и раскладывался на множество векторов. Теперь компьютеры сравнивали не слова из поиска, а многомерные массивы чисел и векторов. Удалось уйти от прямой зависимости от количества тех или иных слов в фразе, а отдать приоритет смысловому содержанию.

Из недочетов осталась проблема низкой скорости работы. Для формирования поисковой выдачи сравнивались всего 200 наиболее подходящих статей. Поэтому системе было сложно отыскать многословные смысловые фразы типа «фильм про девочку, шпионку которая сбегает и учиться в школе».

Алгоритм Yandex Королев

В последнем нововведении в первую очередь провели оптимизацию нейросети и улучшили продуктивность обработки текста. Сейчас вектора сравниваются заранее в оффлайн режиме, благодаря этому удалось повысить результативность формирования поиска.

Yandex самостоятельно собирает статистику об заинтересованности пользователей и по ним создает заранее подготовленную поисковую выдачу.

Благодаря оптимизации семантический вектор составляется не только для заголовков, а для всего контента целиков. Удается найти максимум смысловых связей между словами.

Угрозы для сайтов

В целом никаких опасностей для сайтов не создалось и статистика переходов особо не изменяется. В первую очередь нововведения коснуться информационных блогов, форумов и сайтов с фильмами.

С лидирующих позиций могут слететь вебсайты не отвечающих интересам пользователя. Например, название «домашний яблочный сок», а в статье рассматриваются методы выращивания деревьев, блинчики с повидлом и совершенно иной текст.

Не забываем сделать репост и подписаться на рассылку блога. Всех благ.

Всего наилучшего, Галиуин Руслан.

Полезные материалы:
Добавить комментарий

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *