Сегодня я расскажу сообществу Хабра об одном из таких примеров. Вы узнаете, зачем мы научили нейросеть BERT находить опечатки в заголовках новостей, а не воспользовались готовой моделью, почему нельзя взять и запустить BERT на нескольких видеокартах и как мы использовали ключевую особенность этой технологии — механизм attention.

Задача

Именно машина, потому что мы никогда не вмешиваемся в картину дня: не добавляем туда новости вручную, не удаляем их оттуда (как бы сильно этого ни хотелось), не правим заголовки. Вокруг этого уже было сломано множество копий. У полностью алгоритмического подхода есть и плюсы, и минусы. Что-то мы можем улучшить с помощью технологий, что-то нет. Даже если в заголовках есть орфографические ошибки и опечатки — мы не исправляем их. Мы добавили фавиконки изданий к заголовкам, чтобы было понятно, откуда взяты новости. Отчасти это помогло, но мы не смирились с ошибками и стали искать способ избавиться от них, не внося правки в текст.

Если нельзя исправить ошибку, то можно натренировать машину находить заголовки, которые из-за ошибок не годятся для топа. Тем более что Яндекс специализируется на русской морфологии с тех времён, когда и название-то ему ещё не придумали. Казалось бы, берём нейросеть — и дело в шляпе.

Инструменты

Спеллер (который внутри известен как поисковый опечаточник) уже на уровне архитектуры заточен для решения совершенно другой задачи: помогать пользователям восстановить корректную форму запроса. В Поиске не так важно, верно ли подобран падеж, проставлена заглавная буква или запятая. Там важнее по поисковому запросу «Хамингуэль» догадаться, что человек имел в виду Хемингуэя.

Ошибки в заголовках делают относительно грамотные люди, которые вряд ли напишут «Хамингуэль». А вот неверное согласование («рейс задержалась»), пропущенные слова («молодой человек пытался автомобиль») и лишние заглавные буквы («Президент Банка») — обычное дело. Наконец, бывает формально верное предложение «В Пскове отремонтирую улицу Горького», к которому нормальный опечаточник не придерётся (ну а вдруг это обещание автора?), — но это очевидно испорченный новостной заголовок. Кроме того, в Новостях задача ставилась не такая, как в Поиске: не исправить опечатки и ошибки, а обнаружить их.

У нас были и другие варианты, например модели, основанные на DSSM (если интересно, то об этом подходе мы коротко рассказывали в посте про алгоритм Палех), но и они имели ограничения. Например, не идеально учитывали порядок слов.

В общем, готовые инструменты или не подходили для нашей задачи, или были ограниченными. А значит, надо создавать свой собственный — тренировать свою модель. И это был хороший повод поработать с технологией BERT, которая стала доступна разработчикам в 2018 году и демонстрировала впечатляющие результаты.

Знакомство с BERT

Но есть вариант обойти эту проблему — с помощью обучения в два этапа. Сначала долго и дорого на огромном корпусе в миллиарды слов нейросеть учат структуре языка (это pre-training). Потом сеть быстро и дёшево подкручивают под конкретную задачу — например, для разделения отзывов на плохие и хорошие (это fine-tuning). Хватит каких-нибудь 10 тысяч примеров, размеченных в Толоке.

На этой идее и основана технология BERT (Bidirectional Encoder Representations from Transformers). Сама идея не нова и применялась раньше, но есть существенное отличие. Transformer — это такая архитектура нейросетки, которая позволяет учитывать весь контекст сразу, включая другой конец предложения и причастный оборот где-нибудь в середине. И в этом её отличие от предыдущих модных архитектур, которые учитывали контекст. Например, у нейросети LSTM длина контекста — в лучшем случае десятки слов, а тут все 200.

На GitHub доступен исходный код на TensorFlow и даже предобученная универсальная модель на 102 языка, от русского до волапюка. Бери, казалось бы, решение из коробки — и получай результат немедленно. Но нет.

Оказалось, что универсальная модель на русских текстах показывала существенно меньшее качество, чем английская модель, бьющая рекорды на английских текстах (что, согласитесь, логично). На русских текстах она проигрывала нашим внутренним моделям на DSSM.

Окей, предобучиться можно и самим — к счастью, русских текстов и опыта в машинном обучении у Яндекса хватает. Но есть нюанс. Обучаться надо год!

Дело в том, что BERT заточена под тензорные процессоры Google (TPU), поэтому из коробки умеет работать только с одной видеокарточкой (GPU). И распараллелить в лоб с помощью какого-нибудь horovod нельзя: перебрасывать с карты на карту 400 мегабайт данных на каждом шаге очень дорого, распараллеливание станет бессмысленным. Что делать?

Оптимизация

Попутно с помощью множества напильников и костылей прикрутили XLA-компиляцию, опираясь на тогда ещё сырой коммит NVIDIA. Благодаря этому наши карточки NVIDIA Tesla V100 (небольшой сервер из них стоит как квартира в недорогом районе Москвы) смогли в полной мере раскрыть свой потенциал за счёт 16-битной арифметики на Tensor Cores.

Нас интересовали только русскоязычные заголовки, но мультиязыковая модель, которую мы взяли за основу, обучена на сотне языков, включая даже искусственный волапюк. Слова всех языков, переведённые в векторное пространство, хранились в модели. Причём взять и просто так удалить их оттуда нельзя — пришлось попотеть, чтобы сократить размер словаря.

И ещё кое-что. Если ты учёный и твой компьютер стоит под столом, то ты можешь всё там перенастроить под каждую конкретную задачу. А в реальном вычислительном облаке, где тысячи машин сконфигурированы одинаково, достаточно проблематично, например, пересобирать ядро под каждую новую фичу TensorFlow. Поэтому мы потратили немало усилий на то, чтобы собрать такие версии пакетов, которые и умеют все новомодные фишки, и не требуют радикального обновления и перенастройки видеокарт в облаке.

В общем, выжимали все соки везде, где могли. И у нас получилось. Год превратился в неделю.

Обучение

Мы решили поглядеть, какие заголовки исправляют сами СМИ. Таких за всю историю Яндекс.Новостей набралось больше 2 миллионов. Бинго! Хотя радоваться было рано.

Оказалось, что очень часто СМИ переделывают заголовки не из-за ошибок. Выяснились новые детали — и редактор заменил одну правильную формулировку другой. Поэтому мы ограничились только исправлениями с разницей между версиями до трёх букв (хотя и здесь некоторый шум остался: было «нашли двоих» — стало «нашли троих»). Так мы набрали миллион опечаток. Обучились сначала на этой большой подборке с шумом, а затем на небольшой толокерской разметке без шума.

Качество

В нашем предыдущем подходе на базе DSSM мы уже добились точности 95% (то есть 5% ложноположительных вердиктов). Это уже достаточно высокий показатель. Поэтому мы решили сохранить такой же уровень точности и посмотреть, как с помощью новой модели изменится полнота. И она подскочила с 21 до 78%. И это определённо успех.

Здесь можно было бы поставить точку, но я помню про обещание рассказать об attention.

Нейросеть с фломастером

Это ограничение призваны обойти интерпретируемые нейронные сети. BERT — одна из них. Её интерпретируемость заключается в механизме attention. Грубо говоря, в каждом слое нейросетки мы повторяем один и тот же приём: смотрим на соседние слова с разным «вниманием» и учитываем взаимодействие с ними. Например, когда нейросеть обрабатывает местоимение «он», то «внимательно смотрит» на существительное, к которому «он» относится.

Картинка ниже показывает разными оттенками красного, на какие слова «смотрит» токен, который накапливает информацию обо всём заголовке для финального слоя-классификатора. Если опечатка в слове — attention подсвечивает его, если слова рассогласованы — то оба (и, возможно, зависимые от них).

В этом месте, кстати, можно разглядеть возможности нейросетей в полный рост. Ни на одном этапе обучения наша модель не знает, где именно находится опечатка в примере: она знает только, что весь заголовок неправильный. И всё равно она выучивает, что «школа на 1224 мест» писать неправильно из-за несогласованного числительного, — и подсвечивает конкретно цифру 4.

На опечатках мы не остановились и начали применять новый подход не только для поиска ошибок, но и для определения устаревших заголовков. Но это уже совсем другая история, с которой мы надеемся вернуться на Хабр в ближайшем будущем.

Полезные ссылки для тех, кто хочет углубиться в тему

Ошибки браузера.

7043 запросов в месяц только на Яндексе, на тему ОШИБКИ БРАУЗЕРА. Проблема эта наболевшая и беспокоит многих пользователей. Однако вам совсем не обязательно просматривать все эти тысячи сайтов, потому что мы собрали для вас в одном месте самые простые и работающие советы, которые помогут вам найти причину Ошибки и решить её…

В этой статье:

1. Ошибки браузера.
2. Причина возникновения ошибок.
3. Устранение ошибок.

1. ОШИБКИ БРАУЗЕРА.

Ошибки браузера независимо какого именно, будь то Хром и ему подобные типа Яндекса и Хромиума, или Опера, Мозила и т.д. ошибки у них в принципе идентичные:

1. Не запускается Браузер.
2. Это тормозит видео при просмотре роликов и фильмов.
3. Это не возможность прикрепить файл в электронной почте.
4. Долго открывает страницы или открывает но не полностью.
5. Не сохраняет закладки.
6. Не возможность поменять стартовую страницу или страницу поиска.
7. Надоедливые окна рекламы.
8. Сбои при скачивании.

Хотя когда вы его поставили всё было быстро и удобно.

2. ПРИЧИНЫ ВОЗНИКНОВЕНИЯ ОШИБОК.

Есть причины которые объединяют все перечисленные выше ошибки, а так же есть индивидуальные для некоторых из них.

1. Накопившийся ХЛАМ. Эта основная причина торможения Браузера. Во время работы браузер сохраняет на жёстком диске огромное количество временных и всевозможных вспомогательных файлов, которые постепенно, медленно но верно накапливаются и начинают тормозить его работу. Поэтому нужно регулярно  очищать кэш, удалять данные для автономной работы и историю сёрфинга. Сделать это совсем не трудно.
2. Большое количество ненужных ПЛАГИНОВ. По умолчанию браузер поставляется с предустановленными плагинами, к примеру, для отображения мультимедийного контента: Flash, Java, Silverlight и Windows Media. В процессе использования Браузера количество плагинов может увеличиться, но это совершенно не значит, что они вам нужны.
3. Большое количество расширений. Расширения — это микро программы от сторонних разработчиков, которые предназначены для увеличения функциональности и удобства браузера или изменения его внешнего вида. Но большое их количество может негативно повлиять на скорость работы Браузера.
4. Постороннии программы и ссылки. Когда вы устанавливаете на компьютер программы необходимые для вас, вместе с ними могут установится всевозможные микро программки которые изменяют ссылки поисковых и стартовых страниц Браузера, а так же добавляют рекламные окна…

3. УСТРАНЕНИЕ ОШИБОК

1. Накопившийся ХЛАМ. Каким бы крутым не был ваш Браузер на ваш взгляд, он всё равно захламляется во время использования. Поэтому этот Хлам нужно удалять. Это можно сделать программой CCleaner, пройдя по ссылке Здесь вы сможете посмотреть Видео как это сделать. Скачать саму программу CCleaner 5.08.5308 rus вы можете Здесь.
   1. Очистить Браузер от Хлама можно и на самом браузере, просто очистить историю. Как это сделать на примере Google Chrome: Нажимаем на Три полоски в верхнем правом углу.                                                                                          
   2. Переходим на История и недавние вкладки и нажимаем на История.                                                        
   3. Далее нажимаем Очистить Историю.                                                                                                                   
   4. В следующем окне ставим вкладку За всё время.                                                                                                      
   5. Если стоят калочки на Пароли и Данные для Авторизации, снимите из и нажимайте Очистить Историю.                                                                                                                                                                           Так же вы можете посмотреть Видео Здесь.
2. Большое количество ненужных ПЛАГИНОВ. Плагины, как уже написано в пункте ПРИЧИНЫ ВОЗНИКНОВЕНИЯ ОШИБОК, это нужная составляющая практически любого Браузера. Но их переизбыток так же может влиять на быстродействие или возникновение ошибок в Просмотре Видео, если например будет два Плагина Флешь Плеера. Чтобы посмотреть список Плагинов и отключить не нужные Делаем следующее:
   1. Google Chrome: В адресной строке Вводим chrome://plugins/ и нажимаем Enter, по подаем в Плагины ненужные отключаем. Если перед Планом стоит цифра два, значить таких Плагинов два, один удаляем.                                            
   2. Опера: Открыть меню настроек браузера, выбрать вкладку Расширения – Управления расширениями. 
   3. Мазила: Зайти в меню браузера (оранжевая КНОПКА с надписью Firefox) и выбрать пункт Дополнения.                                                                                                                                                                         В открывшемся Меню выбрать Плагины или Расширения, о которых мы ниже будем говорить. 
   4. Internet Explorer: Зайти в раздел настроек браузера, выбрать меню Настроить надстройки.                                                                                                                                                                                 В появившемся окне кликните на расширение (Красная Стрелка) и внизу окна нажмите на кнопку Отключить (Синяя Стрелка).     
3. Большое количество расширений: Как их посмотреть и отключить не нужные посмотрим на примере Google Chrome, на остальных это видно на примере показа Плагинов.
   1. Нажимаем три полоски в верхнем правом углу, далее Дополнительные инструменты и в следующем окне Расширения.                                                                                                                                                                           Ненужное Отключаем или удаляем.
4. Постороннии программы и ссылки. Компания Google позаботилась о своих пользователях браузера Google Chrome и выпустила специальную программу для удаления всех сторонних надстроек, которые могут тормозить работу вашего браузера. Можете загрузить её Здесь.  Для остальных Браузеров я такого не встречал, но это не беда с этой процедурой хорошо справляется Лечущая утилита Dr.Web CureIt которую вы можете скачать Здесь. Запустите её и нажмите Проверить.

Яндекс.XML — Коды ошибок — Технологии Яндекса

  {
  "код_ошибки": "HOST_ALREADY_ADDED",
  "host_id": "http: ya.ru: 80",
  «подтверждено»: ложно,
  "error_message": "некоторая строка"
}  

  <Данные>
   HOST_ALREADY_ADDED 
   HTTP: ya.ru: 80 
  <Подтвержденного> ложь 
   некоторая строка