«Вконтакте» запустила в видео автоматические субтитры на базе собственных технологий распознавания речи
Интернет Веб-сервисы
|
Поделиться
В обновлённом видеоплеере «Вконтакте» появились автоматические субтитры на русском языке. Они созданы на базе собственных технологий соцсети по распознаванию речи, алгоритмов машинного обучения единой видеоплатформы и технологий интеллектуального шумоподавления единой платформы видеозвонков.
Новая технология автоматически генерирует текст, расставляет знаки препинания и заглавные буквы, распределяет текст по кадрам и обеспечивает точность появления субтитра в момент произнесения фразы.
Технология «Вконтакте» умеет проставлять в субтитрах знаки препинания и заглавные буквы, а в ближайшем будущем научится разделять речь спикеров на разные реплики. Всё это значительно повышает понятность расшифровки и упрощает чтение во время просмотра видео.
Соцсеть ведёт тестирование и дообучение новой технологии: субтитры в экспериментальном режиме уже доступны части аудитории в популярных роликах и видео из верифицированных сообществ в веб-версии и мобильном приложении «Вконтакте».
Автоматические субтитры будут полезны, когда важно соблюдать тишину, нужно посмотреть видео без звука или не хочется мешать окружающим: например, в метро или офисе. Также благодаря субтитрам людям с нарушениями слуха будет проще понимать содержание видео.
Для обеспечения высокого качества расшифровки субтитров аудиопоток проходит четыре этапа обработки. Сначала запись очищается от фоновых звуков с помощью уникальной технологии интеллектуального шумоподавления — это позволяет лучше определять речь не только на профессиональных видео, но и на любительских роликах.
Особое внимание уделено и производительности технологии автоматических субтитров. Инфраструктурные ресурсы используются максимально эффективно, что помогает обрабатывать все загруженные видео и быстро генерировать субтитры для новых роликов.
Даниил Чернов, «РТК-Солар»: Кибервойна определила вектор развития Application Security в 2022 году
Безопасность
В ближайшее время технология создания автоматических субтитров дополнится диаризацией — это процесс, в котором аудиопоток делится на реплики в соответствии с конкретным спикером.
Благодаря диаризации фразы разных людей в расшифровке будут самостоятельными, даже если собеседники общаются без заметных пауз.
Сначала автоматические субтитры появятся в видео верифицированных сообществ, а также в самых популярных роликах. До конца 2021 г. автоматические субтитры станут доступны в большинстве видео «Вконтакте».
Александр Тоболь, технический директор «Вконтакте», сказал: «В современном мире очень много информации, но, к сожалению, не для всех она одинаково доступна. «Вконтакте» стремится разрушать любые барьеры в коммуникации между людьми, активно инвестируя в развитие речевых технологий. Все решения, использующиеся для автогенерации субтитров, — собственные разработки. Это позволяет адаптировать их под разные функции сервиса и настраивать для максимально эффективной работы. Например, для создания субтитров мы усовершенствовали наши ASR-технологии и реализовали решения, которые точно синхронизируют текст с речью на видео. В будущем мы продолжим развивать нейросетевые технологии и внедрять машинное обучение в разные сервисы «Вконтакте».
Ранее «Вконтакте» полностью сняла ограничения на одновременное количество зрителей в прямых эфирах, а видео и трансляции стали доступны даже в сетях с нестабильным соединением и на слабых устройствах. Также обновления коснулись качества картинки: теперь пользователи могут смотреть видео и прямые эфиры в качестве 4К — оценить его помогает стриминг на сетевые медиаплееры Chromecast и AirPlay.
- Лучший софт для обеспечения ИТ-безопасности компании ― на ИТ-маркетплейсе Market.CNews. С ценами.
Субтитры, перевод и твои кнопки — все обновления ВКонтакте
В прошлом месяце соцсеть анонсировала не так много обновлений, но каждое из них значительное. И все вместе они способны серьезно повлиять на отношение пользователей к сервису.
Речь в текст
В фирменный видеоплеер «ВКонтакте» добавила субтитры. Но не совсем обычные. Они автоматические — используются собственная технология для распознаванию речи, алгоритмы машинного обучения и технологии интеллектуального шумоподавления.
Как заявляют в компании, процесс создания автоматических субтитров происходит в четыре этапа. На первом технология интеллектуального шумоподавления очищает ролик от фоновых шумов, потом нейросеть распознает слова и формирует из них текст. Следующим шагом является расстановка знаков препинания и заглавных букв. А в финале машинное обучение помогает разбить текст в соответствии с кадрами, чтобы субтитры совпадали с речью человека в кадре или за кадром.
В дальнейшем будет внедрена еще и диаризация. То есть аудиопоток будет автоматически делиться на реплики разных спикеров. В расшифровке фразы разных участников будут представляться в виде отдельных реплик даже в том случае, когда в диалоге людей практически незаметны паузы.
Автоматические субтитры появились в пилотном режиме только в популярных видео верифицированных сообществ в веб-версии и мобильном приложении «ВКонтакте», но до конца 2021 года разработчики обещают распространить новую функцию и на другие популярные на платформе видео.
Ликвидация языкового барьера: перевод с английского
Следующей стадией «автоматизации» социальной сети стал автоматический перевод публикаций с русского языка на английский. Нейросеть обучалась с помощью открытых данных и способна адаптировать перевод под специфику общения пользователей в разных сообществах. При этом адекватному автоматическому переводу поддаются и разговорные фразы, и сленг, и художественные тексты, и официальные, а также деловые публикации.
Пока автоматический перевод с русского на английский языки доступен только в десктопной версии «ВКонтакте», и лишь в крупных пабликах соцсети. Но скоро функционал расширят на все сообщества. Более того, в будущем автоматический перевод заработает не только в пабликах, но и в личных переписках, комментариях и так далее.
Изменчивое меню
Из просто приятных обновлений — адаптивное мобильное приложение «ВКонтакте», которое учитывает предпочтения конкретного пользователя и на основе этих данных меняет интерфейс.
Эта функция работает благодаря все тому же машинному обучению, которое задействовано и в работе с автоматическими субтитрами. ИИ анализирует интересы человека и его активность в разных сервисах соцсети, а затем использует эту информацию для корректировки меню приложения.
Например, в нижнем меню «ВКонтакте» у тех, кто часто смотрит клипы и фильмы, система разместит вкладку «Видео». Любителям музыки приложение обеспечит быстрый доступ к «Музыке», любители общаться получат вкладки с мессенджером, либо меню «Друзья» или «Сообщества». Аналогично изменится вкладка «Сервисы», где система будет предлагать подходящие конкретному человеку мини-приложения платформы VK Mini Apps. В боковом меню приложения, которое можно будет открывать из любой вкладки через клик по аватарке пользователя, появится быстрый доступ к управлению аккаунтом VK ID и другим настройкам. Там же разместят быстрый переход к глобальному поиску по «ВКонтакте».
Когда ждать
Внедрение изменений в мобильном приложении будет происходить постепенно.
В версии 7.0 сразу же будет большая их часть. «Обновление появится у всех в ближайшие дни», – пообещали в компании.
Продвижение «ВКонтакте»: 54 совета и море полезных сервисов
Селфи из Печенги якобы подтверждает военное вмешательство России в Украине
Трое солдат военного гарнизона на 19 км в долине Печенги недалеко от границы России с Норвегией должны были закрыть желтый номер части на военной машине, перед которой они позировали.
Бронетранспортер типа МТ-ЛБ-БМК с желтой окраской тактической части № 797, заснят на пленку под г. Луганск на востоке Украины в августе 2014 г.
Автомобиль 797 запечатлено на пленке в Донбассе в августе 2014 года. Скриншот из ЖЖВ Печенге, где базируется 200-я отдельная мотострелковая бригада, никогда не существовало желтых номеров. Также нет чисел в сериях 700 или 800. До настоящего времени.
Военная техника в долине Печенги известна проезжающими гражданскими лицами. Хорошо заметные гаражи и места для стоянки бронетранспортеров бригады находятся всего в нескольких метрах от Е105, главной дороги между Мурманском и границей с Норвегией.
797 — лишь одна из нескольких боевых машин 200-й отдельной мотострелковой бригады, которые, судя по всему, принимали участие в боях на Донбассе в конце августа 2014 года, согласно подробному блогу-расследованию, опубликованному в ЖЖ.
Это и многие другие фотографии из Печенги изначально были размещены в профилях бойцов бригады Вконтакте. Оригинальное селфи бойцов перед 797-й частью опубликовано по этой ссылке ВКонтакте.
LiveJournal представляет исчерпывающий список фотосвидетельств того, что техника, которая во время боев находилась на востоке Украины, теперь вернулась с бригадой на Кольском полуострове. Фотографии составлены из телефильмов, а также из личных фотографий солдат, размещенных в их профилях во ВКонтакте, самой популярной социальной сети России.
Автомобиль 784, захваченный Анной новости под Луганском. Эта же машина также снималась вместе с 797 на Донбассе в другом отдельном фильме. Скриншот с сайта sled-vzayt.livejournal.com/ Часть №784 снята в одном ряду с бронетранспортерами типа МТ-ЛБ-БМК.
Скриншот из Живого Журнала Помимо желтых номеров частей, у нескольких машин МТ-ЛБ-БМК на 19 км в 2015 году вдруг появились желтые тактические знаки на корпусе.
Согласно сообщению в блоге LiveJournal, машины в Печенге имеют тактические символы в виде белого квадрата с равносторонним кругом, треугольником или квадратом внутри. Перед отправкой в Украину все эти опознавательные знаки были закрашены и заменены желтым треугольником. Это сделано для того, чтобы свести к минимуму вероятность случайного выстрела в собственные войска в боевой обстановке. Это было особенно важно на востоке Украины, поскольку украинские государственные силы имели аналогичную технику советского производства.
Проблема, как оказалось, заключалась в том, что желтые треугольные знаки и цифры не закрашивались заново при возвращении военной техники на север.
На представленных фото видны не только бронетранспортеры типа МТ-ЛБ-БМК, но и танки. Всего в блоге ЖЖ числится 16 боевых машин из Печенги.
200-я бригада в Печенге состоит из танкового батальона в Луостари, трех мотострелковых батальонов на 19 км и в Печенге, а также артдивизионов и войсковой разведки и снайперского дивизиона. В состав бригады также входят два зенитных дивизиона, машины которых также оказались в районе Донбасса в августе 2014 г.
На своей ежегодной пресс-конференции в декабре президент Владимир Путин впервые признал присутствие военнослужащих из России на востоке Украины.
«Мы никогда не говорили, что там не было людей, которые выполняли те или иные задачи, в том числе в военной сфере», — сказал Владимир Путин журналистам.
Стенограмма пресс-конференции опубликована на сайте «Кремль.ру»
Art Awaken
Как создать аккаунт?
Шаг 1. Нажмите кнопку Кнопка входа или контент, который вы хотите смотреть.
Шаг 2. Выберите Зарегистрируйтесь в верхней части формы.
Шаг 3. Заполните регистрационную форму и нажмите кнопку Зарегистрировать .
Вы получите подтверждение по электронной почте для успешного созданный аккаунт. Чтобы узнать, как совершить покупку, перейдите к следующему разделу.
Как сделать покупку?
Шаг 1. Щелкните контент, который хотите просмотреть.
Шаг 2. Введите свои учетные данные для входа (адрес электронной почты и пароль).
Шаг 3. Выберите нужный вариант цены и нажмите Далее .
Шаг 4. Введите необходимую информацию.
Шаг 5. Нажмите кнопку Кнопка оплаты .
Вы немедленно получите доступ и электронное письмо с подтверждением ваша покупка. Если страница не загружается, нажмите кнопку обновления.
Как войти и смотреть?
Шаг 1. Нажмите кнопку
Шаг 2. В появившейся форме введите свой учетные данные для входа (электронная почта и пароль).
Шаг 3. Нажмите Войти.
Затем страница обновится, и если вы уже купили, платный доступ исчезнет. Если вы не купили, пожалуйста следуйте приведенным выше рекомендациям по Как сделать покупку.
Как сбросить пароль?
Шаг 1.
Перейдите к форме входа,
нажав на кнопку Войти или на кнопку
контент, который вы хотите посмотреть.
Шаг 2. Нажмите кнопку Забыли пароль ссылка под полем пароля на форме входа.
Шаг 3. Введите свой адрес электронной почты и нажмите кнопку Кнопка сброса .
Шаг 4. Появится новое окно. Убеждаться чтобы оставить его открытым.
Шаг 5. Проверьте свою электронную почту. Вы получите токен сброса пароля . Если вы не видите его в папку «Входящие», обязательно проверьте папки «Спам» и «Корзина».
Шаг 6.