Аватар жжет: ученые ускорили создание 3D-моделей людей и объектов | Статьи

Специалисты Сколтеха научились быстро создавать трехмерные визуальные копии людей и объектов по фотографиям или видео. Такая технология 3D-реконструкции позволит в будущем создавать переговорные, где вместо сотрудников в совещаниях будут принимать участие их аватары, а также кабинеты удаленного осмотра врачом или специальные образовательные платформы, на которых можно будет отрабатывать физические упражнения. Специалисты подчеркивают, что на данный момент предстоит еще решить немало задач, чтобы полученные визуальные двойники были реалистичными, а время их создания сократилось до нескольких минут, но первые и важные шаги в этом направлении уже сделаны.

Реконструктивное начало

Российские ученые усовершенствовали методику 3D-реконструкции, то есть получения трехмерной формы и облика объекта по набору из одного или нескольких изображений или потока видео. Как рассказал «Известиям» аспирант Сколтеха, лауреат четвертой научной премии «Яндекса» Руслан Рахимов, эти методики начали активно развиваться благодаря использованию нейронных сетей.

— Для исследователей основная сложность заключается в том, чтобы усовершенствовать существующие решения и придумать что-то, что будет работать быстрее и качественнее. В основном борьба идет за фотореализм, чтобы искусственную модель, ее сгенерированные виды («рендеры») было невозможно визуально отличить от настоящих кадров. Также идет борьба за скорость — чтобы модель работала как можно быстрее, за минуты, а не за часы, и не требовала при этом мощных вычислительных ресурсов, например облачных серверов, а домашнего компьютера или смартфона было достаточно, — рассказал специалист.

Фото: Global Look Press via ZUMA Press/Bryan Smith

Чтобы добиться такого эффекта, специалисты Сколтеха решали задачу под названием «генерация новых видов». На входе они брали набор фотографий объекта или какой-то сцены, а на выходе генерировали изображение под любым ракурсом и с любой точки обзора.

— В нашей работе объект представлялся в виде трехмерного облака точек, и у каждой точки помимо позиции было восемь параметров, которые задают локальные фотогеометрические свойства объекта. Большинство моделей нужно оптимизировать под конкретную сцену, то есть в нашем случае нужно оптимизировать параметры каждой точки так, чтобы они соответствовали изображениям на входе. Ключевой вклад нашей с коллегами работы был в том, что мы избавились от оптимизации и тем самым ускорили процесс получения модели, — объяснил Руслан Рахимов.

Объемное собрание

Ученые научились предсказывать параметры по входным данным, а не оптимизировать их каждый раз для новой сцены и объекта. Для этого они добавили дополнительную модель (под названием «энкодер»), которая предсказывает параметры точек напрямую по входным изображениям, минуя процесс оптимизации, сократив время создания 3D-модели примерно в десять раз.

Как пояснили разработчики, проделанная работа — это еще один шаг в направлении быстрого создания 3D-моделей объектов, сцен и людей. Основная проблема на сегодняшний день в том, что создание таких высококачественных «аватаров» — долгий процесс. Если хочется сделать массовый продукт, как, например, 3D-переговорные, необходимо придумать простую технологию, когда человек сможет просто сделать набор фотографий или короткое видео, запустить программу и через разумное время (порядка несколько минут) получить хорошую 3D-модель себя.

Фото: ТАСС/Артем Геодакян

— Проблема заключается в том, что нынешние решения — это часто палка о двух концах. С одной стороны, модели, дающие хорошее качество, могут быть вычислительно затратны и требовать много часов для расчетов. С другой стороны, быстрые модели, не требующие оптимизации, могут выдавать плохое качество,

— отметил Руслан Рахимов.

В целом версии 3D-переговорных, которые есть на рынке, представляют собой некое подобие видеоигры с плохой графикой. Компании и исследователи движутся в направлении того, чтобы можно было получить фотореалистичные модели за разумное время, — ожидать эту технологию можно в ближайшие десять лет, уверены разработчики.

Нейронные сети идеально подходят для реконструкции объектов, в том числе людей или помещений, уверен научный сотрудник кафедры математического обеспечения и применения ЭВМ СПбГЭТУ «ЛЭТИ» Антон Филатов.

— Думаю, что в будущем подобные исследования помогут приблизиться не только к созданию и применению 3D-переговорных, но это также позволит воплотить в жизнь, например, удаленный 3D-осмотр врачами тела пациента, — рассказал он.

Фото: Global Look Press/Bryan Smith

Такие модели интересны как некоторая геймификация процесса работы, где люди могут делать свои аватары, но на данном этапе они не дадут нового пользовательского опыта для улучшения рабочих процессов, уверен старший научный сотрудник кафедры автоматики процессов управления «ЛЭТИ» Вячеслав Гульванский.

— Хотя при развитии смежных областей, возможно, это будет необходимостью, а не дополнительной областью. Такие модели, мне кажется, будут интересны в образовательных целях как голограммы, где человек может показывать, как взаимодействовать с предметом, например, при спортивных упражнениях и обучении в технологических процессах, — уверен специалист.

Помимо переговорок, новый способ обработки «аватаров» может найти применение в телемедицине, сфере безопасности, производстве и других областях, где специалисты сейчас оценивают обстановку по видео или 2D-изображениям, уверены разработчики.

Как сделать видео аватар (юзерпик) с помощью программы Video Avatar

Обратите внимание, c 2008 года эта статья могла устареть. Все свежие обучающие материалы по фотографии вы найдёте на нашем новом сайте koldunov.com, а также YouTube-канале.

Аватар, он же Аватара, он же Ава, он же Юзерпик (от англ. user picture (userpic) — «картинка пользователя»), он же Аватор (но это уж совсем неправильно :-)).

Пожалуй, самые эффектные и интересные – это анимированные (или анимационные) аватары. До сих пор, у многих они вызывают восторг, в первую очередь потому, что они не умеют их делать самостоятельно. А на самом деле это очень просто, особенно, если нам нужно вырезать фрагмент из какого-нибудь видео.

Всё что нам нужно – это фильм или мультик и программа VIDEO AVATAR, которую легко найти в интернете.

Открываем программу. Загружаем видео (в нашем случае это мультфильм Фёдора Хитрука «Винни-Пух идёт в гости») и выбираем понравившийся нам момент:

Это делается на шкале времени, перемещая в разные стороны бегунки. Не забывайте, что можно приближать (+) и удалять (100%) шкалу времени. Это полезно, особенно, когда видео ролик достаточно продолжительный.

Далее слева на панели Preview выбираем размер нашей будущей аватарки в пикселях. Мы сделаем 100х136, чтобы картинка была побольше. Если на вашем форуме есть ограничения по размеру аватарок, то имеет смысл снизить эти значения. Также размер файла можно уменьшить, выбрав на панели Avatar качество и количество кадров в секунду. Мы оставим все эти показатели такими, какие они были по-умолчанию, только уберём галочку

Reverse, чтобы кадры не шли в обратном порядке.

Теперь жмём Save avatar.

Выскакивает окно, так как программа не зарегистрирована. Это нам доставит некоторые неудобства 🙂 Жмём Continue и смотрим, что у нас получилось.

А получилась неплохая аватарка, только с эмблемой авторов программы:

Выходов из данной ситуации три: купить программу, найти бесплатную и схитрить.

Как схитрить?

Дело в том, что если аватарку сделать большого размера, например 200х270 и больше, то программа начинает вставлять эмблему в правом нижнем углу.

Причём, размер этой эмблемы фиксированный – 50х100 пикселей. Это значит, что чем больше у нас картинка – тем меньше эмблема. Этим и воспользуемся. Делаем очень большую аватарку с очень маленькой эмблемкой и потом уменьшаем в каком-нибудь гиф редакторе (например, Adobe Fireworks).

Вот что получается:

Очень неплохо подбирать фрагменты видео так, чтобы они зацикливались. Это выглядит интересней. Вот несколько примеров, которые вы можете смело скачать (но не забывайте ссылаться на источник :-)) :

Для создания этих аватарок мы использовали кадры из замечательных мультфильмов:

Фёдор Хитрук: «Винни-Пух идёт в гости»

Борис Степанцев: «Вовка в Тридевятом царстве»

Иван Максимов: «Ветер вдоль берега»

Клайд Джероними: «Алиса в Стране чудес»

ВидеоИнструкцияИнтернетКреативПрограммыФото

Революционное интерактивное видео и аватары с искусственным интеллектом

Попробуйте сейчас бесплатно

нет кредитной карты, нет договоров

01

Создавайте потрясающий контент с помощью ИИ

Загружайте свои видео, используйте бесплатные видеотеки, выбирайте свой аватар с искусственным интеллектом, записывайте себя или создавайте искусственные видеоролики с искусственным интеллектом. Просто введите свой текст.

02

Создание интерактивных диалогов

Используйте передовой редактор диалогов с множеством отличных функций для создания интерактивного диалога без необходимости кодирования. Сотрудничайте со своими коллегами в режиме реального времени.

03

Создайте свой видеовиджет

Легко настраивайте дизайн с помощью редактора scena.ai, формы и положения вашего виджета в соответствии с вашими предпочтениями или комплектом дизайна компании.

04

Легко делитесь где угодно

Встраивайте свое интерактивное видео на любую веб-страницу, в электронную почту или приложение и делайте их более интерактивными.

Простой в использовании визуальный редактор

Простой в использовании редактор визуальных диалогов с простым интерфейсом для создания и проектирования интерактивной видеологики на лету.

Записывайте и редактируйте видео

Записывайте и обрезайте видео прямо в диалоговом редакторе или используйте бесплатный видеобанк.

Получайте лиды от посетителей

Получайте подсказки от посетителей с помощью видео, аудио или текста в 1 клик.

Создайте свое интерактивное видео

Создайте интерактивный видео-виджет, баннер или целевую страницу с помощью простого визуального редактора.

Персонализируйте каждое взаимодействие с пользователем

Персонализируйте каждое взаимодействие с пользователем с помощью переменных и управляйте своими видео-разговорами 1-на-1 в масштабе.

Отслеживание видео, измерение взаимодействия

Отслеживание видео, измерение взаимодействия, скорость просмотра.

Совместная работа

Совместная работа с вашей командой в режиме реального времени при создании контента.

Поделитесь своим видео где угодно

Вставьте свое интерактивное видео на любую веб-страницу, в электронную почту или приложение и сделайте их более интерактивными.

Сторонние приложения

Интегрируйте сторонние приложения для постоянного улучшения отношений.

Повысьте уровень вовлеченности в 6 раз

Увеличьте количество конверсий до 20%

Построить длительные эмоциональные отношения

Более высокая вовлеченность

scena.ai делает интерактивное видео более увлекательным и захватывающим, что позволяет привлекать и удерживать внимание зрителя дольше, чем обычное линейное видео.

AI-видео и аватары

Создавайте профессиональные AI-видео непосредственно из текста на более чем 50 языках. Выберите один из встроенных видеоаватаров или создайте свой собственный аватар. Не нужны ни актеры, ни камера.

Отслеживание взаимодействия

Взаимодействие пользователей при просмотре можно отслеживать в рамках интерактивного видео — какие и когда решения зрителей были приняты, что было завершено, когда они покинули видео и так далее. Статистика данных может быть чрезвычайно полезна для определения предпочтений зрителя, концентрации внимания или профиля личности для сегментации.

Адаптация

Точки принятия решения на временной шкале видео позволяют адаптировать опыт для отдельных зрителей, давая возможность решить, к чему они хотят перейти или что они хотят смотреть дальше. Можно добавить логику для анализа решений зрителей и адаптации доставки персонализированного контента, что значительно повысит вовлеченность и коэффициент конверсии.

Простота использования

Создавайте интерактивные видеобеседы с помощью революционного простого в использовании редактора диалогов scena.ai и делитесь ими где угодно. Затем вы можете управлять аудиторией, отвечать через входящие, быстро настраивать дизайн, переписывать диалоги, редактировать, обрезать или записывать видео прямо на лету.

scena.ai | Аватары ИИ

Магазин электронной коммерции smartalko. sk использует специальный 2D-аватар для преобразования текста в видео с настраиваемым голосом в своем виджете видеосцены.

Он действует как гид по магазину, представляя категории, избранные продукты и уникальные услуги, такие как рекомендации по алкоголю, основанные на настроении покупателя или местных погодных условиях .

Они также тестируют персонализированных видео-сообщений электронной почты после покупки для распространения купонов и видео-отзывов для кампаний в социальных сетях.

• 18% повышение коэффициента конверсии в персонализированных видео-письмах после покупки
• 35 % повышение уровня вовлеченности
• 155 % ежемесячное увеличение числа видеоотзывов клиентов

Создайте видео с аватаром ИИ

Выберите из 45+ встроенных человеческих аватаров и локализуйте свой видеоконтент на 60+ языков с помощью синтетического видео аватара AI.

Легко  изменить  или  адаптировать   содержание  за минуту, чтобы предоставить своим посетителям последние новости.

Создайте совершенно новый канал для своего видеоконтента с  интерактивными   функциями  используя синтетический AI-аватар и увеличьте показатель удержания и вовлеченности на своем веб-сайте или в приложении.

• создание видеоконтента с минимальными затратами в масштабе

создание видеоконтента с использованием ИИ-аватара

Оживите свои фотографии.

Вы можете превратить любое неподвижное изображение в движущееся , говоря один, дав ему реальный человеческий голос в более чем на 60 языках и акцентах .

Вы можете создать видео-аватар в формате Full HD из исходного изображения и комбинировать эту анимацию либо с записанной речью, либо с печатным текстом .

Принесите свой сценарий сообщения, которое вы хотите передать своим кадром, как мы сделали в этой демонстрации Маленький принц .

• эта функция все еще находится в стадии бета-тестирования на scena.ai

Вы можете использовать AI-аватары в качестве докладчиков на мероприятии, организованном нашим клиентом. Международная конференция Hook : Southeast Asian-Centric Performance Marketing 2022 в Бангкоке.

ИИ-аватары проинформировали о программе , представили спикеров и выступили в роли консьержей мероприятия.

Организуете конференцию и хотите произвести впечатление?

Создайте своего ведущего аватара AI

В то время, когда на Lifeline Украина поступает много звонков, они решили передать часть связи на номер 9.Агент поддержки 0095 доступен 24/7 .

Они создали ИИ-аватар , обеспечивающий оказание помощи в любой момент времени, предлагая посетителям оставить аудио-, видео- или текстовые сообщения непосредственно через виджет scena. ai.

Lifeline Ukraine использует видеоаватары с искусственным интеллектом для внутреннего обучения агентов поддержки и сотрудников.

Lifeline Ukraine — национальная профессиональная горячая линия по предотвращению самоубийств и психологической помощи, работающая 24 часа в сутки, 7 дней в неделю.

• привлечение поддержки 24/7 с агентом аватара AI

Создайте своего агента AI 24/7

Сделайте свой цифровой киоск более эффективным и разверните голосовой аватар с искусственным интеллектом , который превратит любой киоск в круглосуточно работающего виртуального помощника .

AI Avatar работает не покладая рук и без перерыва 24/7, общается на 60+ языках и никогда не теряет хорошего настроения.

Может заменить человека на стойке регистрации в качестве гида, администратора или оператора службы. Предоставьте гостям вариант самообслуживания, который отражает опыт общения с человеком.

Пользователи делают свой выбор, не касаясь экрана, заменяя касания голосовыми командами. Он работает без идентификации голоса или лица пользователя и без сохранения каких-либо личных данных, что устраняет все проблемы с конфиденциальностью.

• добавить новый интерактив для устройств самообслуживания

Создать голосовой аватар AI

Видеоотзывы — это эффективный способ продемонстрировать свои продукты и услуги.

Они помогают завоевать доверие и авторитет , повысить конверсию, улучшить обслуживание клиентов и предоставить ценную информацию о том, как люди взаимодействуют с вашим брендом.

Но создание отличных видео-отзывов требует больших усилий и часто становится дорогостоящим и требует много времени.



Вот где scena.ai приходит на помощь. Мы предоставляем простую, но мощную платформу, позволяющую любому легко захватывать, редактировать и делиться созданным пользователями видео отзывами.