Как алгоритмы в Облаке Mail.ru выбирают лучшие фото для сторис — Сервисы на vc.ru
И почему туда попадают котики, но не смогут попасть бывшие.
2518 просмотров
В последнее время проект Облако фактически стал стартапом внутри VK. Главная задача, которую поставила перед собой команда, – работа с контентом пользователей. Первым запуском на этом пути стали сторис: их смотрят миллионы людей, а каждый десятый выкладывает их из Облака в соцсети. Расспросили команду, зачем в облаке появилась эта опция, по каким принципам нейросеть выбирает снимки для сторис и как составляются подборки.
Кирилл Игнатьков
руководитель проекта Облако
Как ностальгия помогла появлению сториc
Первые сторис пользователи Облака увидели в середине 2021 года. Механика сначала была только одна – «День в истории». Это подборки снимков, сделанных в один и тот же день в разные годы. На старте в процессе даже не участвовали никакие алгоритмы машинного обучения: мы просто отображали все найденные фото за эту дату.
Даже на этом этапе первые результаты превзошли самые смелые ожидания. Конверсия в сторис была 20% уже через несколько дней после запуска. Это вдохновило нас продолжать развивать новую функциональность, и мы прикрутили к ней алгоритм машинного обучения.
Как мы научили алгоритм выбирать снимки
Наша задача — чтобы в подборках пользователи получали фотографии, которые хочется пересматривать, выкладывать в соцсетях, отправлять друзьям. Ведь сторис – это про эмоции. Мы хотим, чтобы подборки в Облаке становились поводом лишний раз связаться с друзьями и родными – прислать снимки и написать: «А помнишь..?»
Чтобы научить Облако собирать подборки именно из таких снимков, мы ввели собственный параметр — осомность (от английского “awesome”). Осомность — это субъективная крутость снимков.
Мы разработали алгоритм, который определяет осомность по ряду факторов. Например, он следит, чтобы фото не было смазанным. Еще один фактор — наличие объектов, которые может распознать нейросеть: люди, горы, пальмы, пляж, море и так далее.
Два одинаковых снимка. Алгоритм оценил первый на 4,2, второй — на 7,3. Помимо наличия и расположения объектов, он обращает внимание на цвета, уровень шума, смазанности и еще на один секретный ингредиент
Итак, если раньше мы отображали в подборке все снимки за определенную дату, то теперь нейросеть отбирает фото с оптимальным пересечением различных параметров, таких как время, сезон, наличие лиц и значимых событий. В итоге в сторис оказывается от трех до 30 самых осомных кадров.
Как модель дообучали находить субъективно лучшие снимки
Среди прочего мы обучали нейросеть на качественных фотографиях из открытых источников, которые мы проверяли сами. Благодаря этому пользователи Облака начали получать более симпатичные, цельные подборки.
Потом мы добавили возможность по свайпу вверх посмотреть не только фотографии, отобранные нейросетью, но вообще все снимки, сделанные в этот день в разные годы, – и на основе того, какими из не вошедших в подборку фотографий пользователи делились чаще всего, дообучили модель.
Так люди начали получать подборки, состоящие только из субъективно лучших снимков.
Также алгоритм учится распознавать «взрослый» контент и ретушь. В первом случае фотографии не должны включаться в подборки, чтобы их можно было спокойно просматривать в присутствии других людей.
Отредактированные фотографии, наоборот, в приоритете. Если человек из десятка похожих кадров выбрал для редактирования именно этот — значит, это самый удачный снимок, его и нужно включать в подборку.
Как в Облаке появились подборки с закатами
Потом мы начали придумывать сценарии формирования подборок – от «Закаты в Таиланде в 2018 году» до «Ваши фотографии из картинной галереи». Сейчас у нас масса подобных сценариев на все случаи жизни. А еще мы работаем над возможностью скрыть на фотографиях лицо человека, чтобы такие снимки игнорировались алгоритмом и не попадали в подборку. Отличный способ исключить бывших не только из своей жизни, но и из сторис в Облаке.
За почти год существования сторис не обошлось без курьезов. Например, у нас была подборка «Парки и сады», в которой у некоторых пользователей оказывались фотографии… кладбища. Нейросеть сбивало с толку то, что в кадре много зелени. После этого случая мы пересмотрели параметры для разных категорий и прописали более четкие требования, чтобы алгоритм точно знал, что искать (и чего искать не нужно).
Как пользователи опровергли одну нашу гипотезу
В начале 2022 года мы решили заменить «День в истории» на «Неделю в истории». У нас было предположение, что «недельные» подборки будут более интересны пользователям. И оно оказалось в корне неверным – мы получили огромное количество обращений с просьбой вернуть любимую подборку. Оказалось, «День в истории» помогает людям сравнивать себя с собой n лет назад, служит напоминанием о значимых событиях, а также о днях рождения близких и друзей. Пришлось вернуть.
Одна из главных метрик оценки эффективности сторис – это возвращаемость аудитории. И этот показатель нас очень радует – в среднем 15% пользователей возвращаются во вкладку с подборками снова и снова. При этом люди, у которых нет такой вкладки, проводят в Облаке около 50 секунд, а те, у кого она есть, – в районе двух минут. То есть сторис еще и заметно увеличивают продолжительность сессии.
О том, что в Облаке можно посмотреть новые сторис, мы сообщаем с помощью пуш-уведомления. Больше одного уведомления в день мы не отправляем: если у человека появилось сразу несколько подборок, система сообщит ему о самой интересной. Это также определяет алгоритм – и чаще всего, если среди прочего есть «День в истории», то пуш-уведомление будет о ней. Эти подборки пользователи по-прежнему любят больше других – их просматривают в среднем в четыре раза чаще. Поэтому то, что однажды мы отказались от этого сценария, мы расцениваем как мини-провал.
Сергей Тарасенко
менеджер продуктов Облако и Диск-О:
Как взаимодействуют со сторис веб-пользователи
Веб-версия Облака и мобильное приложение – это почти что два разных продукта. Сценарии их использования сильно различаются: если мобильное приложение используют как раз для хранения фотографий, то в веб-версию люди обычно заходят с конкретной целью — например, создать, отредактировать или загрузить документ. Однако веб-пользователей сторис тоже заинтересовали.
В веб-версии Облака сторис располагаются в специальном блоке, который можно свернуть. Так вот, это делают меньше 3% пользователей. А больше трети из этих 3% потом передумывают и возвращают блок на место. Более того, мы не видим особой разницы в потреблении контента из сторис мобильными и веб-пользователями.
Зато есть разница в продвижении подборок. В мобильной версии для этого есть пуш-уведомления – люди к ним привыкли.
Если говорить об отличиях сторис в мобильном приложении и вебе, то у пользователей веб-версии Облака появилась возможность просматривать подборки с той фотографии, на которой они остановились. Если человек, например, посмотрел несколько снимков и закрыл сторис, превью обновится – и, когда он кликнет на него в следующий раз, он сможет досмотреть подборку, а не смотреть ее с первых снимков, которые он уже видел. Это увеличивает вероятность досмотра сторис и перехода к следующей подборке.
Сторис в Облаке в цифрах
— Пользователи Облака посмотрели 305 млн фотографий (это около 43 млн сторис) в 2021 году
— Каждый десятый пользователь делится сторис из Облака в соцсетях
— 30% – конверсия в просмотр сторис внутри приложения
— 15% пользователей смотрят сторис регулярно
— В два раза больше времени проводят в Облаке пользователи, у которых есть вкладка со сторис
Цитадель — Военный колледж Южной Каролины
Найдите в Цитадели:- Академические вопросы
https://www.
citadel.edu/academicaffairs
- Бухгалтерский учет и финансы
Accounting and Finance
- Администрация
Administration
- Афроамериканское общество
African American Society
- Отряд 765 ROTC ВВС
Air Force ROTC Detachment 765
- Ежегодные события
Annual Events
- Бейкер Бизнес Чаша https://www.citadel.edu/бизнес-чаша
- Бастин Холл
Bastin Hall
- БульдогПредупреждение
BULLDOG ALERT
- Кадетская деятельность
Cadet Activities
- Программа кампуса по защите, реагированию и обучению (CARE)
Campus Advocacy, Response, and Education (CARE) Program
- Центр передового опыта и инноваций в области преподавания, обучения и дистанционного образования
Center for Excellence and Innovation in Teaching, Learning and Distance Education
- Citadel Cyber Summer Immersion Program
Citadel Cyber Summer Immersion Program
- Гражданской и экологической инженерии
https://www.
citadel.edu/civil-environmental
- Программы перевода в колледж
College Transfer Programs
- Советник по образованию
Counselor Education
- Киберустойчивость для критической инфраструктуры
Jack Voltaic Conference Series: Cyber Resiliency for Critical Infrastructure
- Кафедра биологии https://www.citadel.edu/биология
- Кафедра химии https://www.citadel.edu/химия
- Департамент уголовного правосудия
Department of Criminal Justice
- Департамент кибер- и компьютерных наук
Department of Cyber and Computer Sciences
- Департамент английского языка, изящных искусств и коммуникаций
Department of English, Fine Arts & Communications
- Департамент здравоохранения и человеческой деятельности
The Department of Health and Human Performance
- Кафедра истории https://www.citadel.edu/история
- Департамент исследований разведки и безопасности
Department of Intelligence and Security Studies
- Департамент исследований лидерства
https://www.
citadel.edu/leadership-studies
- Департамент математических наук
Department of Mathematical Sciences
- Кафедра современных языков, литературы и культуры
Department of Modern Languages, Literatures, & Cultures
- Кафедра физики https://www.citadel.edu/физика
- Департамент политологии https://www.citadel.edu/политическая наука
- Кафедра психологии
Department of Psychology
- Департамент общественной безопасности
Department of Public Safety
- Образовательное лидерство
Educational Leadership
- Электротехника и вычислительная техника
Electrical and Computer Engineering
- Инженерное руководство и управление программами
Engineering Leadership and Program Management
- Академия исполнительного лидерства
Executive Leadership Academy
- Программа с отличием
The Citadel Honors Program
- Как я сюда попал?
https://www.citadel.
edu/get-here
- Человеческие ресурсы
Human Resources
- Программа спонсорства человеческих ресурсов https://www.citadel.edu/hr-спонсорство
- Инклюзивное совершенство
Inclusive Excellence
- Информационные технологии https://www.citadel.edu/it
- Очная, клубная и развлекательная легкая атлетика
Intramural, Club and Recreational Athletics
- Обучение грамоте
M.Ed. in Literacy Education
- Менеджмент и предпринимательство https://www.citadel.edu/management-предпринимательство
- Маркетинг, управление цепочками поставок и экономика
Marketing, Supply Chain Management and Economics
- Магистр делового администрирования
Master of Business Administration
- Штаб-квартира
Matriculation Headquarters
- Машиностроение https://www.citadel.edu/механический
- Международный институт построения национальной коалиции
https://www.
citadel.edu/ncbi
- ROTC ВМС в Цитадели
Navy ROTC at The Citadel
- Управление институциональных исследований
Office of Institutional Research
- Управление исследований и грантов
Office of Research & Grants
- Канцелярия коменданта
Office of the Commandant
- Онлайн-программы
Online Programs
- Наша Могучая Цитадель 2026 https://www.citadel.edu/2026-стратегический-план
- Лаборатория публичных выступлений Патриции МакАрвер
Patricia McArver Public Speaking Lab
- Целевая группа президента по вопросам расы, разнообразия и инклюзивности
The President’s Task Force Race, Diversity and Inclusion
- Департамент закупок
Procurement Services Department
- Учебная группа Стрелкового легиона
Rifle Legion Drill Team
- SC Ассоциация ветеранов-администраторов
SC Association of Veterans Administrators (SCAVA)
- Центр передового опыта STEM
https://www.
citadel.edu/стем-центр
- Школа инженерии
The Citadel School of Engineering
- Школа гуманитарных и социальных наук
School of Humanities & Social Sciences
- Кадетский корпус Южной Каролины
South Carolina Corps of Cadets
- Стратегическое планирование, аккредитация и оценка
SACSCOC Reaffirmation
- Студенческие дела и академические услуги https://www.citadel.edu/студенческие дела
- Жалобы студентов https://www.citadel.edu/студенческие жалобы
- Служба поддержки студентов https://www.citadel.edu/студенческая поддержка
- Ассоциация студентов-ветеранов
Student Veterans Association
- Суэйн Лодочный центр
Swain Boating Center
- Суэйн Департамент сестринского дела
Swain Department of Nursing
- Семейная школа науки и математики Суэйна
Swain Family School of Science and Mathematics
- Педагогическое образование
Teacher Education
- Центр карьеры
https://www.
citadel.edu/карьера
- Цитадель армии ROTC
The Citadel Army ROTC
- Институт Директоров Цитадели 2022
The Citadel Directors’ Institute 2024
- Программа выдающихся ученых Цитадели
The Citadel Distinguished Scholars Program
- Программа изящных искусств Цитадели
The Citadel Fine Arts Program
- Выпускной колледж Цитадели
The Citadel Graduate College
- История Цитадели https://www.citadel.edu/citadel-история
- Контингент морской пехоты Цитадели
The Citadel Marine Contingent
- Отделы ROTC Цитадели
The Citadel ROTC Departments
- Полковой оркестр Цитадели и волынки https://www.citadel.edu/группа
- Институт Успеха Цитадели
The Citadel Success Institute
- Летняя школа Цитадели https://www.citadel.edu/летняя школа
- Сайт Цитадели https://www.citadel.edu/веб
- о. Центр Ньюмана Ли А. Зельцера
Home
- Журнал Золотой Звезды
https://www.