Как мы тестируем рекламные технологии Яндекса, и как этому научиться / Хабр

Меня зовут Константин Власов, и я руковожу в Яндексе службой управления качеством баннерной системы. Как вы можете догадываться, тестирование быстроменяющейся системы таких масштабов, как наши рекламные технологии, со всеми базами данных, репликацией компонент, протоколами взаимодействия между подсистемами, а также при довольно частых релизах, — непростое дело. При этом тестировать все нужно очень тщательно, ведь любая ошибка потенциально может принести серьезный ущерб бизнесу компании. И речь тут идет не только о репутационных издержках, но и о потере реальных денег.

Сегодня я хочу рассказать об этом чуть подробнее, а тех, кому станет интересно, позову научиться тестировать такие комплексные системы и попробовать все это на практике.

Начнем, конечно же, с рассказа о том, что мы тестируем. В Яндексе есть два рекламных направления: контекстная и медийная реклама.

Контекстная реклама – это текстовые объявления, которые вы наверняка видели в поисковой выдаче и на сайтах, входящих в рекламную сеть Яндекса, медийная — это флеш, гиф, видео реклама.

Казалось бы, ничего сложного: показал рекламу, списал деньги с рекламодателей и все. Но рынок рекламных технологий устроен так, что показывать пользователям случайную рекламу — невыгодно. Рекламодатели хотят показывать рекламу именно тем пользователям, которым она действительно может оказаться полезной и интересной. Эффективность рекламного объявления напрямую зависит от его релевантности.

Повышение релевантности — очень непростая задача, требующая наличия большого количества информации как о поведении самого пользователя, так и о многих других критериях. Поэтому наша баннерная система включает в себя кластеры машинного обучения, сложные алгоритмы ранжирования, огромные базы данных и сверхбыстрые веб-сервера, необходимые для моментальной передачи данных.

Для персонализации медийной рекламы мы используем технологию Крипта.

Это метод машинного обучения, который анализирует поведение каждого пользователя в сети Яндекса, что позволяет узнать социально-демографические характеристики пользователей: возраст, пол, образование, уровень дохода, интересы — несколько сотен параметров, на основании которых мы можем показывать рекламу, предположительно полезную конкретному пользователю. Для контекстной рекламы основную роль играет поисковый запрос, который пользователь только что ввел, а также история запросов. Также учитывается местоположение пользователя и время запроса.

Каким образом происходит подбор объявлений для показа в каждом конкретном случае – тема отдельного рассказа. Некоторое представление об этом процессе можно составить из лекции нашего коллеги Михаила Левина. Стоит лишь отметить, что в лекции приводится несколько упрощенная модель расчета вероятности показа того или иного объявления. На самом деле, помимо CTR (click-through rate) – отношения кликов к показам – в ранжировании участвует множество алгоритмов, учитывающих огромное количество факторов и коэффициентов, в генерации которых нам помогает технология машинного обучения Матрикснет.

Важно понимать, что весь процесс генерации рекламных блоков должен происходить очень быстро — буквально несколько миллисекунд. Естественно, вся статистика просчитывается заранее. Однако все эти данные нужно быстро извлекать и пересылать между компонентами нашей системы. Для этого мы используем высокопроизводительный веб-сервер Phantom. И все это работает под нагрузкой, которую можно примерно сопоставить с нагрузкой на основной поиск Яндекса.

Тестирование

Тестируемая система – это набор веб-сервисов и множество скриптов, различные базы данных и интерфейсы, поэтому из-за многообразия компонентов мы делаем упор на автоматизацию тестирования. Фреймоворки для автоматизации тестирования мы создаем и поддерживаем сами. Основные языки разработки в нашей команде – Python, Perl.

Мы постоянно экспериментируем, внедряем новые подходы и технологии: Model-based testing, Pairwise testing, Continuous Integration, Continuous Delivery и другие. Цель этих экспериментов — повысить нашу эффективность, оптимизируя процессы и инструменты.

В тестировании быстроменяющейся системы таких масштабов, как наши рекламные технологии, со всеми базами данных, репликацией компонент, протоколами взаимодействия между подсистемами, а также при довольно частых релизах, никак не обойтись без сложной инфраструктуры и Continuous Integration (CI). Сейчас у нас реализован полный CI цикл с использованием Jenkins и OpenStack-облака.

Нами также были разработаны несколько плагинов для Jenkins, а также использован универсальный инструмент для составления кастомных тестовых репортов Allure, любезно предоставленный нашими коллегами.

Все эти разработки сейчас есть в открытом доступе на Github.

github.com/allure-framework/allure-core
github.com/allure-framework/allure-jenkins-plugin
github.com/allure-framework/allure-python
github.com/yandex-qatools/builders
github.com/jenkinsci/jclouds-plugin (это не наша разработка, но мы ее активно развиваем)
github. com/jenkinsci/debian-package-builder-plugin

Команда

У нас нет классического разделения на тест-дизайнеров, разрабатывающих тест-кейсы, и автоматизаторов. В нашей работе много технической разработки, поэтому расти можно не только в части тестирования, но и в плане технологий. Все делается с одной единственной целью – предоставить пользователю качественный продукт. Работа достаточно стрессовая, поэтому мы стараемся создавать на рабочем месте приятную и веселую обстановку. У каждого есть свои предпочтения: спорт, музыка, видеоигры, настолки и т.д.

Мы активно растем и развиваемся, и нашей команде нужны новые кадры, поэтому родилась идея создать Школу тестирования баннерной системы – двухмесячные курсы, которые смогут дать необходимые знания и навыки для работы в нашей команде.

Обучение включает в себя не только теоретическую часть, но и практику, заключающуюся в решении задач, похожих на боевые. Читать лекции и вести практические занятия будут специалисты из нашей команды. Студентам, продемонстрировавшим успехи в процессе обучения, будет предложено пройти стажировку в Яндексе. Но даже если вы не ставите перед собой цели устраиваться на работу в Яндекс, наша школа – это отличный шанс научиться тестированию непосредственно у людей, которые развивают эту область. Наш курс можно разделить на несколько тем:

• процесс разработки и тестирования ПО;
• работа с системами контроля версий;
• работа с базами данных;
• анализ требований и проектирование тестов;
• написание тестовой документации;
• разработка автоматизированных тестов и целесообразность автоматизации;
• командная работа и эффективное взаимодействие.

Программа курса

• Автоматизация тестирования: где, когда, зачем?
  Тимур Лукин, Яндекс
• Автоматизация тестирования с xUnit
  Александр Ярулин, Яндекс
• CI/CD: избавляемся от понятий «релиз» и «деплоймент»
  Денис dchr Чернилевский, Яндекс
• Жизненный цикл продукта
  Алексей Лапаев, Яндекс
• Эффективная команда и пространство задач
  Павел Новоселов, Яндекс
• Agile vs. waterfall: какой из методов разработки использовать?
  Инна Слизовская, Яндекс
• Какие бывают типы софта?
  Константин Власов и Денис Чернилевский, Яндекс
• Архитектура и проектирование ПО
  Тимур Лукин, Яндекс
• Типы и подходы тестирования
  Дмитрий Исаев, Яндекс
• Тест-менеджмент: статистика, документация и планы
  Инна Слизовская, Яндекс
• Проектирование тестов
  Василий Михайлов, Яндекс
• Как правильно выбрать язык программирования?
  Иван Калинин, Яндекс
• SQL: MSSQL, MySQL + ORM
  Фёдор Строк, Яндекс
• Современный веб как сложная система
  Марат Мавлютов, Яндекс
• Протоколы межкомпонентного взаимодействия
  Алексей Лапаев, Яндекс
• Система контроля версий
  Кирилл Лабетов, Яндекс

Более подробная информация доступна на странице нашей школы, там же можно оформить заявку на зачисление. Набор продлится до 19:00 21 февраля.

Яндекс. Рекламные технологии: новые инструменты и форматы

Похожие презентации:

3D печать и 3D принтер

Системы менеджмента качества требования. Развитие стандарта ISO 9001

Операционная система. Назначение и основные функции

Adobe Photoshop

AutoCAD история и возможности

Microsoft Excel

Облачные технологии

Корпорация Microsoft и ее особенности

Веб-дизайн

Тема 2. Пакеты прикладных программ

2. Рекламные технологии: новые инструменты и форматы

Мария Гаврилова, специалист по работе с клиентами

3. С чего всё началось?

4. В начале было слово

4

5. Двигатель прогресса

Пользователи
Клиенты
Рынок
5

6. Прогресс неостановим

6

7. Прогресс неостановим

+7 900 000 0001
+7 900 000 0002
+7 900 000 0003
+7 900 000 0004
….
[email protected]
[email protected]
[email protected]
…
7

8.

Крипта▌ Группирует пользователей в зависимости от их поведения в интернете
▌ Основана на методе машинного обучения Матрикснет
▌ Анализирует более 300 факторов
▌ Ежедневно обновляет данные
8

9. Кросс-девайс

▌ Учёт всех доступных данных об
устройствах пользователя
9

10. Семейные признаки

▌ Определение семейного профиля
пользователя: проживание с
мужем/женой, детьми или
родителями
10

11. Как это использовать?

12. Задачи бизнеса

Основные задачи
Поддержание объема
продаж
Увеличение объема
продаж
За счет привлечения новых
клиентов
Работа с готовым спросом
Формирование спроса и
расширение ЦА
За счет имеющихся клиентов
Взаимодействие с
посетителями сайта и
клиентами
12

13. Инструменты для решения задач

13

14. Возможности Яндекс.Аудиторий

15. Яндекс.Аудитории

Сервис по созданию и исследованию вашей аудитории
▌ Работа с офлайн-данными (email, номера телефонов,
ID мобильных устройств)
▌ Работа с онлайн-данными (из Яндекс. Метрики)
▌ Работа с данными о геолокации
▌ Работа с аудиторией вашей медийной рекламы
▌ Поиск похожих пользователей
▌ Описание аудитории ваших сегментов
▌ Возможность использования сегментов в Директе
15

16. Сегменты в Яндекс.Аудиториях

Сегмент на основе загружаемых данных
Сегмент на основе данных Метрики
Геосегмент
Сегмент на основе данных Пикселя
Сегмент похожих пользователей
16

17. Взаимодействие с клиентами

18. Сегмент на базе контактов

Сегмент «Постоянные клиенты»
Корректировка ставок
Покупка
Ретаргетинг
Лояльность
Возврат клиента
Осведомленность
18

19. Пример использования сегмента

Магазин фототоваров
CRM
Кампания
Ретаргетинг
на сегмент
e-mail
e-mail
Скидка на
аксессуары 10%
e-mail
Лишь для
купивших у нас
экшн-камеру
GoPro!
19

20. Яндекс.Аудитории – как делать не надо!

▌ Создавать слишком широкие сегменты
▌ Размещать на узкий сегмент общий текст
▌ Вдумчиво смотреть на CTR
20

21.

Яндекс.Аудитории – правильные примеры21

22. Яндекс.Аудитории – правильные примеры

22

23. Геосегмент

25. Как использовать новый таргетинг

Создать сегмент в
Аудиториях
Создать условия
подбора Аудитории с
использованием
нового сегмента
Донастроить и
запустить кампанию
▌ Актуальные
координаты
▌ Регулярные
координаты
▌ Координаты по
условиям
25

26. Резюме

Новый инструмент для работы с аудиторией
Интегрируйте оффлайн и онлайн
Взаимодействуйте с потенциальными
постоянными клиентами
Экспериментируйте с рекламными
технологиями
Находите новую аудиторию, которая похожа
на уже имеющуюся
27

28. Спасибо за внимание!

29. Контакты

Конт
акт
ы
Мария Гаврилова
специалист по работе с клиентами
8 800 234-24-80 (отдел клиентского сервиса, звонок
из регионов России бесплатный)

English     Русский Правила

Kochava Media Index — Рекламные медиакиты Яндекса, Обзоры, Ценообразование, Трафик, Стоимость тарифа

Android-API

Платформа Android предоставляет API-интерфейс, который приложения могут использовать для взаимодействия с базовой системой Android. Фреймворк API состоит из: Базового набора пакетов и классов. Набор разрешений, которые могут запрашивать приложения, а также меры по обеспечению разрешений, включенные в систему

Логин в фейсбук

Facebook SDK для Android позволяет людям входить в ваше приложение с помощью Facebook Login. Когда люди входят в ваше приложение через Facebook, они могут предоставлять разрешения вашему приложению, чтобы вы могли получать информацию или выполнять действия на Facebook от их имени.

Firebase

Firebase — платформа, разработанная Google для создания мобильных и веб-приложений

Авторизация Google

Службы Google Play предлагают стандартный процесс авторизации для всех API Google и всех компонентов служб Google Play. Кроме того, вы можете использовать часть авторизации SDK сервисов Google Play, чтобы получить авторизацию для сервисов, которые еще не поддерживаются на платформе сервисов Google Play, используя токен доступа для ручного выполнения запросов API или используя клиентскую библиотеку, предоставляемую сервисом. провайдер.

Игровые сервисы Google Play

Сделайте свои игры социальными с помощью игровых сервисов Google Play. Добавляйте достижения, списки лидеров, многопользовательские игры в реальном времени и другие популярные функции с помощью SDK игровых сервисов Google Play. Позвольте игрокам войти в систему, используя свою учетную запись Google+, и поделиться своим игровым опытом с друзьями. Посетите сайт developer.google.com/games/services, чтобы получить дополнительную информацию об интеграции игровых сервисов в ваше приложение.

API местоположения Google Play

API-интерфейсы определения местоположения упрощают создание приложений, учитывающих местоположение, без необходимости сосредотачиваться на деталях базовой технологии определения местоположения. Они также позволяют минимизировать энергопотребление, используя все возможности аппаратного обеспечения устройства.

Карты Google Play

Позвольте своим пользователям исследовать мир с помощью подробных карт, предоставленных Google. Идентифицируйте местоположения с помощью пользовательских маркеров, дополняйте данные карты наложениями изображений, встраивайте одну или несколько карт в виде фрагментов и многое другое.

Сервисы Google Play

Службы Google Play поддерживают широкий набор SDK для Android, которые помогут вам создать приложение, повысить конфиденциальность и безопасность, привлечь пользователей и развивать свой бизнес. Эти SDK уникальны тем, что для их включения в приложение требуется только библиотека тонкого клиента, как показано на рис. 1. Во время выполнения клиентская библиотека взаимодействует с большей частью реализации SDK и занимает место в сервисах Google Play.

Поиск Гугл

Поиск информации в мире, включая веб-страницы, изображения, видео и многое другое. В Google есть множество специальных функций, которые помогут вам найти именно то, что вы ищете. Поиск Google, или просто Google, — это поисковая система, разработанная компанией Google LLC. Это наиболее часто используемая поисковая система во всемирной паутине на всех платформах с 92,16% доли рынка по состоянию на декабрь 2020 г.

SDK для входа в Google

Google Sign-In — это безопасная система аутентификации, которая упрощает вход в систему для ваших пользователей, позволяя им входить в систему с помощью своей учетной записи Google, той же учетной записи, которую они уже используют в Gmail, Play, Google+ и других службах Google. Вход через Google также является вашим шлюзом для безопасного подключения к пользователям и службам Google. Вы можете дать своим пользователям возможность платить с помощью Google Pay, делиться ими со своими контактами в Google, сохранять файл на Диске, добавлять события в Календарь и т. д. Интегрируйте ориентированные на пользователя API и сервисы Google в свое приложение, чтобы помочь вашим пользователям действовать и совершать покупки.

Данные получены из MixRank, наиболее полной базы данных мобильных приложений, разработчиков, SDK, технологий, услуг и интеграций. Учить больше.

Приобретение Яндексом ADFOX сигнализирует о движении RTB в России

В начале сентября российская поисковая система Яндекс приобрела рекламную компанию ADFOX, что вызвало небольшой ажиотаж вокруг относительно ранней стадии рынка программных закупок в России.

Яндекс вышел на рынок RTB только в 2012 году, а ADFOX, московская платформа для продаж, была основана в 2005 году, но также представила свои предложения RTB в 2012 году9.0003

«Мы ожидаем, что сделка с ADFOX позволит нам расширить охват нашей рекламной сети и увеличить количество кликов и показов для наших рекламодателей», — сообщил AdExchanger по электронной почте Владимир Исаев, руководитель отдела международных коммуникаций Яндекса. «Теперь у нас есть сервис и технологии для работы с премиальными издателями или теми, у кого есть собственные команды по продаже рекламы. До этого у нас не было такого решения в нашей линейке коммерческих услуг.

По данным компаний, ADFOX имеет контракты с 12 из 20 крупнейших российских медиахолдингов, владеющих онлайн-ресурсами.

Команда ADFOX присоединится к группе рекламных технологий Яндекса, и Борис Омельницкий, директор по развитию ADFOX, сообщил AdExchanger, что компания еще какое-то время сохранит свою независимость без каких-либо изменений для клиентов.

«В ADFOX мы поняли, что дальнейшее развитие компании зависит от нескольких важных технологий и данных, включая DMP и эксклюзивные наборы данных для таргетинга рекламы», — добавил Омельницкий. «У нас было три варианта получить то, что нам нужно: мы можем создать это сами, мы можем купить лицензию у внешнего поставщика или мы можем сотрудничать с сильным игроком, таким как Яндекс. Третий вариант оказался лучшим и для нас, и для Яндекса, который думал о технологиях для издателей».

Со временем клиенты-издатели ADFOX получат доступ к рекламным возможностям Яндекса, включая его технологию таргетинга на рекламу Crypta и оптимизацию доходов благодаря Яндекс RTB и Яндекс.Директ, говорится в пресс-релизе компаний.

Другие представители индустрии считают это шагом вперед для российского рынка программных продуктов.

«Доля RTB невелика [в России] и все еще развивается, но очень медленно», — сказал AdExchanger Владимир Климонтович, технический директор и основатель российской DSP GetIntent. «У нас не так много выходов или много компаний, финансируемых венчурным капиталом. [Яндекс/ADFOX] — хорошая штука для российского рынка, потому что это выход. В конце концов, пространство рекламных технологий здесь получит больше денег и внимания венчурного капитала».

Дмитрий Чеклов, генеральный директор российской DSP и торговой площадки Targetix, согласился: «Это хороший сигнал для молодых компаний и стартапов, что это хороший рынок, и в будущем крупные компании могут прийти и купить их. Крупные холдинги собираются скупать контрольные пакеты в молодых компаниях, и мы это уже видим».

Но Климонтович и Михаил Балакин, управляющий директор Sociomantic Russia, оба предупредили, что Яндекс, известный своими строгими стандартами и правилами в отношении рекламы, может изменить способ работы ADFOX в будущем.