новый подход к А/B-экспериментам в Директе — Новости рекламных технологий Яндекса
Протестировать всё: новый подход к А/B-экспериментам в Директе
В Директе появилась возможность тестировать не только разные варианты объявлений или посадочных страниц — мы запустили эксперименты, которые позволяют на основе статистики сравнивать между собой любые настройки, типы кампаний и даже медиапланы. Новый инструмент А/В-тестирования доступен по запросу — рекламодателям, которые уже уверенно работают с аналитикой, накопили в кампаниях достаточно данных и готовы тестировать разные сценарии работы с рекламой.
Сравнить эффективность автостратегии и ручного управления ставками, измерить результаты рекламной кампании с показами только на поиске и с размещением на поиске и в сетях — для таких и более сложных тестов в Директе появился специальный инструмент. Для корректной работы потребуются данные — мы рекомендуем проводить эксперимент, если в рекламной кампании не меньше 200 конверсий в месяц. Поэтому открываем доступ к новым экспериментам в Аудиториях и Директе по запросу — пожалуйста, обратитесь к своему менеджеру в Яндексе.
С помощью новых сегментов в Аудиториях и новых отчётов в Директе и Метрике можно узнать, какая реклама эффективнее. Например, эксперименты помогут понять, как размещение в Рекламной сети Яндекса или выбор стратегии влияет на результат размещения, оценить, как влияют показы медийной рекламы на конверсии на сайте, и так далее.
Как устроены эксперименты в Директе
Директ делит аудиторию на случайные непересекающиеся сегменты, так что каждый пользователь попадёт в тестовую или контрольную группу. Размер этого сегмента в виде доли от аудитории вы определяете самостоятельно — от 1 до 99%, сегментов может быть два или больше, причём необязательно выборки должны быть одинаковыми.
Нацелить показы определённых кампаний на экспериментальный сегмент можно в настройках. Экспериментальные сегменты живут параллельно с другими таргетингами, так что если вы настроили показы на женщин 18-25 лет и запускаете тестовый сегмент на 20% аудитории, то в него попадёт 20% женщин 18-25 лет из вашей аудитории.
Как запустить эксперимент
- Создать эксперимент в Аудиториях — завести сегменты пользователей на долю аудитории.
- В Директе привязать сегменты к тестируемым кампаниям.
- Сравнить статистику по тестовым сегментам и всем остальным пользователям с помощью Мастера отчётов Директа и данных Метрики.
Для правильного эксперимента вам потребуются:
- Настроенные цели или Ecommerce действия в Метрике — источник информации о конверсиях.
- Счётчик Метрики, привязанный ко всем кампаниям, которые вы будете тестировать.
- Накопленная статистика — не менее 200 конверсий в месяц в кампании, которую вы хотите протестировать. Это может быть оформление заказа на сайте, просмотр определённых страниц, заявка на тест-драйв, скачивание брошюры, звонок и так далее.
- Доступ к экспериментам в Аудиториях и Директе. Получить его можно у вашего менеджера в Яндекса или обратившись в отдел клиентского сервиса.
- Гипотеза, которую вы хотите проверить
yandex.ru
тестирование по Директу с прокторингом — Новости рекламных технологий Яндекса
В новом качестве: тестирование по Директу с прокторингом
Электронная сертификация по рекламным технологиям Яндекса выходит на новый уровень. Мы хотим поднять планку необходимых знаний специалистов по Директу на рынке и запускаем технологию онлайн-прокторинга в сертификации. Это новая процедура тестирования — с дополнительной авторизацией, наблюдением за ходом теста и отдельным сертификатом. Пока что она работает в бета-версии — будем рады вашим комментариям и обратной связи.
В этом году мы многое меняем в Директе — он становится умнее, быстрее и эффективнее. Сертификация по продукту тоже постоянно развивается. На этот раз мы решили: мало придумывать новые непростые вопросы, сама процедура тестирования тоже должна стать более технологичной — под стать предмету изучения. Поэтому сегодня в дополнение к привычной сертификации мы открыли для всех желающих тест с прокторингом. Так что если вы как раз планировали проверить свои знания, есть два варианта теста по Директу на выбор. И, соответственно, вдвое больше попыток.
Честность выгодна
Прокторинг — система контроля за процессом тестирования. Чтобы пройти тест с прокторингом, вам потребуется компьютер или ноутбук с веб-камерой.
Перед началом тестирования мы попросим вас принять пользовательское соглашение, сделать селфи и сфотографировать удостоверение личности (лучше всего — паспорт; важно, чтобы в документе были ваше фото, фамилия-имя-отчество и дата рождения), а во время тестирования — включить веб-камеру и не прерывать экзамен. Так мы будем уверены, что именно вы прошли сертификацию и подтвердили свой профессионализм.
Ваши данные будут надёжно защищены, изображения и видео обрабатываются в автоматическим режиме с помощью алгоритмов машинного обучения. Прокторинг анализирует поведение пользователя перед камерой, окружающую звуковую среду и многие другие поведенческие факторы. Решение о том, пройдена проверка по видео или нет, тоже принимает машина. Лишь в крайних случаях к просмотру видео могут подключиться наши специалисты — например, если вы не согласны с результатами прокторинга и хотите их оспорить.
Как подготовиться к тесту
Залог успешного тестирования — ваши знания и опыт в интернет-маркетинге и соблюдение простых правил прокторинга. Проверить себя перед тестированием или подтянуть отдельные темы помогут материалы для подготовки к сертификации по Директу. О правилах прокторинга — далее.
Как пройти тест с прокторингом
Тестирование с прокторингом доступно во всех браузерах, кроме семейства Microsoftи Safari. Пройти его можно только с десктопа с подключённой веб-камерой. Во время теста ваше лицо должно быть в поле зрения камеры анфас и хорошо видно. Вот несколько основных правил:
- Для авторизации используйте свой настоящий документ.
- Проходите тест непрерывно, не покидая рабочего места и не отвлекаясь.
- Постарайтесь проходить тест в помещении, где нет других людей и постореннего шума — это снизит вероятность помех.
- Во время тестирования не пользуйтесь дополнительными материалами или помощью сервисов.
- Для сертификации с прокторингом действует правило «один специалист — один документ — один логин». Если вы зарегистрировались в системе прокторинга под одним логином, проходить тест под другим уже нельзя.
Уверены, для настоящих профессионалов пройти такой тест будет не сложнее, чем пройти обычное тестирование по Директу, а специальный сертификат покажет, что вы не только отлично разбираетесь в тонкостях ведения кампаний, но и готовы подтвердить свои знания. И надеемся, что при вашем участии тестирование с прокторингом позволит задать новый стандарт знаний специалистов по Директу на рекламном рынке.
yandex.ru
тестирование по Директу с прокторингом станет основным — Новости рекламных технологий Яндекса
Полная прозрачность: тестирование по Директу с прокторингом станет основным
Начинаем готовиться к лету — сертификация с прокторингом выйдет из беты и станет главной версией тестирования по Директу в июле.
Тестирование с прокторингом, то есть с дополнительной авторизацией по паспорту и видеонаблюдением за ходом теста, скоро выйдет из беты. Эксперимент с прокторингом начался в сентябре 2018 года и сразу привлёк много внимания специалистов по интернет-рекламе. И это справедливо — на рынке появился новый уровень требований к профессионализму и прозрачности его подтверждения.
Нина Зеленко
руководитель отдела performance marketing в агентстве Molinos,
преподаватель в школе интернет-технологий Epic Skills
«Недавно мы искали нового специалиста в штат, в 99% резюме был указан сертификат по Яндекс.Директу. И, честно говоря, это не добавляло ни половинки балла соискателям. Основная причина — экзамен за тебя может сдать кто угодно.
Думаю, если в ближайший год придёт соискатель, прошедший тестирование с прокторингом, для меня это будет знак, что у человека действительно есть базовые знания, он целеустремлён и усидчив. Вообще это должно быть просто интересно опытным специалистам — новая технология, новый вызов».
Статистика по числу попыток сдать тест показывает, что экзамен с прокторингом не сложнее стандартной версии — процент получивших сертификат от общего числа сдававших каждый из тестов не отличается. Конечно, тестирование с прокторингом сейчас выбирают наиболее уверенные в своих знаниях специалисты. К счастью, отрасль богата высококлассными профессионалами, и нам поступило уже достаточно их комментариев и отзывов, чтобы отладить технологию для полноценного запуска.
Александр Сейгаров
старший специалист отдела рекламы в маркетинговом агентстве Serenity
«Про прокторинг ходили разные слухи — например, что можно завалить, если отвести глаза от монитора или что-то произнести — это не так. Во время испытания ведётся аудио- и видеозапись — не волноваться при такой проверке сложно, но тем приятнее победа, когда проходишь тест.
Сдавать экзамен решил ночью, чтобы никто не отвлекал и в комнате стояла тишина. В тесте было 60 вопросов, аналогичных обычной сертификации. Если сосредоточиться на вопросах, волнение уйдёт и особых сложностей не возникнет».
До июля два варианта сертификации по Директу — с прокторингом и без него — существуют паралелльно, а у каждого сдающего таким образом есть вдвое больше попыток, чем обычно. Если вы планируете пройти тест по Директу, есть ещё три месяца, чтобы повторить материалы, подготовиться и попробовать свои силы.
В июле стандартный тест останется доступен — для тренировки, знакомства с интерфейсом и типами заданий, но сертификаты за его прохождение выдаваться больше не будут, и мы перестанем поддерживать актуальность вопросов в нём. Тест с прокторингом станет единственным способом получить электронный сертификат по Директу от Яндекса. Уже выданные за стандартный тест сертификаты продолжат действовать до указанного в них срока.
Основные правила сертификации и теста с прокторингом останутся прежними: до начала тестирования нужно будет принять пользовательское соглашение, сделать селфи и сфотографировать удостоверение личности (лучше всего — паспорт), а во время тестирования — включить веб-камеру, микрофон и не прерывать экзамен. Покидать рабочее место во время экзамена и открывать новые вкладки в браузере или другие браузеры, если это не предусмотрено заданием, нельзя, однако можно провести вычисления с помощью бумаги и ручки или калькулятора, если того потребует задача. Система умеет распознавать такие ситуации и не будет считать это нарушением.
Теперь, когда прокторинг работает уже больше полугода, мы на практике убедились, что добросовестным, знающим специалистам дополнительное подтверждение личности и наблюдение за ходом экзамена не мешает проходить тестирование. А их клиенты или работодатели могут быть уверены, что специалист получил сертификат с прокторингом самостоятельно и честно подтвердил свой профессионализм.
yandex.ru
Как провести А/Б тестирование в Директе — Новости рекламных технологий Яндекса
Как провести А/Б тестирование в Директе
В Яндекс.Директе появились группы объявлений — инструмент, который позволяет протестировать для каждого вашего предложения несколько рекламных материалов и автоматически показывать аудитории самые кликабельные из них.
У объявлений в группе единые настройки — общий набор ключевых фраз, единые минус-слова, ставки и геотаргетинг. Таким образом, группы идеально подходят для А/Б, или сплит-тестирования.
A/B-тестирование — это один из самых простых и популярных методов маркетингового исследования. Его суть заключается в том, чтобы при прочих равных условиях показывать аудитории несколько вариантов какого-то элемента рекламы или сайта. Например, текста объявления. Измерив для них статистику, можно выяснить, какой из вариантов больше нравится целевым пользователям.
Создать группу объявлений для тестирования несложно. Для начала распределите ключевые слова в своей рекламной кампании по тематическим категориям товаров или услуг. Для каждой группы ключевых слов нужно составить несколько рекламных объявлений, которые вы хотели бы протестировать.
Проверить можно самые разные гипотезы. Например, рассказать о скидке и подчеркнуть временный характер предложения
или добавить указание конкретных моделей.
Поэкспериментировать стоит не только с текстами, но и с иллюстрациями
и быстрыми ссылками.
Одновременно лучше тестировать что-то одно — если все элементы объявлений в группе различаются, вам будет сложно оценить, какой из них повлиял на результат.
При необходимости у объявлений в группе могут различаться посадочные страницы и контактная информация. Это поможет, если вы сравниваете разные модели товаров или, к примеру, используете специальные номера телефонов для скидочных акций с разными условиями.
Система сама выберет лучший вариант
Сначала все объявления в группе будут равномерно показываться в ротации. Как только по ним накопится достаточная статистика, система начнет чаще показывать вариант с самым высоким CTR.
Объявления, оказавшиеся неэффективными, вы сможете в любой момент отключить или отредактировать.
Загрузите группу в интерфейс и начинайте эксперимент
Для начала включите в интерфейсе Директа опцию «Начать работать с группами». Создать группу объявлений можно несколькими способами:
- Через Директ Коммандер. В его интерфейсе появилась специальная вкладка, где можно задать и отредактировать параметры группы.
- С помощью xls- или csv-файлов.
- Через API Директа. В версии API Live 4 поддержка групп добавлена во все методы работы с объявлениями.
Детальную информацию о работе с ними вы можете найти в документации. Основные настройки показа задаются и редактируются только для всей группы сразу, а не для отдельных объявлений в ней. Подробности о работе с группами объявлений мы описали в помощи.
О новом подходе к А/В-экспериментам в Директе читайте в отдельной статье.
yandex.ru