Что такое АБ-тест и как его правильно провести

A/Б-тестирование — это эксперимент для выбора из нескольких (чаще — двух) вариантов более эффективного. Например, из двух вариантов рассылки, страницы сайта, карточки товара в интернет-магазине. Тест помогает принять решение, основываясь на цифрах. Полезен когда:

• Коллеги не договорились: владелец продукта за одно, дизайнер за другое, маркетолог за третье.
• Нужно принять решение относительно дорогостоящего изменения.
• Выбирается алгоритм товарных рекомендаций среди разных сервисов.
• Страшно менять что-то сразу, «а вдруг не пойдет».

В статье поделимся историями успеха и расскажем, как поэтапно провести A/Б-тест, без чего он бесполезен, как исключить погрешность, какие инструменты помогут анализировать результат и как ошибку поможет найти А/А-тест.

Примеры A/Б-тестов с пользой для бизнеса

Результат успешного теста — выбор варианта-победителя и улучшение конверсии. Клиенты Mindbox с помощью A/Б-тестирований добились измеримого результата в деньгах:

• Маркетолог сети винных супермаркетов «Ароматный мир» убедился, что промокоды увеличивают выручку, но размер промокода не имеет значения.
• Интернет-магазин «Первый мебельный» улучшил показатели рассылок на 25%.
• Обувной ритейлер kari сэкономил 19% бюджета на SMS-рассылках.

Ссылки на материалы дублирую в конце статьи.

Этапы проведения эксперимента

Выделим этапы проведения A/Б-тестирования и подробно остановимся на каждом:

1. Определение точки роста и выбор метрик.
2. Составление гипотезы.
3. Определение размера тестовой выборки.
4. Проверка сбора данных по метрике.
5. Запуск теста и снятие результатов.

Определение точки роста и выбор метрики

Для определения точки роста важно понять, что хочется улучшить и с помощью какой метрики измеряется улучшение. Например, вы обратили внимание, что транзакционное письмо об оформлении заказа редко открывают. Или хочется разобраться, приносит ли деньги виджет товарных рекомендаций в карточке товара. Варианты метрик для измерения улучшения:

• Доход
• Количество заказов
• Средний чек
• Процент открытия писем
• Повторные покупки
• Количество линий чека в заказе

Составление гипотезы

Определив точку роста, выберем, что улучшать. Без гипотезы тест бесполезен. В идеале гипотеза содержит ожидаемое увеличение. Тестировать можно дополнительные блоки, обращения, цвета, размеры текста, формы и дизайны. Ниже примеры гипотез наших клиентов.

Гипотеза	Варианты	Метрика
Эмодзи в теме письма увеличивают открытия на 2%	С эмодзи и без эмодзи	Открываемость
Блок сопутствующих товаров в карточке товара увеличит средний чек на ~10%	С блоком сопутствующих товаров в карточке и без	Выручка
Попап на сайте с бесплатной доставкой увеличит конверсию в заказ на 4%	С попапом и без попапа	Количество заказов и выручка

Определение размера тестовой выборки

Для каждого тестирования нужен определенный размер выборки, чтобы получить статистически значимый результат. Статистическая значимость — это оцененная мера уверенности в том, что полученный результат не случайность. Это важно, потому что без статистической значимости случайное совпадение можно ошибочно принять за успех варианта. Результат — неверное бизнес-решение.

Например, доля открытых писем в рассылках составляет 20%. Если хотите увеличить показатель на 25% с помощью изменения, понадобится выборка минимум из 2000 человек. Необходимый размер выборки рассчитывается с помощью калькулятора A/Б-тестов. Подробнее — в блоке «Инструменты для тестов».

Проверка сбора данных по метрике

Перед запуском теста убедитесь, что нужная метрика собирается. Например, настроена цель в Google Analytics, или запущен эксперимент в Google Optimize, или собирается информация о выручке в сводном отчете по рассылкам Mindbox.

Если предполагаете, что возникла погрешность и результаты связаны не с тестируемыми вариантами, а с особенностями выборки, попробуйте А/А-тестирование.

А/А-тест как способ проверить правильность деления на группы

А/А-тест — это разновидность эксперимента, когда варианты одинаковы. Если, несмотря на идентичность, показатели вариантов отличаются, значит где-то ошибка.

Например, ошибка может быть в распределении участников эксперимента. В одной группе участники покупают товары чаще, чем в другой. Ошибка может быть в сборе данных: на каком-то этапе передачи информация теряется. Есть сомнения — используйте А/А-тестирование.

Снятие результатов

По окончанию тестирования снимите результаты и посчитайте статистическую значимость теста. Вариант, который статистически значим и отличается в лучшую сторону (например, заработал больше денег), считается победителем. Чтобы рассчитать результат, воспользуйтесь калькулятором A/Б-тестирований, о нем ниже.

Пример из Google Optimize: завершенное тестирование на сайте со статистически значимым результатом: выручка варианта-победителя оказалась на 50% больше

Инструменты для настройки тестов

Рассмотрим инструменты для A/Б-тестирования:

Калькулятор A/Б-тестирований

Бесплатный сервис «Калькулятор достоверности A/Б-тестирований» помогает высчитать нужный размер выборки для статистически достоверного эксперимента и подвести итоги. Введите цифры своего эксперимента — и увидите результат.

Скриншот калькулятора

Google Optimize

Google Optimize — бесплатный инструмент Google для тестирования сайтов. Настраиваете несколько вариантов сайта и запускаете тестирование. Инструмент используется в связке с Google Analytics: оттуда Optimize берет информацию по показателям, таким как доход, количество транзакций и так далее.

Как настраивается A/Б-тестирование в Mindbox

В Mindbox можно тестировать между собой рассылки, акции и алгоритмы рекомендаций. Тестирование настраивается через интерфейс. Для этого определяется целевое действие, размер выборки и желаемый рост конверсии. Подробнее в статье «Как настроить Контрольную Группу и A/Б-тестирование в рассылке».

Резюме

Чтобы доказать эффективность изменений и провести классный A/Б-тест, нужно:

1. Определить точку роста и метрику.
2. Составить гипотезу. В идеале — с ожидаемым приростом нужной метрики.
3. Определить размер выборки для тестирования.
4. Убедиться, что нужные данные собираются. Если сомневаетесь, попробуйте А/А-тестирование.
5. Снять результаты спустя время. Проверить статистическую значимость калькулятором достоверности.

Полезные ссылки

А/Б Тестирование 📊 — Как Делать Сплит-тестирование

Научный подход к изменениям

В современном мире полагаться на предыдущий опыт и интуицию — недостаточно. Кроме того, в некоторых случаях (например — вывод нового продукта на рынок) это невозможно.

В такой ситуации на помощь приходит экспериментальный и научных подход к принятию решений.

Сплит–тестирование — один из лучших конкретных способов реализации этого подхода.

Для того, чтобы принимать решения, вам необходимо опираться на данные. Эти данные не получить иначе, как через тесты. Вы должны понимать, действительно ли ваши нововведения ведут к улучшению показателей — конверсии и продаж.

Выжать максимум из того, что есть

Многие предприниматели гонятся за трафиком. Это и понятно — формулу «больше посетителей = больше денег» никто не отменял.

Однако, не только количество посетителей влияет на прибыль. И с какого–то момента вы все равно начнете упираться в потолок, и наращивать трафик будет значительно сложнее и дороже.

Это значит, что в какой–то момент вам придется перейти с вопроса «Как получить больше посетителей» на вопрос «Как сделать так, чтобы эти посетители были довольны и стали клиентами». Чем больше у вас трафика, тем более вероятно, что вы начнете склоняться ко второму вопросу.

А/Б тестирование как раз помогает решить этот последний вопрос. Оно поможет вам изменить то, как ваш сайт «обходится» с имеющимся трафиком. Оно поможет начать работать над конверсией и поведением тех людей, которые уже обращают на вас внимание.

Снятие рисков при внедрении изменений

Вы улучшаете бизнес, улучшаете дизайн и содержание сайта. К сожалению, всегда есть риск, что такие изменения будут негативными. Вам нужна уверенность в том, что внедряемые изменения не скажутся негативно на прибыли.

Разумеется, проведение А/Б тестов в такой ситуации — лучший вариант.

Вы можете сравнить, какие результаты показывает новый вариант по сравнению с текущим. Причем это можно сделать безопасно — на небольшой аудитории.

Такая стратегия поможет вам предотвратить ситуации, когда вводимые изменения разрушают сложившиеся бизнес процессы.

Культура экспериментов и совершенствования

В целом, ценность сплит–тестирования можно сравнить с ценностью тестирования и экспериментов в целом. И ответ будет один — непрерывное совершенствование.

В современном мире очень хорошо, если у вас в компании и в команде внедрена культура экспериментов и непрерывного совершенствования. Что вы мыслите не в стиле «все работает вот так, я это знаю, все будет как я сказал», а в стиле «здесь большая неопределенность, но мы можем кое–что сделать, чтобы посмотреть как все работает».

Изучение, исследование, сбор данных — должны стать не просто рутинными задачами и неизбежным злом, а ценностями.

Суть непрерывного совершенствования хорошо отражена в цикле Деминга (или цикле PDCA):

• Планируем
• Делаем
• Проверяем (или измеряем)
• Изменяем

Если вы хотите внедрить такой подход к работе в вашем бизнесе, то первым хорошим шагом будет внедрение А/Б тестирования.

Потому что это метод основанный на данных, а не на фантазиях (здесь есть, что измерять). А также здесь относительно легко провести эксперимент, принять решение о том, что лучше для бизнеса, и внедрить изменения.

Рост бизнеса и закрепление позиций

У вас может быть бизнес с любыми метриками, с любым уровнем продаж, он может быть в любой нише. Но цель всегда — это развитие.

Тот, кто не развивается — проиграет. Сегодня конкуренты возникают очень быстро. И растут они тоже очень быстро. Если ваши конкуренты будут регулярно внедрять улучшения на основе анализа данных, а вы этого делать не будете, то рано или поздно вы начнете терять позиции.

Но, конечно, этот метод существует не только для защиты. Оно также для развития и роста.

А/Б тесты можно делать очень часто и много, если у вас достаточное количество трафика. Представьте, что вы будете через тесты каждую неделю расти хотя бы на 1%. Сколько вы выиграете? И сколько вы потенциально проиграете, если не будете так расти?

Понятно, что все познается в сравнении. Однако в случае с тестами вы на самом деле не можете знать, какой будет результат. И очень возможно, что он будет более значимый, чем тот, который вы ожидаете.

Например, вы можете думать, что тесты в лучшем случае поднимут вам конверсию на 5-10%, а по–факту может выясниться, что наблюдается рост в два раза. Увы, пока не сделаешь — не узнаешь. В этом суть экспериментов и тестов. Из–за этого может быть сложно оценить значимость таких активностей наряду с другими.

Однако, мы говорим про рост. И значимость этого процесса невозможно переоценить. Значит, вам нужно будет делать тесты в любом случае. Вопрос лишь в том, как часто и как много.

А/В-тестирование: зачем нужно и как помогает бизнесу

Посетители приходят на сайт с конкретной целью: больше узнать о продукте или услуге, что-то купить, изучить тему или просто поглазеть. При этом пользователи с разными целями сталкиваются с общими проблемами. Например, кнопка «Купить» расположена неудобно и её сложно найти. Такие нюансы формируют негативный пользовательский опыт (пользоваться сайтом неудобно) и влияют на конверсию.

Данные, собранные с помощью инструментов анализа поведения посетителей — тепловые карты, Google Analytics и опросы, — помогут определить болевые точки посетителей.

Это актуально для всех сфер, будь то электронная коммерция, туризм, SaaS, образование, СМИ или издательский бизнес.

Маркетологи знают, каким дорогим бывает качественный трафик.

A/B-тестирование позволяет эффективно использовать существующий трафик и помогает повысить конверсию без затрат на привлечение нового. Иногда даже незначительные изменения влияют на конверсию.

Для оценки эффективности сайта важно отслеживать показатель отказов. Люди покидают сайт по разным причинам: слишком много вариантов товара, несоответствие ожиданиям и другие. Поскольку сайты различаются по аудиториям и целям, нет универсального надёжного способа определения показателя отказов.

Но решение есть: в каждом случае поможет A/B-тестирование. Можно протестировать несколько вариантов расположения элементов на сайте и найти оптимальное решение.

Тестирование помогает улучшить пользовательский опыт — сделать так, чтобы посетителям сайта было удобнее им пользоваться. Люди проводят больше времени на сайте ⟶ показатель отказов уменьшается.

Рекомендуем вносить небольшие и последовательные изменения вместо того, чтобы одновременно делать редизайн всей страницы. Так снизится вероятность ухудшения коэффициента конверсии.

A/B-тесты позволяют получать хороший результат и при этом вносить лишь небольшие изменения, что приводит к увеличению ROI.

В качестве примера приведём изменения в описании продукта. Вы можете сделать A/B-тест, когда нужно удалить или обновить описание продукта и не знаете, как посетители будут реагировать на это.

Другой пример модификации с низким риском — добавление новой функции. A/B-тест поможет сделать результат внедрения более предсказуемым.

Изменения без тестирования могут оказаться успешными, но могут и не окупиться. В отличие от вполне определённого результата, который достигается с помощью тестирования и внесения соответствующих изменений.

A/B-тестирование полностью основано на данных и не оставляет места для догадок. Поэтому можно легко определить «победителя» и «проигравшего» на основе статистически значимых улучшений: показателей времени на странице, число запросов пробников, количество брошенных корзин, CTR.

Редизайн может быть разным: от небольших изменений цвета до полного изменения сайта. Решение об изменениях важно принимать на основании данных A/B-тестов.

Улучшение дизайна — непрерывный процесс. Если что-то изменили на сайте, протестируйте элементы, которые остались нетронутыми, и убедитесь, что используете лучшую версию ✌

---

Издания стремятся увеличивать количество читателей, подписчиков, проведённое время на сайте, количество просмотров на самом сайте и в соцсетях.

Протестируйте разные варианты форм регистрации и подписки, блоков рекомендуемого контента, кнопок социальных сетей и других каналов продвижения.

Зрители Netflix с удовольствием пользуются сервисом. Во многом благодаря тому, что Netflix последовательно и систематически тестирует любое изменение на сайте.

Например, Netflix персонализирует главную страницу так, чтобы пользователю было удобно ориентироваться на ней. Поэтому в зависимости от того, что он смотрел и что ему нравится, зритель на своей главной странице видит те или иные шоу и фильмы в том или ином порядке. Случайные решения не принимаются.

Та же история и с другими страницами. Netflix персонализирует миниатюры, которые мы видим чаще всего; формирует кликабельные заголовки; определяет, когда социальное доказательство помогает принять решение. И это только верхушка айсберга 🙈

A/B-тестирование: Всё, Что Нужно Знать

Sait

access_time

26 октября, 2020

hourglass_empty

8мин. чтения

Маркетинг – вещь непростая. Чтобы опередить конкурентов нужна действительно рабочая стратегия. Вот когда в игру вступает A/B-тестирование. A/B- или сплит-тестирование позволяет проверить разные маркетинговые подходы и выбрать наиболее эффективный. В этой статье вы узнаете всё, что вам нужно знать об этом методе маркетингового исследования.

Что Такое A/B-тестирование?

Суть A/B-тестирования заключается в тестировании двух разных стратегий на целевой группе.

Для примера, скажем, у вас есть кнопка подписки на новостную рассылку – она называется control (существующий элемент).

Вы хотите узнать, можно ли что-то улучшить, как-то изменить рассылку, чтобы получить больше подписчиков.

Для этого вы создаёте ещё одну рассылку с другой кнопкой для подписки – с другим местоположением, другого цвета, формы, другим призывом к действию и т.д. Этот новый элемент называется вариантом (variant).

Затем вы делаете рассылку этих двух писем, разделив аудиторию 50/50. 

Таким образом, вы соберёте аналитические данные как из контрольного письма, так и из письма-варианта, которые и станут решающим фактором. Какой из вариантов может заинтересовать новых подписчиков?

Скорее всего вы выберете то письмо, которое набрало наибольшее количество взаимодействий. 

Это лишь верхушка айсберга! Вы можете использовать A/B-тестирование для различных маркетинговых платформ, таких как социальные сети, визуального маркетинга и многого другого.

Более того, вы можете тестировать больше, чем два варианта. Чем больше данных для сравнения, тем точнее ваши прогнозы и эффективней кампании.

Например, вы можете протестировать третью кнопку подписки на рассылку как дополнительный вариант. Но вам понадобится больше трафика, так как вы разделите аудиторию на три, а не две части. 

Но если вы планируете проверить больше трёх элементов, рекомендуем ознакомиться с мультивариантными тестами (англ).

Почему A/B-тестирование – это важно?

Если вы хотите решить проблему или оптимизировать существующие хорошо функционирующие элементы (рекламные объявления, призывы к действию, размещение кнопок и т.д.), вам необходимо испробовать и другие варианты, чтобы увидеть, могут ли они дать лучшие результаты.

Короче говоря, A/B-тестирование – это методом решения проблем на основе статистических данных. Таким образом, компании смогут принимать более обоснованные решения относительно своих маркетинговых стратегий, сайтов, приложений и так далее.

Компании и маркетологи могут улучшить много аспектов путём проведения A/B-тестирования. Обратите внимание, что вам нужно подобрать правильный элемент, который оказал наибольшее влияние на каждую характеристику. Под этими аспектами следует понимать:

• Коэффициент конверсии – с помощью A/B-тестирования можно выяснить какой метод, оригинальный или альтернативный,  эффективнее в превращении посетителей в покупателей.  
• Показатель отказов – вы можете протестировать такие изменения, как навигация по страницам, чтобы увидеть, заставляют ли они ваших посетителей задержаться на сайте дольше.
• Рейтинг кликов – после внесения определённых изменений в ваш сайт, вы можете определить, на какие ссылки ваши посетители нажимаю чаще всего. 

Более того, отрасли, которые только выиграют от внедрения A/B-тестирования в рабочий процесс можно перечислять бесконечно. От электронной коммерции (англ) до туризма, от крупных компаний и малого бизнеса – сплит-тестирование отлычный подход к решению проблем и оптимизации существующего функционала. Вот несколько примеров того, как разные отрасли успешно используют A/B-тестирование.

1. Ecommerce

Каждый владелец интернет-магазина стремится получить как можно больше продаж. Если вас не устраивает ваш доход, вы можете провести A/B-тестирование, чтобы увидеть, что можно улучшить.

• Низкая конверсия – обычно не все посетители сразу покупают ваши продукты. Итак, как улучшить коэффициент конверсии? Сначала определите вашу текущую стратегию. Например, если в вашем интернет-магазине платная доставка, вы можете попробовать делать наценку на товар и за счёт этого предлагать бесплатную доставку.  
• Покинутая корзина – ваши покупатели часто оставляют товары в корзине, так и не совершив покупку? Постарайтесь найти причину. У вас настроена рассылка писем-напоминаний о товарах в корзине? Качественен ли текст этого письма? Есть ли там чёткий призыв к действию? Подходит ли манера общения вашей команды поддержки вашей аудитории? Проверьте каждый из этих аспектов, чтобы определить и устранить проблему. 
• Навигация по странице товаров – это может показаться неважным, но понимание поведения ваших посетителей и того, как они переходят от одного продукта к другому, может значительно увеличить продажи. Например, если сейчас как альтернативу вы показываете разные бренды зубной пасты, то имеет смысл попробовать предлагать сопутствующие товары, например зубные щётки, полотенца и т.д. 

В результате с помощью A/B-тестирования владельцы интернет-магазинов могут выбрать стратегию, которая лучше всего подходит для увеличения продаж.

2. СМИ и Издательства

В медиа и издательской индустрии также существует много аспектов, которые можно улучшить с помощью A/B-тестирования. Задача сплит-тестирования в этой сфере заключается в том, чтобы привлечь внимание потенциальных читателей и максимально увеличить вероятность того, что они купят печатную продукцию или даже платную подписку на сайте.

Итак, что это за аспекты, которые можно улучшить?

• Обложки – хорошая обложка должна очаровывать читателей с первого взгляда на неё. Например, можно поиграть с заголовками, шрифтом (тип, цвет и размер) и фоном – разные модели могут принести разные результаты.
• Вёрстка – плохое размещение абзацев и элементов может неприятно резать глаза ваших читателей. Вы можете много с чем поэкспериментировать – выравнивание, размер, иллюстрации, цвет и т.д.
• Колонки – скорее всего, ваш сайт или печатная продукция говорят не только об одной теме. Итак, вы должны проверить, нравится ли вашим читателям меньше, но широких тем или много рубрик с более конкретными темами. Кроме того, попробуйте добавить или удалить какую-то колонку и посмотрите, как это повлияет на продажи и читателей. 
• Маркетинговая сеть – традиционные или цифровые, попробуйте улучшить некоторые методы продвижения вашего журнала или газеты: исследуйте различные подходы, такие как новое место расположения киосков, новый тон и манера общения для вашей кампании в социальных сетях и т. д.
• Призовая викторина – такова природа человека, мы любим получать что-то бесплатно. Вот почему хорошая призовая викторина – один из методов, которым должна воспользоваться каждая медиа-компания. С помощью сплит-тестирования, вы можете определить оптимальный уровень сложности, количество вопросов или действий, которые необходимо выполнить, стимул и т.д.

Получив все необходимые данные для анализа, вы можете предпринять шаги, которые могут существенно улучшить общий опыт ваших читателей.

3. Технологии B2B (Бизнес для Бизнеса)

Не зависимо от того предлагаете вы услуги цифрового маркетинга, систему безопасности или систему управления для других компаний, вам необходимо позаботиться о каждом аспекте, который влияет на продажи и коэффициент конверсии.

Убедитесь, что вы предприняли все необходимые шаги, чтобы завоевать доверие своей аудитории. Итак, давайте посмотрим, как мы можем применить A/B-тестирование для достижения.

• Структура целевой страницы (лендинга) – существует множество вариантов построения целевых страниц, и нет более точного способа определить, какой вариант сработает лучше всего, чем A/B-тестирование. Протестируйте разные цвета, размещение информации, кнопки и многое другое.
• Форма регистрации – это один из самых важных элементов вашей страницы. Если формы слишком загромождены, это может привести к потере потенциальных клиентов. Главная задача дизайна – сделать её аккуратной, привлекательной и лаконичной. Попробуйте разные кнопки и призывы к действию, чтобы определить, какой вариант имеет наилучший коэффициент конверсии.
• Персонаж-талисман (маскот) бренда тесно связан и даже определяется тоном вашего сообщения. Разная аудитория по-разному реагирует на подобные вещи, поэтому стоит попробовать, какой маскот больше всего понравится вашей аудитории и уместен ли он вообще. 

Приведённые выше примеры – это только начало, есть много других аспектов, которые вы можете проверить, например, стоит ли подчёркивать слово “БЕСПЛАТНО!”, если вы предлагаете бесплатную консультацию. Также вы можете протестировать разные места размещения PPC-объявлений, вёрстку, навигацию на сайте и многое другое.

4. Туризм

Если ваши услуги туроператора не приносят достаточно прибыли, вы можете положиться на A/B-тестирование, чтобы выяснить в чём ваша проблема и устранить её. 

Причин может быть много: неудобный процесс покупки, непривлекательная страница с ценами и многое другое. Вот несколько способов, как можно улучшить сайт в сфере туризма с помощью A/B-тестирования.

• Предупреждения о некорректной информации – ваши клиенты могут по ошибке пропустить столбец или указать неправильный код страны в номере телефона. Если вы сообщите о допущенной ошибке только после того, как клиент заполнит всю форму и нажмёт кнопку “Отправить”, это может вызвать негативную реакцию или даже стать причиной отказа от оформления заказа. Поэкспериментируйте с формой: добавьте моментальные сообщения об ошибке, разбейте столбцы на разделы и т.д. 
• Эффект приманки – если вы предлагаете разные туристические пакеты, вы можете отображать их рядом, чтобы вызвать у клиентов определённое восприятие. Например, существует большая вероятность, что если вы будете показывать три пакета с разной ценой, клиент выберет тот, что посередине, особенно если вы добавите к нему тег “лучшее предложение”.
• Страх потери – дополнительная мотивация – всегда хорошая идея. Организуйте своего рода соревнование, чтобы стимулировать желание остановиться именно в вашем отеле, указав на сайте: “Осталось всего Х номеров”. Посмотрите, как это повлияет на продажи. Также протестируйте место, где лучше указать эту деталь – либо на странице обзора продуктов, либо в карточке товара. 

Другими словами, поэкспериментируйте с элементами, которые можно добавить или улучшить на вашем сайте, и определите изменения в поведении ваших клиентов.

Как Проводить A/B-Тестирование?

Каждое новое A/B-тестирование может отличаться от предыдущего в зависимости от вашей текущей ситуации и проблем, с которыми вы столкнулись. Тем не менее, существуют общие шаги, характерны каждому  A/B-тестированию.

Шаг 1: Сбор исходных данных

Прежде чем что-то делать, вы должны оценить состояние вашего сайта или мобильного приложения. Google Analytics – один из самых надёжных инструментов, которые вы можете использовать для сбора всех необходимых данных.

Затем определите ряд проблем, которые нужно устранить и аспектов, требующих оптимизации, например, высокий показатель отказов, низкие продажи и т. д.

Шаг 2: Формулировка целей

Цели важны для того, чтобы вы могли сопоставить имеющиеся у вас проблемы с соответствующими аспектами.

Например, если вы хотите протестировать разные страницы с ценниками, то метрики, которые вы должны отслеживать – это показатели конверсии.

Кроме того, конкретно сформулированные цели помогут вам не отвлекаться во время тестирования.

Допустим, вам нужно увеличить трафик, протестировав различные заголовки. Однако, возможно, что один из них также увеличивает показатель отказов – не берите во внимание этот показатель, принимая решение. 

Шаг 3: Формулировка гипотезы

Если у вас есть чётко сформулированная цель и переменные для тестирования, то наверняка у вас есть и определённые предположения касательно результатов.

Допустим, вы меняете цвет кнопки, чтобы увеличить количество переходов. Соответственно вы можете предсказать, что определённый цвет сработает лучше, поскольку он лучше резонирует с вашей аудиторией и вызывает определённые чувства (например, синий – чувство доверия и уверенности).

Шаг 4. Создание вариантов

Чтобы провести A/B-тестирование, вам нужны версия A (существующая) и версия B (альтернатива).

Убедитесь, что обе версии идентичны во всех остальных аспектах, за исключением одного различия, которое вы хотите проверить. В основе альтернативного варианта должна быть ваша гипотеза.

Например, сравните эффективность двух сайтов: один с синей кнопкой призыва к действию (variant) и один с красной кнопкой (control).

Шаг 5: Запуск теста

При запуске A/B-тестирования необходимо учитывать некоторые факторы, чтобы сделать его максимально эффективным.

Протестируйте обе версии одновременно – помните, вы проверяете разные аспекты продукта, а не время. Если вы тестируете версию A в январе и версию B в феврале, можно ли сделать объективные выводы?

Разделите свою аудиторию поровну – чтобы определить победителя, вы должны организовать справедливое соревнование. Разделите аудиторию 50/50 случайным образом, чтобы получить объективные результаты.

Фактор продолжительности – продолжительность тестирования имеет огромное значение. Убедитесь, что вы выделили достаточно времени, в противном случае полученных результатов может быть недостаточно для принятия объективного решения. 

Продолжительность тестирования зависит от количества трафика. 

Шаг 6: Анализ результатов

Получив результаты, вы можете определить победителя. Однако на этом процесс не заканчивается. Вам нужно убедиться, что результаты действительно соответствуют реальности. В этом вам поможет калькулятор A/B-тестирования (англ).

Калькулятор поможет определить, принесёт ли версия-победитель желаемые результаты в реальной ситуации. Если уровень достоверности высокий, вы можете выбрать версию с лучшими результатами или запустить другой тест с другим вариантом.

Чего Следует Избегать

Нередко при A/B-тестировании возникают ошибки. Вот список распространённых ошибок, которые веб-мастера по всему миру должны стараться избегать.

1. Спешка на этапе сбора начальных данных – учтите, что возможно вы не достаточно подождали или пропустили шаг 6 – оценку результатов, отнеситесь к полученным результатам с долей скептицизма. 
2. Не слишком полагайтесь на чувства – A/B-тестирование проводится по причине, его задача – получить данные, для обоснованного решения. Итак, не забудьте проверить статистическую значимость ваших данных, отслеживайте правильные показатели. 
3. Запуск нескольких тестов – не рекомендуется тестировать два или более элементов одновременно. Если вы хотите протестировать кнопки, чтобы определить, какая из них имеет наивысший коэффициент конверсии, не стоит тестировать ещё какой-то элемент, с такой же целью, например, письмо-напоминание о покинутой корзине. Когда коэффициент конверсии становится выше, трудно определить, какой элемент повлиял на это.
4. Неправильный тайминг – убедитесь, что понимаете природу тестируемого объекта. Результаты могут быть необъективными, если вы выберете слишком долгий или короткий промежуток времени. 
5. Отсутствие последующих действий – не останавливайтесь, если тестирование было неудачным. Отнеситесь к этому как к части процесса. Учтите предыдущие результаты теста и повторите попытку.
6. Неправильные инструменты – есть много инструментов A/B-тестирования, но доверять можно лишь немногим. Постарайтесь использовать проверенные инструменты, такие как OptinMonster или MonsterInsight.

Выводы

Ну что ж, мы разобрались с тем, что такое  A/B-тестирование, зачем оно нужно и как его провести. 

Подводя итог, давайте ещё раз кратко пробежимся по том, как провести A/B-тестирование.

1. Соберите исходные данные – используйте Google Analytics для сбора информации о платформе, которую вы тестируете.
2. Сформулируйте цель – это поможет вам не отвлекаться, не стоит принимать внезапные решения использовать вариант с меньшим показателем отказов, если ваша цель – увеличить количество конверсий. 
3. Сформулируйте гипотезу – сделайте прогноз того, как определённый элемент может работать лучше.
4. Создайте вариант – следуя вашей гипотезе, создайте вариант для сравнения с существующим элементом.
5. Запустите тест – не забудьте учесть продолжительность, инструменты и т. д. Убедитесь, что тестировали обе версии (контрольную и вариант) одновременно, чтобы сохранить достоверность результатов.
6. Проанализируйте результат – поместите данные в калькулятор А/B-тестирования, чтобы убедиться в достоверности результатов. Затем выберите ту версию, которая работает лучше.

Если вы специалист по маркетингу, который ищет метод повышения качества лидов и развития бизнеса, сплит-тестирование – именно то, что вам нужно. Да, этот процесс требует времени и самоотдачи, но результат стоит того.

А/Б-тестирование в Яндекс.Директе — как провести и где брать идеи

Огромный потенциал развития любого проекта кроется в постоянном поиске новых точек роста и формировании гипотез для улучшения показателей с их последующей проверкой. А/Б-тесты должны быть неотъемлемой и непрерывной частью управления рекламой.

Переходить к проведению тестов можно, когда вся система маркетинга выстроена наиболее прозрачно: настроены цели, определены ключевые метрики для оценки результатов, запущены все основные типы ключевых слов и рекламных кампаний, есть продажи и выручка. Тогда смело выделяйте время, ресурсы и бюджеты на А/Б-тестирование для улучшения результатов продвижения.

С чего начать?

Сформируйте список гипотез — это предположения о том, где рекламная кампания может работать лучше. Концентрироваться стоит не только на главной цели — получении продаж, можно работать над повышением конверсионности посадочной страницы и объявлений, уменьшением показателя отказов, увеличением кликабельности и прочим.

После формирования списка оцените, какой пункт может дать наибольший эффект, если гипотеза сработает. Так получится сформировать очередность тестов, выделяя в приоритет самые потенциально результативные решения.

Где брать идеи для тестов

1. Стандартные элементы. Под ними понимаются тексты объявлений, картинки, позиции в выдаче, стратегии управления ставками. Это прекрасный старт для внедрения процесса А/Б-тестирования. Внимательно наблюдайте за результатами, записывайте всё, что заметите, — это может стать отличной базой для следующих тестов.

2. Рекомендованные настройки и стандарты. Подвергайте сомнениям все настройки, особенно те, что диктуются рынком и системами как правильные и проверенные. К примеру, в сети Яндекса принято не использовать минус-слова: считается, что это ограничивает охват. А что если попробовать применить общий пакет минус-слов? Возможно, станет меньше трафика, но он будет более качественным.

3. Аналитика. Статистика может стать основным источником вашего вдохновения. На основе отчетов по рекламным кампаниям можно сформировать целый ряд гипотез о том, как улучшить каждый этап пути пользователя к покупке: от показа объявления до заказа на сайте.

4. Отдел продаж и клиентский сервис. Ценную информацию для гипотез могут подсказать отделы, которые напрямую общаются с клиентами. Они чаще всего знают боль пользователя и причины выбора вашего продукта, удобство сайта и прочие важные мелочи. Опираясь на эти данные можно сгенерировать немало идей.

5. Конкуренты. Идеи для тестирований можно взять из анализа конкурентов в этой или близкой тематике. Именно так у нас стал популярен вариант с расширенными уточнениями в виде коротких УТП: объявление становилось на строку больше и занимало еще больше места. Мы заметили такой формат у конкурентов бренда, протестировали, отметили рост CTR и стали внедрять для разных тематик.

Читайте также

Как проводить А/Б-тестирование

Шахматное расписание показов — изначальный и самый распространённый способ в Яндекс.Директе примерно до прошлого года.

Суть метода:

1. Определяется гипотеза тестирования. Например, мы хотим проверить, что лучше в качестве посадочной для рекламы: лендинг или основной сайт.

2. Подбираются кампании для теста. Важно понимать: чем больше трафика и конверсий, тем быстрее пройдет тестирование.

3. Создаются две копии выбранной кампании для теста. В одной кампании мы ведем на короткий лендинг, а во второй — на основной сайт.

4. В настройках времени показа настраивается время работы кампаний: час показывается одна, час — другая.

Именно таким образом — по времени — можно разделить всю аудиторию на две части. Это ручной способ деления показов между кампаниями, в котором есть несколько сложностей:

• ограничение возможностей: протестировать достоверно более двух вариантов одновременно в этой схеме не получится;

• не всегда корректная статистика: если пользователь несколько раз осуществлял поиск в разное время, он мог увидеть два варианта рекламы.

Эксперименты — собственный продукт Яндекса для проведения тестирований, который позволяет делить аудиторию (на поисковых и тематических площадках). С марта 2020 года «Эксперименты» стали доступны всем без предварительных запросов в службу поддержки.

Теперь деление аудитории доверено автоматическим алгоритмам, и это избавило специалистов от части сложностей. Пользователь попадает только в одну группу эксперимента и даже при множественном поиске увидит только свой вариант.

Запуск с помощью «Экспериментов» происходит похожим образом:

1. Определяется суть теста, затем происходит выборка кампаний.

2. Создаются копии выбранных кампаний.

3. Создается «Эксперимент» в Яндекс Аудиториях.

4. В настройках каждой кампании необходимо привязать соответствующий сегмент «Эксперимента».

Результаты можно сводить на уровне кампаний или с использованием отчета по «Экспериментам» в Директе и Метрике.

А/Б-тестирование можно считать статистически корректным и значимым, если соблюдать специальные правила:

1. Копировать кампании нужно с уже накопленной статистикой. Это позволит начать тестирование с использованием статистики, которая уже есть. Кампании не будут разгоняться, набирать CTR заново и получать дорогие клики.

2. Новые кампании должны стартовать вместе с остановкой старой. Одновременная работа не допускается.

3. Вносить изменения во время тестирования нужно в обе кампании сразу.

4. Один тест — один элемент. Например, при тестировании заголовков другие элементы менять нельзя, чтобы оценить вклад только этого изменения.

5. Эксперимент считается завершенным, когда данных для принятия решения будет достаточно. Определить это можно с помощью калькуляторов А/Б-тестов, которых в сети достаточно много.

Больше о проведении тестов

Как тестирование может улучшить результаты

Разберем несколько примеров из нашей практики, когда тестирование помогло оптимизировать продвижение.

Соцдем корректировки в рекламе крупного интернет-магазина мебели

Гипотеза от команды клиента: в наиболее результативных кампаниях с большим количеством трафика не нужны корректировки по полу и возрасту.

Чтобы проверить гипотезу, мы запустили тест. Кампания с корректировками по полу и возрасту принесли клиенту больше трафика и рост среднего чека, как следствие, увеличился доход с сокращением ДРР. Это произошло из-за перераспределения аудитории: реклама стала чаще показываться пользователям с большей покупательской платежеспособностью в сети.

Гипотеза оказалась ошибочной, а по итогам теста корректировки по полу и возрасту были внедрены во все кампании.

Banner

Товары-хиты в быстрых ссылках интернет-магазина электроники

Гипотеза: в быстрых ссылках поисковых объявлений эффективнее показывать хиты продаж.

Детали эксперимента:

• в первой кампании быстрые ссылки остались без изменений и вели на подкатегории;

• во второй кампании указаны наименования самых популярных в магазине товаров.

В результате первый тип кампании — на подкатегории — принес больше конверсий и дохода. Конверсия в покупку была выше, этот результат считаем статистически значимым.

Вероятно, так получилось потому, что:

• названия «популярных товаров» были непривлекательными;

• ссылки на товары не несли никакой ценности для клиента. Подкатегории же в быстрых ссылках давали возможность пользователю получить представление об ассортименте и сразу перейти в необходимый раздел на сайте.

По итогам теста товары-хиты в быстрых ссылках больше не использовались.

Турбо-страницы для медицинской клиники

Гипотеза: посадочные страницы сайта довольно сложные для восприятия и слишком долго грузятся на мобильных устройствах, что снижает конверсию в заявку.

Решение и тест: создать простые турбо-страницы для одного направления и сравнить, какая посадочная отработает лучше для мобильного трафика.

В результате конверсия в обращение с турбо-страниц оказалась почти в два раза выше, а СРА — в два раза ниже. При этом улучшения произошли именно из-за роста конверсии на мобильных устройствах.

После теста на одном направлении мы решили внедрить турбо-страницы на все остальные.

Будьте последовательны и цикличны для роста вашего проекта: анализируйте результаты, формируйте гипотезы, проводите А/Б-тесты, внедряйте положительный опыт и возвращайтесь на первый этап.

A/B-тестирование в популярных рекламных системах: примеры создания тестов

A/B-тестирование (или сплит-тестирование) — маркетинговый инструмент, необходимый для проверки той или иной теории. С его помощью маркетологи определяют истинность или ложность своих гипотез путем экспериментов. К примеру, посредством A/B-тестирования можно сравнить рекламные объявления с одним текстом, но разными заголовками, и выяснить, какой из них принесет больше конверсий. От результатов A/B-теста можно смело отталкиваться при планировании стратегии, поскольку они, как правило, точны и релевантны.

Рекламные системы не обошли стороной метод сплит-тестирования и разработали свои инструменты для проведения тестов. Чистота эксперимента достигается благодаря полной автоматизации: оба объявления получают одинаковый трафик без присвоения приоритета какому-либо из них. Ниже представлены подробные инструкции по проведению сплит-теста в популярных рекламных системах.

A/B-тестирование в Яндекс.Директе

В феврале 2019 года Яндекс представил свой инструмент для A/B-тестирования. Возможность проводить тесты есть не во всех рекламных аккаунтах. Чтобы получить эту функцию, нужно оставить заявку менеджеру. После обработки запроса в кабинете Яндекс.Аудиторий появится вкладка «Эксперименты».

При проведении теста важно отталкиваться от конкретной гипотезы. К примеру, вы предполагаете, что в определенном регионе один вариант объявления будет работать лучше, чем в остальных. Соответственно, эту гипотезу и проверяем.

Тестирование проводим таким образом:

1. В Яндекс.Аудиториях создаем новый эксперимент, даем ему название, заполняем пустые поля, добавляем счетчик и сегменты аудиторий (в данном случае это варианты нашей гипотезы). Нажимаем «Создать эксперимент».
2. Переходим в кабинет Яндекс.Директа и создаем две рекламные кампании под каждый созданный сегмент эксперимента.
3. Задаем настройки кампаний, исходя из целей тестирования. Например, географический таргетинг в одной кампании настраивается на регион, выбранный в соответствии с гипотезой, а во второй — на остальные.
4. В параметрах рекламной кампании находим раздел «Эксперименты». В нем отмечаем нужный эксперимент и сегмент, например, с выбранным регионом.
5. Те же манипуляции с поправкой на другой сегмент эксперимента проводим во второй РК.

Кстати, для A/B-тестирования групп объявлений настройте на них в Яндекс.Директе специальные метки.

Во время настройки эксперимента вы можете указать, сколько будет длиться тест. Либо пропустите этот момент и выключите тест самостоятельно, как только решите, что получили достаточно информации. Посмотреть результаты можно в кабинете Яндекс.Директа во вкладке «Мастер отчетов», добавив фильтр «Эксперименты» и выбрав нужные кампании.

A/B-тестирование в Google Ads

В этой рекламной сети тест создается так:

1. В рекламном кабинете переходим во вкладку «‎Проекты и эксперименты» на правой боковой панели. В открывшемся окне жмем на плюс.
2. В списке выбираем нужную кампанию. Название проекту даем, исходя из той гипотезы, которую хотим проверить. Важно, чтобы оно не совпадало с названиями других экспериментов и/или кампаний. Сохраняем.
3. В окне нового проекта меняем настройки кампании именно так, как нужно для проверки гипотезы. Применяем внесенные настройки. В новом окне выбираем пункт «‎Провести эксперимент», после чего нажимаем «‎Применить».
4. Определяем временные рамки эксперимента, устанавливаем процент трафика, достаточный для проведения тестирования, и сохраняем.

Эксперимент готов. Остается дождаться результатов его проведения, которые появятся во вкладке «Эксперименты в кампаниях». Когда тест закончится или же вы получите достаточно информации о проведенном эксперименте, вы поймете, насколько кампания эффективна. В случае успеха запускайте экспериментальную кампанию (кнопка «‎Применить»). После чего выбирайте: хотите вы внести изменения в исходную РК или же преобразовать эксперимент в новую.

A/B-тестирование в MyTarget

Для создания эксперимента в MyTarget:

1. При запуске РК переходим в раздел рекламного кабинета «Детальная настройка аудитории».
2. В блоке «A/B-тест» делим кампанию на части (до 10) и определяем необходимый для проведения теста процент аудитории.
3. Настраиваем выбранную кампанию.
4. Настраиваем следующую кампанию с учетом тех аудиторий, которые выбрали для первой РК, и запускаем обе.

При определении временных рамок рекомендуем отталкиваться от бюджета. Однако имейте в виду: лучше подводить итоги не менее чем через 3 дня после запуска тестирования.

Оценить результаты теста можно на дашборде «Кампании», в который добавьте столбец «Сплит-тестирование». Для подведения наиболее корректных итогов на основе количества пользователей, перешедших по рекламе, и совершенных целевых действий поддержка MyTarget советует воспользоваться этим сервисом.

A/B-тестирование на Facebook

Тестирование рекламных объявлений в этой соцсети проводим так:

1. В рекламном кабинете Ads Manager создаем новую рекламную кампанию. В открывшемся окне нажимаем на «Режим быстрого создания». Даем название кампании и определяем ее цель.
2. Активируем режим «Сплит-тест». В появившемся поле выбираем переменную и количество аудиторий для тестирования.
3. Именуем группы объявлений. Чтобы не запутаться, каждую группу называем в соответствии с переменной.
4. Переходим к настройке групп объявлений. Прежде всего определяем бюджет: для большей достоверности делим его пополам, направляем на тестируемые группы и фиксируем временные рамки тестирования.
5. Переходим к настройке отдельных групп. В поле соответствующей тестируемой переменной выбираем нужную. Такие же манипуляции проводим и для другой группы. Помните, что объявления на обе группы одни и те же, поскольку сейчас мы тестируем только выбранные переменные.

По завершении отведенного на эксперимент времени на вашу электронную почту придет письмо с результатами тестирования. Также их можно получить и в Ads Manager непосредственно во время проведения эксперимента. На основе полученных данных вы определите наиболее выигрышную стратегию и сможете применять ее в дальнейшей работе над проектом.

Бонус: A/B-тестирование в Google Optimize

В отличие от вышеописанных сервисов, которые нужны для создания экспериментов в рекламных кампаниях, Google Optimize необходим для тестирования посадочных страниц, в частности их дизайна и юзабилити. С помощью Google Optimize вы можете видоизменять страницу: добавлять, удалять, перемещать элементы, менять шрифты и изображения. Все это без переработки кода и без риска испортить исходную версию сайта.

Итак, чтобы протестировать посадочную страницу в Google Optimize:

1. Прежде всего создаем новый аккаунт. Для этого на сайте optimize.google.com жмем «Начать работу», в появившемся окне называем проект, выбираем страну и соглашаемся с условиями. Далее даем название контейнеру.
2. В кабинете Google Optimize кликаем по кнопке «Начать»: называем эксперимент, добавляем адрес тестируемой страницы и выбираем тип эксперимента. Устанавливаем связь контейнера: для этого на странице создания проекта справа в выпадающем списке «Установление связи с Google Аналитикой» выбираем аккаунт Google Analytics.
3. Переходим в настройки эксперимента в окне «Таргетинг и варианты». Здесь нажимаем «Добавить вариант», в открывшемся окне называем вариант, исходя из изменений, которые планируем внести на страницу. После добавления кликаем по кнопке «Изменить» напротив названия варианта.
4. Редактируем дизайн целевой страницы. После внесения всех необходимых изменений кликаем «Готово».
5. Выбираем аудиторию, на которую будет вестись эксперимент. Настройки довольно гибкие: таргетинг можно отрегулировать по устройствам, местоположению, поведению и т.д.
6. В окне «Аналитика и цели» нажимаем на «Добавить цель эксперимента» и либо выбираем готовую цель из выпадающего списка, либо создаем свою.
7. Важно учитывать, что для отслеживания конверсионных действий необходима корректная настройка целей в Google Analytics и Tag Manager. К примеру, если вы хотите отследить, какая версия страницы принесет больше заявок, но у вас не установлена цель на отправку заявки в вышеперечисленных системах, то, увы, эксперимент пройдет впустую.

Имейте в виду: для проведения этого эксперимента необходимо, чтобы на тестируемом сайте были установлены Google Analytics и Tag Manager и вся работа проводилась в браузере Google Chrome с установленным расширением Google Optimize.

Автоматические A/B-тесты vs. ручные тесты

Некоторые специалисты не хотят вникать в подробности инструкций и алгоритмов создания экспериментов, идут на ухищрения и тестируют объявления вручную: устанавливают UTM-метки, делают несколько вариантов объявлений, выставляют настройки по определенному времени показа и т.д.

У нас есть 4 причины, по которым так делать точно не стоит:

1. Тест, проводимый вручную, не защищен от алгоритмов поисковых систем. Они могут нарушить чистоту эксперимента, присвоив приоритет определенному объявлению и демонстрируя его чаще.
2. При проведении автоматического эксперимента обе кампании находятся в равных условиях, то есть получают одинаковое количество просмотров от одинаковых аудиторий. Таким образом можно проверить эффективность рекламы для разных групп.
3. Нельзя забывать про человеческий фактор: специалист может ошибиться или запутаться при настройке UTM-меток и сделать ложные выводы о результатах ручного тестирования.
4. Экономия времени. Вместо того, чтобы вручную настраивать, отслеживать и корректировать каждую кампанию, можно все доверить системе.

Инструменты рекламных систем для проведения A/B-тестов во многом облегчают работу интернет-маркетологов. Они позволяют проверить практически любую гипотезу с возможностью вернуть все изменения в РК или сайт в пару кликов, минимизируют или вовсе исключают ручное сравнение рекламных материалов и страниц, а также дают возможность самостоятельно менять дизайн сайтов тем специалистам, у которых нет специальных знаний и навыков.

А/B-тестирование НЕ для новичков — как это делают профессионалы ⚡

A/B-тестирование — мощный инструмент. С его помощью можно улучшать различные маркетинговые показатели, начиная от конверсии отдельно взятого рекламного объявления и заканчивая экономическими показателями бизнеса в целом. О том, как добиваться реально крутых результатов, мы спросили профессионалов в области экспериментов Виталия Черемисинова, Валерия Бабушкина и Виктора Рындина.

Читайте в этом материале:

• что важно учесть, чтобы сплит-тест был корректным;
• как генерировать гипотезы для экспериментов;
• какие инструменты и статистические методы лучше использовать;
• какие есть лайфхаки для более эффективной проверки гипотез.

Виктор Рындин, генеральный директор агентства комплексного digital-маркетинга WeMakeFab

— Что нужно знать, чтобы А/B-тестирование прошло как надо?

1. Чем меньше у вас трафика во время тестирования, тем больше вероятность выявить статистическую погрешность, а не сделать далеко идущие выводы об эффективности того или иного приема. В тестировании гипотезы должно принять участие не менее 3000 уникальных пользователей.

2. Не торопитесь с выводами. Две недели — это минимальный срок для проведения А/B-тестирования, по истечении которого вы можете рассчитывать на статистически достоверные данные.

3. Самая распространенная ошибка — это когда тестирование проводится на разных аудиториях, с разными креативами и с разными посадочными страницами. Неизвестная должна быть только одна! Хотите протестировать разный вид блоков на посадочной странице? Создайте абсолютно одинаковые условия в остальном: используйте одинаковые креативы в рекламных объявлениях, которые видит схожая аудитория, приходящая из одного рекламного источника.

4. Тестируйте несколько гипотез одновременно. Все привыкли тестировать только 2 варианта посадочной страницы, хотя в рамках одного тестирования вы можете добавить и 3, и 4 варианта, существенно сэкономив время. Главное, убедитесь, что минимального количества посетителей хватит для каждого из вариантов.

5. Проводите тестирование на всей длине воронки. Что толку, если посадочная страница приносит конверсию в 3 раза больше обычной, но до продаж эти лиды не доходят?

— Покажите на конкретном кейсе, какие выводы можно делать, исходя из сплит-тестов.

Гипотеза: клиенты, интересующиеся бухгалтерскими услугами, обращают внимание только на цену. Можно отказаться от лонгрида с информацией о компании в пользу простой посадочной страницы с калькулятором стоимости услуг.

	А	B
Посетителей	1464	1543
Процент отказа	38,8	31,3
Время на сайте	0:41	0:34
Целевое действие	19	7
Конверсия	1,30 %	0,45 %

Гипотеза подтвердилась: на короткой версии посадочной страницы пользователи меньше терялись и чаще оставляли заявку.

Особенно важно проводить сравнительные тестирования после обновления дизайна сайта. Даже если вам кажется, что новая версия очевидно лучше, чем старая. Например, из-за редизайна сайта полностью изменился внешний вид заявочной формы с предложением скидки. Визуально новая версия получилась более привлекательной, однако на деле конверсия в ее заполнение упала с 1,51 (вариант B) до 0,51 % (вариант A)!

Бабушкин Валерий, директор департамента моделирования и анализа данных Х5 Retail Group

— Какие инструменты вы сейчас используете для проведения тестирований?

Если разговор идет об А/B-тестировании или просто об оценке эффективности каких-то мероприятий — у нас самописная платформа, мы используем различные методы, начиная от базовых статистик и bootstrap. Дальше — метод бакетов и линеаризации, методы снижения дисперсии, CUPED, методы вычитания предсказаний и прочая статистическая машинерия.

— Как эффективно организовать процесс генерации гипотез для тестов?

Сложно сказать, вообще исследование — это непросто. Для начала нужно собрать команду, обсудить, какая у нас есть задача и чего мы хотим достичь. Дальше команда начинает генерировать гипотезы, мы получаем какое-то их значительное количество (потому что сгенерировать предположение не очень сложно). Следующий шаг — правильно ранжировать эти гипотезы в порядке возможного выигрыша и таким образом расставить приоритеты. Затем начинаем проверку.

— Какие есть фишки или лайфхаки, позволяющие сделать процесс проверки гипотез более эффективным?

Основной инструмент — приоритизация. Гипотезы надо приоритизировать, и, кроме того, здесь важен опыт: надо смотреть, что раньше «взлетало» или «не взлетало», и в зависимости от этого не принимать участия в тестировании тех гипотез, которые точно никаких результатов не дадут. Это вряд ли можно назвать каким-то мегалайфхаком или фишкой, но тем не менее это здóрово помогает и экономит время.

— Нужны ли A/B-тесты, если ты не Яндекс или Ozon, а обычный региональный бизнес с 10 тысячами визитов и 100 лидами в месяц?

Конечно, нужны. Вопрос в том, что если бизнес никаких изменений не делает и ничего не пробует, никуда не движется и не улучшается, тогда изменения, безусловно, не нужны, потому что тестировать нечего. В противном случае это даже не вопрос: необходимость изменений и улучшений — это данность.

Черемисинов Виталий, Head of data в AIC, сo-founder в Experiment Fest

— Какие инструменты вы сейчас используете для проведения тестирований?

В нашей команде мы стараемся использовать инструменты, которые сами и разработали. Например, сегментатор трафика для проведения A/B-тестирования. Поддержание таких инструментов может обходиться дороже, чем готовое решение, но зато оно полностью подконтрольно команде и его можно дорабатывать и развивать. В нашем случае это оправданно. Если вы купили подписку на сервис для A/B-тестирования, а у вас A/A-тест показывает статистически значимое отличие — вы окажетесь в тупиковой ситуации.

— Как правильно проверять статистическую значимость тестов, более сложных, чем замер конверсии? Например, для небинарных показателей типа среднего чека?

Часто даже с бинарными данными допускают очень большие грубые ошибки.

При работе с данными, у которых достаточно большая размерность (выручка, например), одной из самых значимых проблем является большая дисперсия. Это первое, про что стоит помнить. Просто так убрать наблюдения, которые больше всего на эту дисперсию влияют, мы не можем: это покупатели, и далеко не факт, что они случайны (хотя и такое бывает). Следовательно, нам нужно уметь эту дисперсию сокращать малой кровью, и один из таких способов — стратификация и децильный анализ (подробнее можно почитать в моем блоге:
https://medium.com/statistics-experiments.

Если говорить именно про методы проверки статистических гипотез, то я бы хотел начать с того, что лучше не использовать. Я бы рекомендовал не использовать ранговые критерии (Манна —Уитни, например). Работает критерий следующим образом:

1. Объедините все данные в единый ряд, пометив те из них, которые принадлежат разным выборкам.
2. Проранжируйте значения, приписывая меньшему значению меньший ранг.
3. Подсчитайте сумму рангов отдельно для каждой выборки.
4. Определите большую из двух ранговых сумм.
5. Определите значение U по формуле:

Мы пытаемся проверить, различаются ли медианы ранговых распределений. И если стоит вопрос о среднем чеке — ответ критерия будет не очень релевантным.

Мы для решения таких задач используем либо bootstrap, либо бакетный метод.
Бакетирование подходит тогда, когда необходимо:
а) сохранить информацию о дисперсии и среднем в выборке до трансформации;
б) привести к нормальному распределению.

Мы формируем бакеты n-размера, внутри каждого бакета считаем среднее, далее берем новый бакет, но без возвращения.

Далее мы можем использовать для оценки параметрический критерий.

— Какие есть фишки, лайфхаки, приемы, позволяющие сделать процесс проверки гипотез более эффективным?

Главным источником фишек является учебник по математической статистике.😁

А вообще, основная фишка и лайфхак одновременно — уметь при помощи теоретической базы (математическая статистика, комбинаторика и т. п.) решать конкретные задачи бизнеса.

---

А/B-тестирование — это не просто проверка, что лучше работает: синяя или красная кнопка на сайте. Это сложная работа, в результате которой решаются конкретные маркетинговые задачи, например увеличение среднего чека. Изучайте математическую статистику (кстати, здесь крутая подборка книг по аналитике) и экспериментируйте! Как сказал Валерий Бабушкин, необходимость изменений и улучшений — это не вопрос. Это данность.

Оптимизируйте маркетинг и увеличивайте продажи

Сквозная аналитика CoMagic

• до 70% экономии на рекламе
• рост продаж в 2-4 раза без увеличения рекламного бюджета
• окупаемость после первого месяца

Подробнее Поделитесь с друзьями

A / B тестирование

Что такое A / B-тестирование?

A / B-тестирование (также известное как сплит-тестирование или сегментное тестирование) — это метод сравнения двух версий веб-страницы или приложения друг с другом, чтобы определить, какая из них работает лучше. AB-тестирование — это, по сути, эксперимент, в котором пользователям случайным образом показываются два или более варианта страницы, а статистический анализ используется для определения того, какой вариант лучше подходит для данной цели конверсии.

Запуск AB-теста, который напрямую сравнивает вариант с текущим опытом, позволяет вам задавать конкретные вопросы об изменениях на вашем веб-сайте или в приложении, а затем собирать данные о влиянии этого изменения.

Testing исключает догадки при оптимизации веб-сайта и позволяет принимать решения на основе данных, которые переводят деловые разговоры с «мы думаем» на «мы знаем». Измеряя влияние изменений на ваши показатели, вы можете убедиться, что каждое изменение дает положительные результаты.

Как работает A / B-тестирование

В A / B-тесте вы берете веб-страницу или экран приложения и изменяете его, чтобы создать вторую версию той же страницы. Это изменение может быть таким простым, как отдельный заголовок или кнопка, или представлять собой полный редизайн страницы.Затем половине вашего трафика будет показана исходная версия страницы (известная как контрольная), а половине — измененная версия страницы (вариант).

По мере того, как посетители обслуживаются либо контрольным, либо вариативным образом, их участие в каждом опыте измеряется и собирается на панели аналитики и анализируется с помощью статистического механизма. Затем вы можете определить, повлияло ли изменение опыта положительно, отрицательно или не повлияло на поведение посетителей.

Почему вам следует проводить A / B-тестирование

A / B-тестирование позволяет отдельным лицам, командам и компаниям вносить осторожные изменения в свой пользовательский опыт, собирая данные о результатах.Это позволяет им строить гипотезы и лучше понимать, почему определенные элементы их опыта влияют на поведение пользователей. С другой стороны, они могут оказаться неправыми — их мнение о наилучшем опыте для достижения данной цели может быть доказано неверным с помощью A / B-теста.

Это больше, чем просто ответ на разовый вопрос или разрешение разногласий. AB-тестирование можно последовательно использовать для постоянного улучшения конкретного опыта, улучшая с течением времени единственную цель, например коэффициент конверсии.

Например, технологическая компания B2B может захотеть улучшить качество своих потенциальных клиентов и увеличить объем продаж с помощью целевых страниц кампании.Для достижения этой цели команда попытается провести A / B-тестирование изменений заголовка, визуальных изображений, полей формы, призыва к действию и общего макета страницы.

Тестирование одного изменения за раз помогает им определить, какие изменения повлияли на поведение их посетителей, а какие нет. Со временем они могут объединить эффект нескольких выигрышных изменений из экспериментов, чтобы продемонстрировать измеримое улучшение нового опыта по сравнению со старым.

Этот метод внесения изменений в взаимодействие с пользователем также позволяет оптимизировать его для достижения желаемого результата и может сделать важные шаги в маркетинговой кампании более эффективными.

Путем тестирования рекламного текста маркетологи могут узнать, какая версия привлекает больше кликов. Тестируя последующую целевую страницу, они могут узнать, какой макет лучше всего превращает посетителей в клиентов. Общие расходы на маркетинговую кампанию могут быть фактически уменьшены, если элементы каждого шага работают максимально эффективно для привлечения новых клиентов.

A / B-тестирование также может использоваться разработчиками и дизайнерами продуктов, чтобы продемонстрировать влияние новых функций или изменений на взаимодействие с пользователем.Адаптация продукта, взаимодействие с пользователем, модальные окна и внутрипродуктовый опыт — все это можно оптимизировать с помощью A / B-тестирования, если цели четко определены и у вас есть четкая гипотеза.

Процесс тестирования A / B

Ниже представлена ​​структура A / B-тестирования, которую вы можете использовать для запуска тестов:

• Сбор данных: Ваша аналитика часто дает представление о том, где вы можете начать оптимизацию. Это помогает начать с участков вашего сайта или приложения с высокой посещаемостью, так как это позволит вам быстрее собирать данные.Ищите страницы с низким коэффициентом конверсии или высоким коэффициентом прерывания, которые можно улучшить.

• Определите цели: Ваши цели конверсии — это показатели, которые вы используете, чтобы определить, является ли вариант более успешным, чем исходная версия. Цели могут быть любыми: от нажатия кнопки или ссылки до покупки продукта и подписки по электронной почте.

• Сгенерировать гипотезу: После того, как вы определили цель, вы можете начать генерировать идеи и гипотезы A / B-тестирования, объясняющие, почему, по вашему мнению, они будут лучше, чем текущая версия.Составив список идей, расставьте приоритеты с точки зрения ожидаемого воздействия и сложности реализации.

• Создать варианты: Используя программное обеспечение для A / B-тестирования (например, Optimizely), внесите желаемые изменения в элемент вашего веб-сайта или мобильного приложения. Это может быть изменение цвета кнопки, изменение порядка элементов на странице, скрытие элементов навигации или что-то полностью настраиваемое. Многие ведущие инструменты A / B-тестирования имеют визуальный редактор, который упрощает внесение этих изменений.Убедитесь, что ваш эксперимент прошел проверку качества, чтобы убедиться, что он работает должным образом.

• Провести эксперимент: Начните эксперимент и ждите, пока посетители будут участвовать! На этом этапе посетители вашего сайта или приложения будут случайным образом назначены либо для контроля, либо для изменения вашего опыта. Их взаимодействие с каждым опытом измеряется, подсчитывается и сравнивается, чтобы определить эффективность каждого из них.

• Анализ результатов: После завершения эксперимента пора проанализировать результаты.Ваше программное обеспечение для A / B-тестирования представит данные эксперимента и покажет вам разницу между работой двух версий вашей страницы и наличие статистически значимой разницы.

Если ваш вариант победил, поздравляем! Посмотрите, сможете ли вы применить уроки эксперимента на других страницах своего сайта и продолжить итерацию эксперимента, чтобы улучшить свои результаты. Если ваш эксперимент дал отрицательный результат или не дал результата, не волнуйтесь.Используйте эксперимент как обучающий опыт и создайте новую гипотезу, которую вы сможете проверить.

Каким бы ни был результат вашего эксперимента, используйте свой опыт для информирования будущих тестов и постоянно работайте над оптимизацией вашего приложения или сайта.

A / B-тестирование и SEO

Google разрешает и поощряет A / B-тестирование и заявляет, что выполнение A / B-тестирования или многовариантного тестирования не представляет никакого риска для рейтинга вашего сайта в поисковой сети. Однако можно поставить под угрозу свой рейтинг в поиске, злоупотребляя инструментом A / B-тестирования для таких целей, как маскировка.Google сформулировал несколько рекомендаций, чтобы этого не произошло:

• Без маскировки — Маскировка — это практика показа поисковым системам контента, отличного от того, который может увидеть обычный посетитель. Маскировка может привести к понижению или даже удалению вашего сайта из результатов поиска. Чтобы предотвратить маскировку, не злоупотребляйте сегментацией посетителей для отображения различного содержания для робота Googlebot на основе агента пользователя или IP-адреса.

• Используйте rel = «canonical» — если вы запускаете сплит-тест с несколькими URL-адресами, вы должны использовать атрибут rel = «canonical», чтобы указать варианты обратно на исходную версию страницы.Это поможет предотвратить запутывание робота Google в нескольких версиях одной и той же страницы.

• Используйте переадресацию 302 вместо 301 — Если вы запускаете тест, который перенаправляет исходный URL-адрес на вариант URL, используйте 302 (временное) перенаправление вместо 301 (постоянного) перенаправления. Это сообщает поисковым системам, таким как Google, что перенаправление является временным и что они должны сохранять в индексе исходный URL, а не тестовый URL.

• Запускайте эксперименты только до тех пор, пока это необходимо — Запуск тестов дольше, чем необходимо, особенно если вы обслуживаете один вариант своей страницы для большого процента пользователей, можно рассматривать как попытку обмануть поисковые системы.Google рекомендует обновить ваш сайт и удалить все варианты тестирования, как только тест будет завершен, и не запускать тесты излишне долго.

Дополнительные сведения о AB-тестировании и SEO см. В нашей статье базы знаний о том, как A / B-тестирование влияет на SEO.

Туристическая компания может захотеть увеличить количество успешных бронирований, совершенных на их веб-сайте или в мобильном приложении, или может захотеть увеличить доход от дополнительных покупок. Чтобы улучшить эти показатели, они могут протестировать варианты:

• Режимы поиска на главной странице
• Страница результатов поиска
• Дополнительная информация о продукте

Компания , занимающаяся электронной коммерцией, может захотеть увеличить количество завершенных касс, среднюю стоимость заказа или увеличить праздничные продажи.Для этого они могут провести A / B-тест:

• Акции на домашней странице
• Элементы навигации
• Компоненты воронки кассы

Технологическая компания может захотеть увеличить количество высококачественных лидов для своей группы продаж, увеличить количество пользователей бесплатной пробной версии или привлечь определенного типа покупателя. Они могут проверить:

• Детали формы свинца
• Процесс регистрации бесплатной пробной версии
• Сообщения на главной странице и призыв к действию

Примеры A / B-тестирования

Эти примеры A / B-тестирования показывают типы результатов, которые самые инновационные компании мира видели в ходе A / B-тестирования с помощью Optimizely:

Компания

Discovery A / B протестировала компоненты своего видеоплеера, чтобы привлечь внимание фанатов своего телешоу.’ Результат? Увеличение вовлеченности в видео на 6%.

ComScore A / B протестировал логотипы и отзывы, чтобы повысить социальное доказательство на целевой странице продукта и увеличить количество потенциальных клиентов на 69%.

Компания

Secret Escapes протестировала различные варианты своих мобильных страниц регистрации, которые удвоили коэффициент конверсии и увеличили общую ценность.

A Повторный курс по A / B-тестированию

В наши дни все дело в данных.Лидеры не хотят принимать решения, если у них нет доказательств. Это, конечно, хорошо, и, к счастью, есть много способов получить информацию, не полагаясь на свои инстинкты. Одним из наиболее распространенных методов, особенно в онлайн-настройках, является A / B-тестирование.

Чтобы лучше понять, что такое A / B-тестирование, откуда оно возникло и как его использовать, я поговорил с Кайзером Фангом, который основал программу прикладной аналитики в Колумбийском университете и является автором блога Junk Charts, посвященного критическому анализу. данных и графики в СМИ.Его последняя книга — Number Sense: How to Use Big Data to Your Advantage .

Что такое A / B-тестирование?

A / B-тестирование, по сути, это способ сравнить две версии чего-либо, чтобы выяснить, какая из них работает лучше. Хотя он чаще всего ассоциируется с веб-сайтами и приложениями, Фунг говорит, что этому методу почти 100 лет.

В 1920-х годах статистик и биолог Рональд Фишер открыл наиболее важные принципы, лежащие в основе A / B-тестирования и рандомизированных контролируемых экспериментов в целом.«Он не был первым, кто провел подобный эксперимент, но он был первым, кто выяснил основные принципы и математику и превратил их в науку», — говорит Фунг.

Фишер проводил сельскохозяйственные эксперименты, задавая такие вопросы, как: что произойдет, если я внесу больше удобрений на эту землю? Принципы сохранились, и в начале 1950-х годов ученые начали проводить клинические испытания в медицине. В 1960-х и 1970-х годах маркетологи адаптировали эту концепцию для оценки кампаний прямого отклика (например, приведет ли открытка или письмо для целевых клиентов к увеличению продаж?).

A / B-тестирование в его нынешнем виде появилось в 1990-х годах. Фунг говорит, что за прошедшее столетие математика, лежащая в основе тестов, не изменилась. «Это те же основные концепции, но теперь вы делаете это онлайн, в среде реального времени и в другом масштабе с точки зрения количества участников и количества экспериментов».

Как работает A / B-тестирование?

Вы начинаете A / B-тест, решая, что именно вы хотите проверить. Фунг приводит простой пример: размер кнопки подписки на вашем сайте.Тогда вам нужно знать, как вы хотите оценивать его работу. В этом случае предположим, что ваша метрика — это количество посетителей, которые нажимают на кнопку. Чтобы запустить тест, вы показываете двум группам пользователей (назначаемых случайным образом, когда они посещают сайт) разные версии (где отличается только размер кнопки) и определяете, какая из них больше всего повлияла на ваш показатель успеха. В этом случае, какой размер кнопки вызвал нажатие большего числа посетителей?

В реальной жизни есть много вещей, которые влияют на то, щелкнет ли кто-нибудь.Например, может случиться так, что пользователи мобильного устройства с большей вероятностью нажмут кнопку определенного размера, в то время как на настольном компьютере пользователи будут рисовать другого размера. Здесь может помочь рандомизация — и это очень важно. Выбирая случайным образом, какие пользователи входят в какую группу, вы сводите к минимуму вероятность того, что другие факторы, такие как мобильные устройства по сравнению с настольными компьютерами, будут в среднем определять ваши результаты.

«Тест A / B можно считать самым основным видом рандомизированного контролируемого эксперимента», — говорит Фунг. «В простейшей форме есть два лечения, и одно действует как контроль другого.«Как и во всех рандомизированных контролируемых экспериментах, вы должны оценить размер выборки, необходимый для достижения статистической значимости, которая поможет вам убедиться, что результат, который вы видите,« связан не только с фоновым шумом », — говорит Фунг.

Иногда вы знаете, что определенные переменные, обычно те, которыми нелегко манипулировать, имеют сильное влияние на показатель успеха. Например, мобильные пользователи вашего веб-сайта, как правило, меньше нажимают на что-либо по сравнению с пользователями настольных компьютеров. Рандомизация может привести к тому, что набор A будет содержать немного больше мобильных пользователей, чем набор B, что может привести к тому, что набор A будет иметь более низкий рейтинг кликов независимо от размера кнопки, которую они видят.Чтобы уравнять правила игры, аналитик тестирования должен сначала разделить пользователей на мобильные и настольные, а затем случайным образом распределить их по каждой версии. Это называется блокировкой.

Размер кнопки подписки — очень простой пример, — говорит Фунг. На самом деле вы можете тестировать не только размер, но и цвет, и текст, и гарнитуру, и размер шрифта. Многие менеджеры проводят последовательные тесты — например, сначала тестируют размер (большой или маленький), затем тестируют цвет (синий против красного), затем тестируют шрифт (Times или Arial) — потому что они считают, что не должны варьировать два или более факторов в в то же время.Но, по словам Фунга, статистика опровергает эту точку зрения. А последовательные тесты неоптимальны, потому что вы не измеряете, что происходит при взаимодействии факторов. Например, может случиться так, что пользователи в среднем предпочитают синий, но в сочетании с Arial предпочитают красный. Такой результат часто упускается при последовательном A / B-тестировании, потому что тест шрифта запускается на синих кнопках, которые «выиграли» предыдущий тест.

Вместо этого, говорит Фунг, вам следует запускать более сложные тесты. Это может быть трудным для некоторых менеджеров, поскольку A / B-тесты привлекательны тем, насколько они просты и просты в выполнении (а многие люди, разрабатывающие эти эксперименты, отмечает Фунг, не имеют опыта работы со статистикой).«При A / B-тестировании мы, как правило, хотим проводить большое количество одновременных независимых тестов», — говорит он, по большей части потому, что мы думаем о количестве возможных комбинаций, которые вы можете протестировать. Но с помощью математики вы можете «разумно выбрать и запустить только определенные подмножества этих методов лечения; тогда вы сможете вывести остальное из данных ». В мире A / B-тестирования это называется «многовариантным» тестированием и часто означает, что вы в конечном итоге выполняете A / B / C-тест или даже A / B / C / D-тест. В приведенном выше примере с цветами и размером это может означать отображение разных групп: большая красная кнопка, маленькая красная кнопка, большая синяя кнопка и маленькая синяя кнопка.Если бы вы захотели протестировать и шрифты, количество тестовых групп увеличилось бы еще больше.

Как вы интерпретируете результаты A / B-теста?

Скорее всего, ваша компания будет использовать программное обеспечение, которое обрабатывает вычисления, и даже может нанять статистика, который сможет интерпретировать эти результаты за вас. Но полезно иметь общее представление о том, как осмыслить вывод и решить, следует ли продвигаться вперед с тестовым вариантом (новая кнопка в приведенном выше примере).

Fung утверждает, что большинство программ сообщают о двух коэффициентах конверсии для A / B-тестирования: один для пользователей, которые видели контрольную версию, а другой для пользователей, которые видели тестовую версию. «Коэффициент конверсии может измерять клики или другие действия, предпринятые пользователями», — говорит он. Отчет может выглядеть так: «Контроль: 15% (+/- 2,1%), вариация 18% (+/- 2,3%)». Это означает, что 18% ваших пользователей нажимали на новый вариант (возможно, на вашу большую синюю кнопку) с погрешностью 2,3%. У вас может возникнуть соблазн интерпретировать это как фактический коэффициент конверсии между 15.7% и 20,3%, но это было бы технически некорректно. «Настоящая интерпретация состоит в том, что если вы запускаете A / B-тест несколько раз, 95% диапазонов будут отражать истинный коэффициент конверсии — другими словами, коэффициент конверсии выходит за пределы погрешности в 5% случаев (или что-то еще. установленный вами уровень статистической значимости) », — поясняет Фунг.

Если это сложно понять, вступайте в клуб. Важно знать, что коэффициент конверсии 18% не является гарантией. Вот где приходит ваше суждение.Уровень разговора 18%, безусловно, лучше, чем показатель 15%, даже с учетом погрешности (12,9–17,1% против 15,7–20,3%). Вы могли слышать, как люди говорят об этом как о «3% подъеме» (рост — это просто процентная разница в коэффициенте конверсии между вашей контрольной версией и успешным тестовым лечением). В этом случае, скорее всего, будет правильным решением перейти на новую версию, но это будет зависеть от затрат на внедрение новой версии. Если они низкие, вы можете попробовать переключатель и посмотреть, что происходит на самом деле (в отличие от тестов).Одним из больших преимуществ тестирования в онлайн-мире является то, что обычно вы можете довольно легко вернуться к исходному состоянию.

Как компании используют A / B-тестирование?

Фунг говорит, что популярность методологии возросла, поскольку компании осознали, что онлайн-среда хорошо подходит для того, чтобы помочь менеджерам, особенно маркетологам, ответить на такие вопросы, как: «Что, скорее всего, заставит людей щелкнуть? Или купить наш товар? Или зарегистрироваться на нашем сайте? » A / B-тестирование теперь используется для оценки всего: от дизайна веб-сайта до онлайн-предложений и заголовков до описаний продуктов.(Фактически, на прошлой неделе я просмотрел результаты A / B-тестирования языка, который мы используем для продажи нового продукта здесь, в HBR.)

Большинство этих экспериментов проводится без ведома испытуемых. «Как пользователь, мы постоянно участвуем в этих тестах и ​​не знаем об этом», — говорит Фунг.

И это не только веб-сайты. Вы также можете протестировать маркетинговые электронные письма или рекламу. Например, вы можете отправить две версии электронного письма своему списку клиентов (разумеется, сначала рандомизировать список) и выяснить, какая из них приносит больше продаж.Тогда вы сможете в следующий раз просто отправить выигрышную версию. Или вы можете протестировать две версии рекламного текста и посмотреть, какая из них чаще привлекает посетителей. Тогда вы будете знать, что потратите больше на получение самого успешного.

Какие ошибки делают люди при проведении A / B-тестов?

Я спросил Фуна об ошибках, которые, по его мнению, совершают компании при проведении A / B-тестов, и он указал на три наиболее распространенных.

Во-первых, говорит он, слишком многие менеджеры не позволяют тестам идти своим чередом.Поскольку большая часть программного обеспечения для проведения этих тестов позволяет отслеживать результаты в режиме реального времени, менеджеры хотят принимать решения слишком быстро. Эта ошибка, по его словам, «возникает из-за нетерпения», и многие поставщики программного обеспечения сыграли на этом чрезмерном нетерпении, предложив тип A / B-тестирования, называемый «оптимизацией в реальном времени», в котором вы можете использовать алгоритмы для внесения корректировок по результатам. Проблема в том, что из-за рандомизации возможно, что если вы позволите тесту пройти до его естественного конца, вы можете получить другой результат.

Вторая ошибка — слишком много показателей. «Я съеживаюсь каждый раз, когда вижу программное обеспечение, которое пытается угодить всем, предоставляя вам панель из сотен показателей», — говорит он. Проблема в том, что если вы одновременно смотрите на такое большое количество показателей, вы рискуете получить то, что статистики называют «ложными корреляциями». При правильном дизайне теста «вы должны определиться с метриками, на которые вы собираетесь смотреть, прежде чем проводить эксперимент и выбрать несколько. Чем больше вы измеряете, тем больше вероятность того, что вы увидите случайные колебания.»При таком большом количестве показателей вместо того, чтобы спрашивать себя:» Что происходит с этой переменной? » вы спрашиваете: «Какие интересные (и потенциально незначительные) изменения я наблюдаю?»

Наконец, Фунг говорит, что немногие компании проводят достаточное повторное тестирование. «Мы склонны тестировать это один раз, а потом верим в это. Но даже при статистически значимом результате существует довольно большая вероятность ложноположительной ошибки. Если вы не будете время от времени проводить повторное тестирование, вы не исключаете возможность ошибиться ». Ложные срабатывания могут происходить по нескольким причинам.Например, даже если вероятность того, что какой-либо конкретный результат A / B обусловлена ​​случайной случайностью, невелика, если вы проведете много тестов A / B, вероятность того, что хотя бы один из ваших результатов окажется неверным, быстро возрастет.

Это может быть особенно сложно сделать, потому что вполне вероятно, что менеджеры в конечном итоге получат противоречивые результаты, и никто не захочет обнаружить, что они опровергли предыдущие выводы, особенно в онлайн-мире, где менеджеры хотят внести изменения — и зафиксировать значение — быстро.Но этот акцент на ценности может быть ошибочным, говорит Фунг: «Люди не очень бдительны в отношении практической ценности результатов. Они хотят верить, что каждое небольшое улучшение ценно, даже если результаты тестов не полностью надежны. Фактически, чем меньше улучшение, тем менее надежны результаты ».

Понятно, что A / B-тестирование — не панацея. По словам Фунга, существуют более сложные виды экспериментов, которые более эффективны и дадут вам более надежные данные. Но A / B-тестирование — отличный способ быстро понять интересующий вас вопрос.И «хорошие новости о мире A / B-тестирования заключаются в том, что все происходит так быстро, поэтому, если вы запустите его, а оно не работает, вы можете попробовать что-нибудь еще. Вы всегда можете вернуться к старой тактике ».

Контрольный список, который вы захотите добавить в закладки

Когда маркетологи, подобные нам, создают целевые страницы, пишут электронные письма или разрабатывают кнопки с призывом к действию, может возникнуть соблазн использовать нашу интуицию, чтобы предсказать, что заставит людей щелкнуть и совершить конверсию.

Но принятие маркетинговых решений на основе «ощущений» может быть очень пагубным для результатов.Вместо того, чтобы полагаться на догадки или предположения при принятии этих решений, вам гораздо лучше провести A / B-тест, который иногда называют сплит-тестом.

A / B-тестирование может быть полезным, потому что разные аудитории ведут себя по-разному. То, что работает для одной компании, не обязательно работает для другой. Фактически, эксперты по оптимизации коэффициента конверсии (CRO) ненавидят термин «передовой опыт», потому что он может быть не лучшим для и .

Но тесты A / B также могут быть сложными.Если вы не будете осторожны, вы можете сделать неверные предположения о том, что нравится людям и что заставляет их кликать, — решения, которые могут легко дезинформировать другие части вашей стратегии.

Продолжайте читать, чтобы узнать, как проводить A / B-тестирование до, во время и после сбора данных, чтобы вы могли принимать оптимальные решения на основе своих результатов.

Чтобы запустить A / B-тест, необходимо создать две разные версии одного фрагмента контента с изменениями в одной переменной . Затем вы покажете эти две версии двум аудиториям одинакового размера и проанализируете, какая из них показала лучшие результаты за определенный период времени (достаточно долго, чтобы сделать точные выводы о ваших результатах).

Источник

A / B-тестирование помогает маркетологам наблюдать, как одна версия маркетингового контента работает вместе с другой. Вот два типа A / B-тестов, которые вы можете провести, чтобы повысить коэффициент конверсии вашего сайта:

Пример 1: Тест пользовательского опыта

Возможно, вы хотите узнать, повысит ли CTA перемещение определенной кнопки с призывом к действию (CTA) в верхнюю часть домашней страницы вместо того, чтобы держать ее на боковой панели.

Чтобы A / B проверить эту теорию, вы должны создать другую, альтернативную веб-страницу, которая отражает это изменение размещения CTA. Существующий дизайн — или « control » — это Версия A. Версия B — «претендент». Затем вы должны протестировать эти две версии, показывая каждую из них определенному проценту посетителей сайта. В идеале процент посетителей, просматривающих обе версии, одинаков.

Узнайте, как легко провести A / B-тестирование компонента вашего веб-сайта с помощью HubSpot’s Marketing Hub.

Пример 2: Тест проекта

Возможно, вы хотите узнать, может ли изменение цвета кнопки с призывом к действию (CTA) увеличить ее CTR.

Чтобы A / B проверить эту теорию, вы должны разработать альтернативную кнопку с призывом к действию с другим цветом кнопки, которая приведет к той же целевой странице , что и элемент управления. Если вы обычно используете красную кнопку с призывом к действию в своем маркетинговом контенте, а зеленый вариант получает больше кликов после вашего A / B-теста, это может заслуживать изменения цвета по умолчанию ваших кнопок с призывом к действию на зеленый с этого момента. на.

Чтобы узнать больше об A / B-тестировании, загрузите наше бесплатное вводное руководство здесь.

Преимущества A / B-тестирования

A / B-тестирование имеет множество преимуществ для маркетинговой команды, в зависимости от того, что вы решите протестировать. Однако, прежде всего, эти тесты ценны для бизнеса, потому что они невысоки по стоимости, но приносят большие выгоды.

Допустим, вы нанимаете создателя контента с зарплатой 50 000 долларов в год. Этот создатель контента публикует пять статей в неделю для блога компании, всего 260 статей в год.Если средний пост в блоге компании генерирует 10 лидов, можно сказать, что создание 10 лидов для бизнеса стоит немногим более 192 долларов (зарплата 50 000 долларов ÷ 260 статей = 192 доллара за статью). Это значительная часть изменений.

Теперь, если вы попросите этого создателя контента потратить два дня на разработку A / B-теста для одной статьи , вместо того, чтобы писать две статьи за этот период времени, вы можете сжечь 192 доллара, потому что публикуете на одну статью меньше. Но если этот A / B-тест обнаружит, что вы можете увеличить коэффициент конверсии каждой статьи с 10 до 20 лидов, вы потратили 192 доллара, чтобы потенциально удвоить количество клиентов, которых ваш бизнес получает от вашего блога.

Если тест не прошел, вы, конечно, потеряли 192 доллара, но теперь вы можете сделать свой следующий A / B-тест еще более грамотным. Если этот второй тест удвоит коэффициент конверсии вашего блога, вы в конечном итоге потратите 284 доллара, чтобы потенциально удвоить доход своей компании. Независимо от того, сколько раз ваш A / B-тест терпит неудачу, его конечный успех почти всегда перевешивает затраты на его проведение.

Существует множество типов сплит-тестов, которые можно провести, чтобы эксперимент окупился.Вот несколько общих целей, которые маркетологи ставят перед своим бизнесом при A / B-тестировании:

• Увеличение посещаемости веб-сайта: Тестирование различных сообщений в блогах или заголовков веб-страниц может изменить количество людей, которые нажимают на заголовок с гиперссылкой, чтобы перейти на ваш веб-сайт. В результате это может увеличить посещаемость сайта.
• Более высокий коэффициент конверсии: Тестирование различных местоположений, цветов или даже якорного текста в ваших призывах к действию может изменить количество людей, которые нажимают на эти призывы к действию, чтобы перейти на целевую страницу.Это может увеличить количество людей, которые заполняют формы на вашем веб-сайте, отправляют вам свои контактные данные и «превращаются» в потенциальных клиентов.
• Более низкий показатель отказов: Если посетители вашего веб-сайта уходят (или «отскакивают») быстро после посещения вашего веб-сайта, тестирование различных вводных сообщений в блогах, шрифтов или изображений функций может снизить этот показатель отказов и удержать больше посетителей.
• Неисправность нижней корзины: Компании электронной коммерции видят, что 40–75% клиентов покидают свой веб-сайт с товарами в корзине, согласно MightyCall.Это известно как «брошенная корзина». Тестирование различных фотографий продуктов, оформления страниц оформления заказа и даже когда отображается стоимость доставки, может снизить этот показатель отказа.

Теперь давайте пройдемся по контрольному списку для настройки, запуска и измерения A / B-теста.

Как проводить A / B-тестирование

Следуйте вместе с нашим бесплатным набором для A / B-тестирования со всем, что вам нужно для проведения A / B-тестирования, включая шаблон отслеживания теста, практическое руководство для инструкций и вдохновения, а также калькулятор статистической значимости, чтобы узнать, были ли ваши тесты успешными. , убытки или безрезультатные.

Перед A / B тестом

Давайте рассмотрим шаги, которые необходимо предпринять перед началом A / B-теста.

1. Выберите одну переменную для тестирования.

По мере оптимизации веб-страниц и электронной почты вы можете обнаружить ряд переменных, которые хотите проверить. Но чтобы оценить, насколько эффективно изменение, вы захотите выделить одну «независимую переменную» и измерить ее производительность — в противном случае вы не можете быть уверены, какая из них повлияла на изменение производительности.

Вы можете протестировать более одной переменной для одной веб-страницы или электронной почты; просто убедитесь, что вы тестируете их по одному.

Посмотрите на различные элементы ваших маркетинговых ресурсов и их возможные варианты дизайна, формулировок и макета. Другие вещи, которые вы можете протестировать, включают строки темы электронной почты, имена отправителей и различные способы персонализации ваших писем.

Имейте в виду, что даже простые изменения, такие как изменение изображения в электронном письме или слов на кнопке с призывом к действию, могут привести к большим улучшениям. На самом деле, такого рода изменения обычно легче измерить, чем более крупные.

Примечание: Иногда имеет смысл тестировать несколько переменных, а не одну. Этот процесс называется многовариантным тестированием. Если вам интересно, стоит ли проводить A / B-тест или многомерный тест, вот полезная статья от Optimizely, в которой сравниваются эти два.

2. Определите свою цель.

Хотя вы будете измерять несколько показателей для каждого теста, выберите основную метрику, на которой нужно сосредоточиться — до того, как вы запустите тест .Фактически, сделайте это еще до того, как настроите второй вариант. Это ваша «зависимая переменная».

Подумайте, где вы хотите, чтобы эта переменная была в конце сплит-теста. Вы можете сформулировать официальную гипотезу и проверить свои результаты на основе этого прогноза.

Если вы подождете, чтобы потом подумать о том, какие показатели важны для вас, каковы ваши цели и как предлагаемые вами изменения могут повлиять на поведение пользователей, то вы можете не настроить тест наиболее эффективным способом.

3. Создайте «контроль» и «претендента».

Теперь у вас есть независимая переменная, зависимая переменная и желаемый результат. Используйте эту информацию, чтобы настроить неизменную версию того, что вы тестируете, в качестве своего «контроля». Если вы тестируете веб-страницу, это уже существующая неизмененная веб-страница. Если вы тестируете целевую страницу, это будет дизайн и копия целевой страницы, которые вы обычно используете.

Оттуда создайте вариант или «претендента» — веб-сайт, целевую страницу или электронное письмо, которое вы будете проверять на соответствие своему контролю.Например, если вам интересно, имеет ли значение включение отзыва на целевую страницу, настройте свою контрольную страницу без отзывов. Затем создайте свой вариант с характеристикой.

4. Разделите группы выборки поровну и случайным образом.

Для тестов, где у вас есть больший контроль над аудиторией — например, с электронной почтой — вам нужно протестировать с двумя или более аудиториями, которые равны, чтобы получить окончательные результаты.

То, как вы это сделаете, будет зависеть от того, какой инструмент A / B-тестирования вы используете.Например, если вы являетесь клиентом HubSpot Enterprise, проводящим A / B-тест по электронной почте, HubSpot автоматически разделит трафик на ваши варианты, чтобы каждый вариант получал случайную выборку посетителей.

5. Определите размер вашей выборки (если применимо).

Способ определения размера выборки также будет зависеть от вашего инструмента A / B-тестирования, а также от типа проводимого A / B-теста.

Если вы проводите A / B-тестирование электронной почты, вы, вероятно, захотите отправить A / B-тест для меньшей части вашего списка, чтобы получить статистически значимые результаты.В конце концов, вы выберете победителя и отправите выигрышный вариант остальной части списка. (См. Электронную книгу «Наука сплит-тестирования» в конце этой статьи, чтобы узнать больше о том, как рассчитать размер вашей выборки.)

Если вы являетесь клиентом HubSpot Enterprise, вам будет некоторая помощь в определении размера вашей выборочной группы с помощью ползунка. Это позволит вам выполнить A / B-тест 50/50 для любого размера выборки, хотя для всех остальных разделений выборки требуется список из не менее 1000 получателей.

Если вы тестируете что-то, что не имеет конечной аудитории, например веб-страницу, то то, как долго вы будете выполнять тест, напрямую повлияет на размер вашей выборки.

Вам нужно дать вашему тесту работать достаточно долго, чтобы получить значительное количество просмотров, иначе будет сложно сказать, была ли статистически значимая разница между двумя вариантами.

6. Решите, насколько важными должны быть ваши результаты.

Выбрав целевую метрику, подумайте, насколько важными должны быть ваши результаты, чтобы оправдать выбор одного варианта по сравнению с другим. Статистическая значимость — это очень важная часть процесса A / B-тестирования, которую часто неправильно понимают.Если вам нужно напомнить о статистической значимости с точки зрения маркетинга, я рекомендую прочитать этот пост в блоге.

Чем выше процент вашего уровня уверенности, тем больше вы можете быть уверены в своих результатах. В большинстве случаев вам понадобится минимальный уровень достоверности 95% — предпочтительно даже 98% — особенно, если для настройки этого эксперимента требуется много времени. Однако иногда имеет смысл использовать более низкий уровень достоверности, если вам не нужно, чтобы тест был таким строгим.

Мэтт Рейо, старший инженер-программист в HubSpot, любит думать о статистической значимости, как о ставке.На какие коэффициенты вы можете сделать ставку? Сказать: «Я на 80% уверен, что это правильный дизайн, и я готов поставить на него все» — все равно что провести A / B-тест до 80% значимости и затем объявить победителя.

Rheault также говорит, что вам, вероятно, понадобится более высокий порог достоверности при тестировании чего-то, что лишь незначительно улучшает скорость разговора. Почему? Потому что случайная дисперсия, скорее всего, будет играть большую роль.

«Примером, где мы могли бы чувствовать себя безопаснее, понизив порог уверенности, является эксперимент, который, вероятно, повысит коэффициент конверсии на 10% или более, например, переработанный раздел героев», — пояснил он.

«Вывод из этого состоит в том, что чем более радикальное изменение, тем менее научным мы должны относиться к процессу. Чем более конкретным является изменение (цвет кнопки, микрокопия и т. Д.), Тем более научным мы должны быть, потому что это изменение с меньшей вероятностью окажет большое и заметное влияние на коэффициент конверсии «.

7. Убедитесь, что вы запускаете только один тест за раз в любой кампании.

Тестирование более чем одного объекта для одной кампании — даже если это не один и тот же актив — может усложнить ваши результаты.Например, если вы A / B тестируете кампанию электронной почты, которая направляет на целевую страницу в то же время, когда вы проводите A / B тестирование этой целевой страницы … как узнать, какое изменение вызвало увеличение числа потенциальных клиентов?

Во время A / B-теста

Давайте рассмотрим шаги, которые необходимо предпринять во время вашего A / B-теста.

8. Используйте инструмент для A / B-тестирования.

Чтобы провести A / B-тест на своем веб-сайте или по электронной почте, вам понадобится инструмент A / B-тестирования. Если вы являетесь клиентом HubSpot Enterprise, программное обеспечение HubSpot имеет функции, которые позволяют вам проводить A / B-тестирование электронных писем (узнайте, как это сделать), призывы к действию (узнайте, как здесь) и целевые страницы (узнайте, как здесь).

Для клиентов, не имеющих отношения к HubSpot Enterprise, другие варианты включают в себя эксперименты Google Analytics, которые позволяют проводить A / B-тестирование до 10 полных версий одной веб-страницы и сравнивать их эффективность с использованием случайной выборки пользователей.

9. Протестируйте оба варианта одновременно.

Время играет важную роль в результатах вашей маркетинговой кампании, будь то время суток, день недели или месяц в году. Если бы вы использовали версию A в течение одного месяца и версию B через месяц, как бы вы узнали, было ли изменение производительности вызвано другим дизайном или другим месяцем?

Когда вы запускаете A / B-тесты, вам нужно запускать два варианта одновременно, иначе вы можете усомниться в своих результатах.

Единственное исключение — если вы проверяете время, например, поиск оптимального времени для отправки электронных писем. Это отличная вещь для тестирования, потому что в зависимости от того, что предлагает ваш бизнес и кто ваши подписчики, оптимальное время для взаимодействия с подписчиками может значительно варьироваться в зависимости от отрасли и целевого рынка.

10. Дайте A / B-тесту достаточно времени для получения полезных данных.

Опять же, вам нужно убедиться, что ваш тест запускается достаточно долго, чтобы получить значительный размер выборки.В противном случае будет сложно сказать, была ли статистически значимая разница между двумя вариантами.

Сколько времени достаточно? В зависимости от вашей компании и того, как вы проводите A / B-тест, получение статистически значимых результатов может произойти за часы … или дни … или недели. Большая часть того, сколько времени требуется для получения статистически значимых результатов, — это объем трафика, который вы получаете — поэтому, если ваш бизнес не получает большого трафика на ваш веб-сайт, вам потребуется гораздо больше времени, чтобы запустить A / B. контрольная работа.

Теоретически не следует ограничивать время сбора результатов. (Прочтите это сообщение в блоге, чтобы узнать больше о размере и сроках выборки.)

11. Спрашивайте отзывы реальных пользователей.

A / B-тестирование во многом связано с количественными данными … но это не обязательно поможет вам понять , почему человека совершают одни действия по сравнению с другими. Пока вы проводите A / B-тест, почему бы не собрать качественную обратную связь от реальных пользователей?

Один из лучших способов узнать мнение людей — это опрос или голосование.Вы можете добавить на свой сайт анкету выхода, в которой посетителей спрашивают, почему они не нажимали на определенный CTA, или опрос на ваших страницах с благодарностью, который спрашивает посетителей, почему они нажали кнопку или заполнили форму.

Например, вы можете обнаружить, что многие люди нажимали на призыв к действию, ведущий их к электронной книге, но как только они видели цену, они не конвертировали. Такая информация поможет вам понять, почему ваши пользователи ведут себя определенным образом.

После A / B теста

Наконец, давайте рассмотрим шаги, которые необходимо предпринять после вашего A / B-теста.

12. Сосредоточьтесь на метрике своей цели.

Опять же, хотя вы будете измерять несколько показателей, сосредоточьтесь на этой метрике основной цели при проведении анализа.

Например, если вы протестировали два варианта электронного письма и выбрали потенциальных клиентов в качестве основного показателя, не обращайте внимания на показатель открытий или CTR. Вы можете увидеть высокий рейтинг кликов и низкие коэффициенты конверсии, и в этом случае вы можете в конечном итоге выбрать вариант с более низким рейтингом кликов.

13. Измерьте значимость своих результатов с помощью нашего калькулятора A / B-тестирования.

Теперь, когда вы определили, какой вариант работает лучше всего, пора определить, являются ли ваши результаты статистически значимыми. Другими словами, достаточно ли их, чтобы оправдать изменение?

Чтобы выяснить это, вам нужно провести тест на статистическую значимость. Вы можете сделать это вручную … или просто добавить результаты своего эксперимента в наш бесплатный калькулятор A / B-тестирования.

Для каждого протестированного варианта вам будет предложено ввести общее количество попыток, например отправленных электронных писем или просмотренных показов. Затем введите количество достигнутых целей — обычно вы смотрите на клики, но это также могут быть другие типы конверсий.

Калькулятор покажет уровень достоверности ваших данных для выигрышного варианта. Затем сравните это число со значением, которое вы выбрали, чтобы определить статистическую значимость.

14.Действуйте на основе ваших результатов.

Если один вариант статистически лучше другого, у вас есть победитель. Завершите тест, отключив проигрышный вариант в инструменте A / B-тестирования.

Если ни один из вариантов не является статистически лучше, вы только что узнали, что проверяемая вами переменная не повлияла на результаты, и вам придется отметить тест как неубедительный. В этом случае используйте исходный вариант или запустите другой тест. Вы можете использовать неудачные данные, чтобы помочь вам определить новую итерацию вашего нового теста.

Хотя A / B-тесты помогают вам повлиять на результаты в каждом конкретном случае, вы также можете применить уроки, извлеченные из каждого теста, и применить их к будущим усилиям.

Например, если вы проводили A / B-тесты в своем почтовом маркетинге и неоднократно обнаруживали, что использование чисел в строках темы электронной почты повышает рейтинг кликов, вы можете рассмотреть возможность использования этой тактики в большем количестве своих электронных писем.

15. Спланируйте следующий A / B-тест.

A / B-тест, который вы только что закончили, возможно, помог вам открыть новый способ сделать ваш маркетинговый контент более эффективным, но не останавливайтесь на достигнутом.Всегда есть место для дополнительной оптимизации.

Вы даже можете попробовать провести A / B-тест для другой функции той же веб-страницы или электронной почты, для которой вы только что тестировали. Например, если вы только что протестировали заголовок на целевой странице, почему бы не провести новый тест на основном тексте? Или цветовое решение? Или изображения? Всегда следите за возможностями увеличения коэффициента конверсии и потенциальных клиентов.

Начать A / B-тестирование сегодня

A / B-тестирование позволяет понять, какой контент и маркетинг хочет видеть ваша аудитория.Узнайте, как лучше всего выполнить некоторые из вышеперечисленных шагов, используя бесплатную электронную книгу ниже.

Примечание редактора: этот пост был первоначально опубликован в мае 2016 года и был обновлен для полноты.

Руководство по AB-тестированию для новичков: введение

A / B-тестирование — отличный метод определения лучших маркетинговых и рекламных стратегий для вашего бизнеса. Его можно использовать для тестирования всего, от копии веб-сайта до электронных писем с продажами и поисковой рекламы.А преимуществ, которые дает A / B-тестирование, достаточно, чтобы компенсировать дополнительное время, которое на это требуется.

Хорошо спланированное A / B-тестирование может существенно повлиять на эффективность ваших маркетинговых усилий. Сужение наиболее эффективных элементов продвижения, а затем их объединение, очевидно, может сделать ваши маркетинговые усилия более прибыльными и успешными.

Как вы планируете A / B-тест?

Первое, что нужно сделать при планировании A / B-теста, — это выяснить, что вы хотите протестировать.Вы проводите тестирование на месте или за его пределами? Если вы проводите тестирование на месте, вам нужно подумать обо всех частях своего веб-сайта, связанных с продажами, а затем выяснить, какие элементы вы хотите протестировать.

С помощью внешних тестов вы, вероятно, тестируете либо рекламу, либо коммерческое письмо. Тестирование рекламного текста, чтобы увидеть, какое объявление привлекает больше посетителей, может помочь вам сосредоточить свои рекламные усилия. Как только вы поймете, что ваше объявление конвертируется с максимальной эффективностью, вам будет легче оправдать трату на него дополнительных денег.То же самое и с электронной почтой. Если вы отправляете в свой список две версии (случайным образом выбирая, какая половина получает какое электронное письмо), а затем отслеживаете, какая из них конвертируется лучше, вы можете отправить только эту версию в следующий раз.

Когда вы определитесь, что будете тестировать, составьте список всех переменных, которые вы будете тестировать. Например, если вы решили проверить свой призыв к действию, вы можете проверить:

• расположение призыва к действию
• — точный текст
• цвет кнопки или окружающего пространства

Это процесс, и обычно до принятия окончательного решения или окончательного изменения проводится несколько A / B-тестов.

Убедитесь, что перед началом тестирования у вас есть четкое представление о результатах, которые вы ищете. Вы уже должны знать свой базовый результат, то есть результаты, которые вы получаете в настоящее время. Вы хотите протестировать варианты A и B друг против друга, но вы также хотите знать, что тот, который лучше справляется с тестом, также показывает лучшие результаты, чем ваши текущие результаты. В качестве альтернативы вы можете использовать A в качестве элемента управления (оставив то, что вы используете в данный момент), а затем использовать что-то новое для B.

Тесты необходимо запускать одновременно, чтобы учесть любые изменения во времени.Вы не можете протестировать один вариант сегодня, а другой завтра, потому что вы не можете учитывать какие-либо переменные, которые могли измениться между сегодня и завтра. Вместо этого вам нужно разделить трафик, увидев ваши варианты одновременно.

A / B-тестирование может улучшить вашу прибыль

Точные A / B-тесты могут иметь огромное значение для вашей чистой прибыли. Используя контролируемые тесты и собирая эмпирические данные, вы можете точно определить, какие маркетинговые стратегии лучше всего подходят для вашей компании и вашего продукта.Когда вы полагаете, что один вариант может работать в два, три или даже четыре раза лучше, чем другой, идея о том, что вы будете проводить рекламные акции без тестирования, начинает казаться немного нелепой.

A / B-тестирование, проводимое последовательно, может существенно улучшить вашу прибыль. Если вы знаете, что работает, а что нет, и имеете доказательства, подтверждающие это, вам будет легче принимать решения, и зачастую вы можете с самого начала создавать более эффективные маркетинговые материалы. Просто не забывайте регулярно проводить тестирование, поскольку эффективность чего-либо может со временем измениться.

Что нужно проверить

Вы можете протестировать практически все, что есть в ваших маркетинговых материалах: заголовки, призывы к действию, основной текст, изображения и т. Д. Если вы можете это изменить, вы можете протестировать. Но это не значит, что вам обязательно нужно тратить месяцы на тестирование каждой мелочи. Вместо этого сосредоточьтесь на вещах, которые, скорее всего, окажут большое влияние.

На вашем веб-сайте это, вероятно, включает:

• заголовок
• ваш призыв к действию
• Любая графика, которую вы используете в прямой связи с вашими усилиями по продажам
• Торговая копия или описание продукта

В электронном письме, вероятно, есть то же самое.В объявлении, особенно текстовом (например, поисковом), вам нужно изменить меньше вещей, поэтому, вероятно, вы протестируете либо основной заголовок, либо само предложение.

Также важно тестирование различных предложений. Просто убедитесь, что у вас есть методы, гарантирующие, что каждому человеку всегда предлагается одно и то же продвижение. Например, если группе A предлагается бесплатный подарок, а группе B — скидка, то вы хотите убедиться, что группа A всегда содержит тех же посетителей, что и группа B.

Вы также можете тестировать вещи вместе друг с другом. Например, вы можете протестировать информационный бюллетень A с целевой страницей A и информационный бюллетень B с целевой страницей B. А затем, позже, вы можете захотеть протестировать информационный бюллетень A с целевой страницей B, и наоборот. Это может дать вам более конкретный результат, если вы получаете неоднозначные результаты или если ваши результаты очень близки.

Посвящение времени тестированию

A / B-тестирование — это не мгновенный проект. В зависимости от объема трафика, который вы получаете, вы можете проводить тесты от нескольких дней до пары недель.И вам нужно запускать только один тест за раз для получения наиболее точных результатов.

Недостаточное время для теста может означать искаженные результаты, так как у вас не будет достаточно большой группы посетителей, чтобы быть статистически точными. Слишком долгое выполнение теста также может дать искаженные результаты, поскольку существует больше переменных, которыми вы не можете управлять в течение более длительного периода. Убедитесь, что вы всегда в курсе всего, что может повлиять на результаты ваших тестов, чтобы вы могли учесть любые статистические аномалии при просмотре результатов.Если вы сомневаетесь, вполне разумно провести повторную проверку.

Однако, учитывая влияние A / B-тестирования на вашу прибыль, стоит потратить несколько недель на правильное проведение тестов. Проверяйте по одной переменной за раз и дайте каждому тесту достаточно времени для выполнения.

Могу ли я тестировать более одного объекта за раз?

Есть два подхода к этому вопросу. Прежде всего, допустим, вы просто хотите протестировать заголовок, но у вас есть три возможных варианта. В этом случае целесообразно запустить один тест и разделить посетителей (или получателей в случае электронного письма) на три группы вместо двух, и, скорее всего, это все равно будет считаться A / B-тестом.Это более эффективно, чем выполнение трех отдельных тестов (A против B, B против C и A против C). Вы можете дать вашему тесту еще пару дней для запуска, чтобы у вас еще было достаточно результатов, на которых можно было бы делать какие-либо выводы.

Одновременное тестирование нескольких элементов, таких как заголовок и призыв к действию, является многовариантным тестом, и его сложнее выполнить. Существует множество ресурсов для многовариантного тестирования, но мы не будем говорить об этом, когда будем говорить об A / B-тестировании.

Если вы хотите приступить к A / B-тестированию, вы можете начать с изучения того, как проводить A / B-тестирование в Google Analytics.

Об авторе: Кэмерон Чепмен — внештатный дизайнер, блоггер и автор книги «Известные в Интернете: практическое руководство по тому, как стать онлайн-знаменитостью».

Узнайте, как мое агентство может привлечь огромное количество трафика на ваш веб-сайт

• SEO — разблокируйте огромное количество SEO-трафика. Смотрите реальные результаты.
• Контент-маркетинг — наша команда создает эпический контент, которым будут делиться, получать ссылки и привлекать трафик.
• Paid Media — эффективные платные стратегии с четкой окупаемостью инвестиций.

Заказать звонок

Что такое A / B-тестирование? Полное руководство

Время чтения: 8 минут.

Что такое A / B-тестирование? Полное руководство (2021)

4.9 (97.14%) 7 голосов

Что такое A / B-тестирование?

A / B-тестирование включает две версии одной веб-страницы.Версия A — это текущая версия («Контроль»), а версия B — это измененная страница («Обработка»). Запустив обе страницы одновременно, вы можете легко увидеть, какая из них приносит больше продаж или подписок.

Проведение A / B-тестов — единственный способ достоверно оптимизировать веб-сайт. Для наиболее известных цифровых брендов тестирование — это постоянный процесс, которым они руководствуются при веб-разработке. Однако с момента появления в 2010 году таких инструментов, как Optimizely и VWO, A / B-тестирование также стало важной частью цифрового маркетинга.

Как работает A / B-тестирование?

Для проведения эффективных тестов вам нужна «гипотеза», способ редактирования вашего сайта и инструмент для записи результатов. Ваша гипотеза — это просто ваша идея о том, как улучшить вашу веб-страницу. Это может быть изменение расположения призыва к действию, макета страницы или даже цвета кнопки.

Программное обеспечение для A / B-тестирования отслеживает и записывает влияние изменений на поведение ваших посетителей.Он разделяет трафик между «обработкой» и «контролем» и измеряет различные ответы. Более сложные инструменты даже направляют больше посетителей на наиболее эффективную страницу, поэтому вы не теряете клиентов во время выполнения теста.

Как только ваш сайт получит достаточное количество посещений, ваше программное обеспечение объявит победителя. Однако есть еще один важный шаг, который необходимо сделать, прежде чем изменения можно будет сделать постоянными. Анализ статистической значимости ваших данных — важная часть процесса A / B-тестирования.

A / B-тестирование против многомерного — в чем разница?

A / B-тестирование включает одну переменную (например, кнопку с призывом к действию) с двумя разными версиями. Когда тест включает в себя несколько изменений, это может быть либо «тест A / B / n», либо «многомерный тест». В отличие от A / B / n-теста, многомерное (MVT) тестирование показывает, как разные переменные работают вместе и какие из них больше всего влияют на ваши конверсии.

Что такое A / B / n-тестирование?

Тестирование нескольких версий одного элемента известно как A / B / n Testing .Предположим, вы хотите попробовать кнопки трех разных цветов, версии страниц будут A , B и C . Поскольку вы можете добавить любое количество различных версий, этот вид теста будет иметь вид A , B и « n ».

Что такое многомерное тестирование?

Многовариантное тестирование работает так же, но сравнивает более одной переменной как по отдельности, так и в комбинации. Это дает вам информацию о том, как работает каждая отдельная версия и как разные варианты работают вместе.

Например, тестирование альтернативных версий для двух отдельных элементов (кнопки с призывом к действию «X» и изображения заголовка «Y») означало бы сравнение четырех комбинаций. Это даст вам следующие комбинации переменных:

• А — Y1 и X1
• B — Y2 и X1
• C — Y1 и X2
• D — Y2 и X2

Многовариантное тестирование требует исключительно большого размера выборки, поэтому оно действительно возможно только для крупнейших веб-сайтов.

Что такое сплит-тестирование?

Сплит-тестирование аналогично A / B-тестированию, за исключением того, что двум страницам, A и B, назначены собственные URL-адреса. Это увеличивает скорость загрузки страниц и позволяет вносить более обширные изменения. Однако это также может быть более сложный процесс, и существует большая вероятность заражения данных.

Примеры A / B-тестирования в цифровом маркетинге

A / B-тестирование — это форма «статистической проверки гипотез» — методика, появившаяся в начале 20-го века.Такие ученые, как Рональд Фишер, Карл Пирсон и Ежи Нейман использовали эту технику в своих экспериментах, создав такие концепции, как нулевая гипотеза .

В мире маркетинга копирайтеры, такие как Клод Хопкинс, применили эти новые концепции к рекламе. Хопкинс использовал коэффициент возврата рекламных купонов для измерения эффективности различных кампаний. Он описал свою технику в книге под названием Scientific Advertising (1923).

С развитием интернет-рекламы и электронной коммерции стало возможным автоматизировать тестирование маркетинга и дизайна UX.A / B-тестирование сыграло центральную роль в успехе бесчисленного множества онлайн-компаний и сыграло свою роль в крупных исторических событиях.

Примеры успешных A / B-тестов

С начала века A / B-тестирование стало ключевым ресурсом для SaaS, электронной коммерции и бизнес-сайтов. Поскольку легко выбрать и отследить посетителей веб-сайта, большинство пользователей никогда не осознают, что они являются частью теста.

• 2000: инженеры, работающие в Google, провели тест, чтобы найти оптимальное количество результатов для отображения на странице результатов поисковой системы.С тех пор ответ (10 результатов на страницу) остается относительно неизменным.
• 2008: Президентская кампания Барака Обамы протестировала раннюю страницу донора кампании, определив комбинацию текста с призывом к действию и изображений, которые дали на 40% больше кликов. Подобные тесты были ответственны за 4 миллиона дополнительных регистраций и 75 миллионов долларов дополнительных пожертвований на кампанию.
• 2009: сотрудник Microsoft разработал тип ссылки, которая открывала бы страницы в новой вкладке.Общее количество переходов на главную страницу MSN увеличилось на 8,9%, что представляет собой огромный рост вовлеченности пользователей. В испытании приняли участие более 900 000 британских участников, и он был повторен (с аналогичными результатами) в США в июне 2010 года.
• 2009: Google провела тест более 40 цветовых комбинаций для своей страницы результатов поиска, остановившись на комбинации, которая, как полагают, приносила им дополнительные 200 миллионов долларов ежегодно.
• 2012: A / B-тест формата заголовков объявлений принес 12% дополнительного дохода от поисковой системы Microsoft Bing.Это привело к дополнительным 100 миллионам долларов в год.
• 2013: Microsoft протестировала альтернативные цвета для заголовков и подписей на своих страницах результатов поиска. Поскольку результаты были столь положительными, компания повторила эксперимент на более крупной выборке из 32 миллионов пользователей. Когда были внесены изменения, выяснилось, что они приносят дополнительный доход в размере 10 миллионов долларов в год.

Сегодня такие компании, как Google , Microsoft , Amazon и Booking , проводят ежегодно десятки тысяч тестов.Несмотря на относительно незначительное влияние большинства тестов, они остаются самым надежным способом повышения производительности веб-сайта.

Заголовки и субтитры для A / B-тестирования

Великий рекламщик Дэвид Огилви объяснил важность сильного рекламного заголовка в своей книге Confessions of a Advertising Man :

В среднем, заголовок читают в пять раз больше людей, чем читают основной текст. Когда вы написали заголовок, вы потратили восемьдесят центов из своего доллара … Если вы не продвинулись в своем заголовке, вы потратили 80 процентов денег вашего клиента.

Заголовки и субтитры привлекают еще больше внимания в Интернете, поэтому имеет смысл протестировать их. Фактически, если вы не проверили заголовок, значит, вы играете более 80% своего бюджета на контекстную рекламу.

Одним из самых известных A / B-тестов за последние 10 лет была простая страница регистрации лидогенерации для программного обеспечения CRM Highrise. В ходе теста сравнивались четыре различных сочетания заголовка и субтитров, включая оригинал.

Хотя Highrise использовали небольшой образец для своего теста, они были уверены в результате своего эксперимента.Заголовок страницы, показывающий продолжительность бесплатной пробной версии и объясняющий, насколько легко зарегистрироваться, конвертировал на 30% чаще, чем оригинал.

Уведомления веб-сайта A / B-тестирования

Уведомления на веб-сайтах — это уникальная форма продажной копии. Они могут отображать данные в реальном времени или привлекать внимание к скрытым деталям, выступая в качестве мощного «ускорителя» для вашего ценностного предложения. Как и заголовки и субтитры, уведомлениям обычно уделяется гораздо больше внимания, чем стандартному основному тексту.

Отображение сведений о доставке на раннем этапе оформления заказа помогает уменьшить количество брошенных корзин.В 2019 году платформа электронной коммерции SportCheck экспериментировала со способами рекламы своей политики бесплатной доставки на страницах товаров и корзин. Однако результаты были неутешительными. Добавление уведомления на их страницы продуктов увеличило продажи с небольшим отрывом, и тест показал только 55% уверенности.

Более внимательно изучив данные, директор по экспериментам обнаружил, что 29 июля продажи с тестовых страниц начали снижаться. В тот день политика магазина в отношении бесплатной доставки была обновлена ​​и теперь распространяется только на заказы на сумму более 75 долларов США.Перед обновлением уведомление увеличивало продажи на 6,56% при 96% уверенности.

Изображения для A / B-тестирования

Тестирование вашего контента позволяет преодолеть неявные предубеждения. Например, сотрудники президентской кампании 2007–2008 годов за Барака Обамы обнаружили, что их инстинкты в отношении того, какие изображения будут работать лучше, часто были неверными. Поскольку изображения вызывают эмоциональную и молчаливую реакцию, важно подтверждать свой выбор доказательствами.

Большинство агентств рекомендуют использовать видео в качестве первого изображения на странице продукта.Однако в этом A / B-тесте, проведенном розничным продавцом мобильных аксессуаров Zagg, 360-градусное изображение превзошло видео о продукте на 11,9%.

В ходе теста измерялся средний доход на одного покупателя, поэтому продажи с низкой стоимостью не могли повлиять на результат. Результаты были значительными до уровня уверенности 95,4%.

Веб-формы для A / B-тестирования

Печально известный пример «кнопки на 300 миллионов долларов» демонстрирует ценность тестовых форм. Одним из основных препятствий, с которыми сталкиваются веб-дизайнеры, является «Проклятие знаний».Сложно создать удобный интерфейс, потому что дизайнеры уже знают, как работают их формы и процессы.

Этот A / B-тест — еще один пример того, как лучшие практические руководства могут ошибаться. Специалисты по оптимизации обычно настаивают на том, что более короткие формы с меньшим количеством полей могут быть преобразованы более эффективно. Фактически, этот тест, проведенный компанией по настройке автомобилей Thomas Printworks, показал, что на более длинную страницу с более конкретными вопросами приходилось гораздо больше заполненных форм.

Исходная страница была заполнена 2,2% посетителей, в то время как более длинная форма конвертировала 5,28% времени. Увеличение представляет собой рост на 140% при уровне уверенности 90%.

Почему A / B-тестирование станет таким популярным в 2021 году?

A / B-тестирование имеет одно важное преимущество перед альтернативными способами оптимизации веб-сайта: оно основано на реальных пользователях. В то время как UX-дизайн, практические рекомендации и анализ пути клиента могут дать подсказки и предложения, реальное тестирование дает уверенность.

1. Интернет-магазины используют его для усиления своей воронки конверсии
2. Сайты Saas используют его для улучшения своей домашней страницы и расширения процесса регистрации
3. Привлечение потенциальных клиентов веб-сайтов используют его для оптимизации своих целевых страниц .

Этот же процесс также используется для редизайна веб-сайтов. Например, в 2017 British Airways запустила новый веб-сайт. Однако перед выпуском нового дизайна они опробовали новые версии каждой веб-страницы.К моменту публикации готового веб-сайта каждая страница была протестирована в течение нескольких месяцев с тысячами посетителей.

A / B-тестирование за 30 секунд (анимационное видео)

Как и в случае любого другого теста, человеческая ошибка часто мешает получению убедительных результатов. Итак, если вы планируете провести A / B-тестирование на веб-сайте, постарайтесь не допустить двух наиболее распространенных ошибок:

1. Классическая проблема подтверждения собственного мнения.
2. Попытка сделать выводы, не имея достаточного трафика, времени или повышения (это наиболее частая ошибка A / B-тестирования)

Хотя большинство инструментов A / B-тестирования выполнят все расчеты за вас, все же стоит потратить некоторое время, чтобы ознакомиться со статистикой A / B-тестирования.

Скачать Руководство бесплатно

Загрузите полную версию «Введение в A / B-тестирование» здесь. Руководство полностью бесплатное и включает в себя избавление от жаргона, отраслевые примеры и историю A / B-тестирования

. Ваша подписка не может быть сохранена. Пожалуйста, попробуйте еще раз. Спасибо, мы отправили вам PDF-файл по электронной почте.

Что такое A / B-тестирование? Определение и обзор

Если вы пытаетесь развивать свой бизнес, бывает сложно сказать, какие маркетинговые стратегии больше всего находят отклик у вашей аудитории. A / B-тестирование — наряду с другими стратегиями оптимизации конверсии — позволяет вам попробовать разные вещи, чтобы вы могли улучшить свой контент, обеспечить лучший клиентский опыт — и быстрее достичь своих целей по конверсии.Это руководство по AB-тестированию поможет вам узнать о его основах.

Что такое A / B-тестирование?

A / B-тесты, также известные как сплит-тесты, позволяют сравнить 2 версии чего-либо, чтобы узнать, какой из них более эффективен. Проще говоря, вашим пользователям нравится версия A или версия B?

Концепция подобна научному методу. Если вы хотите узнать, что происходит, когда вы меняете что-то одно, вам нужно создать ситуацию, в которой изменяется только это одно.

Вспомните эксперименты, которые вы проводили в начальной школе. Если вы положите 2 семечки в 2 стакана с грязью и положите одно в шкаф, а другое у окна, вы увидите разные результаты. Такой экспериментальной установкой является A / B-тестирование.

Развитие A / B-тестирования

В 1960-х годах маркетологи начали понимать, как такого рода тестирование может помочь им понять влияние своей рекламы. Будет ли реклама на телевидении или радио привлечь больше бизнеса? Письма или открытки лучше подходят для прямого маркетинга?

Когда в 90-х Интернет стал неотъемлемой частью делового мира, A / B-тестирование стало цифровым.Когда у команд цифрового маркетинга появились технические ресурсы, они начали тестировать свои стратегии в режиме реального времени — и в гораздо большем масштабе.

Что такое A / B-тестирование в эпоху цифровых технологий?

По сути, A / B-тестирование такое же, как и всегда. Вы выбираете фактор, который хотите проверить, например, сообщение в блоге с изображениями или такое же сообщение без изображений. Затем вы случайным образом показываете посетителям один стиль сообщения в блоге, учитывая другие факторы. Вы также должны записывать как можно больше данных: показатели отказов, время, проведенное на странице, и т. Д.

Вы даже можете протестировать более 1 переменной одновременно. Например, если вы хотите оценить шрифт, а также наличие изображений, вы можете создать 4 страницы, на каждой из которых будет отображаться сообщение в блоге с:

1. Arial с изображениями
2. Arial без изображений
3. Times New Roman с изображениями
4. Times New Roman без изображений

Программное обеспечение для A / B-тестирования возвращает данные из подобных экспериментов. Затем кто-то из вашей компании интерпретирует результаты, чтобы решить, имеет ли смысл для компании действовать в соответствии с ними — и если да, то как.

Почему важно A / B-тестирование?

A / B-тесты предоставят вам данные, необходимые для максимального использования вашего маркетингового бюджета. Допустим, ваш начальник выделил вам бюджет на привлечение трафика на ваш сайт с помощью Google AdWords. Вы настраиваете A / B-тест, который отслеживает количество кликов для трех разных заголовков статей. Вы запускаете тест в течение недели, следя за тем, чтобы в любой день и в любое время показывать одинаковое количество объявлений для каждого варианта.

Результаты проведения этого теста помогут вам определить, какой заголовок получает больше всего переходов по ссылкам.Затем вы можете использовать эти данные, чтобы соответствующим образом сформировать свою кампанию, повысив ее рентабельность инвестиций (ROI) больше, чем если бы вы выбрали название наугад.

Мелкие изменения, серьезные улучшения

A / B-тесты позволяют оценить влияние изменений, внедрение которых относительно недорогое. Проведение кампании AdWords может быть дорогостоящим, поэтому вы хотите, чтобы каждый аспект был максимально эффективным.

Предположим, вы запускаете A / B-тестирование шрифта, размера текста, заголовков меню, ссылок и положения настраиваемой формы регистрации на своей домашней странице.Вы тестируете эти элементы по 2 или 3 за раз, чтобы у вас не было слишком много взаимодействующих друг с другом неизвестных.

По завершении теста вы обнаружите, что изменение последних трех элементов увеличивает конверсию на 6% каждый. Ваш веб-дизайнер реализует эти изменения менее чем за час, а когда они будут завершены, у вас есть шанс получить на 18% больше дохода, чем раньше.

Низкие риски, высокие награды

A / B-тестирование не только экономично, но и эффективно по времени. Вы проверяете 2 или 3 элемента и получаете ответ.Отсюда легко решить, вносить ли изменение или нет. Если реальные данные не соответствуют результатам вашего теста, всегда можно вернуться к более старой версии.

Максимально эффективное использование трафика

Если вы используете A / B-тестирование, чтобы сделать свой веб-сайт максимально эффективным, вы можете получить больше конверсий на посетителя. Чем выше ваш процент конверсии, тем меньше времени и денег вам нужно потратить на маркетинг. Это потому, что теоретически каждый, кто посещает ваш сайт, с большей вероятностью будет действовать.

Помните, когда вы улучшаете свой веб-сайт, это может увеличить коэффициент конверсии как для платного, так и для неоплачиваемого трафика.

Посмотрите, что работает лучше всего

A / B-тестирование позволяет попробовать что-нибудь и выбрать победителя.

A / B тестирование

Над чем работает A / B-тестирование?

Когда дело доходит до контента, ориентированного на клиентов, вы можете многое оценить с помощью A / B-тестирования.Общие цели включают:

• Электронная рассылка
• Индивидуальные адреса электронной почты
• Мультимедийные маркетинговые стратегии
• Платная интернет-реклама
• Информационные бюллетени
• Дизайн сайта

В каждой категории вы можете проводить A / B-тесты по любому количеству переменных. Например, если вы тестируете дизайн своего сайта, вы можете попробовать различные варианты, например:

• Цветовая гамма
• Макет
• Количество и тип изображений
• Заголовки и субпозиции
• Стоимость продукта
• Специальные предложения
• Дизайн кнопки призыва к действию

По сути, практически любой стиль или элемент контента в элементе, ориентированном на покупателя, можно протестировать.

Как вы проводите A / B-тесты?

В общем, процесс A / B-тестирования — это просто научный метод. Если вы хотите получить от этого максимум пользы, вам нужно подойти к этому с научной точки зрения.

Процесс

Как и в лабораторной версии научного метода, A / B-тестирование начинается с выбора того, что тестировать. Весь процесс состоит из нескольких шагов:

1. Определите проблему. Убедитесь, что вы определили конкретную проблему.Например, «Недостаточно конверсий» — это слишком общий термин. Существует слишком много факторов, влияющих на то, станет ли посетитель веб-сайта клиентом или перейдет ли получатель электронной почты на ваш сайт. Вы должны знать, почему ваш материал не конвертируется.

Пример: Вы работаете в розничном магазине женской одежды, у которого много онлайн-продаж, но очень немногие из этих продаж поступают из его кампаний по электронной почте. Вы переходите к своим аналитическим данным и обнаруживаете, что высокий процент пользователей открывают ваши электронные письма со специальными предложениями и читают их, но лишь немногие действительно конвертируют.

2. Анализируйте пользовательские данные. Технически вы можете проводить A / B-тестирование всего, что видят ваши клиенты, когда открывают ваши электронные письма, но это займет много времени. Они сталкиваются с множеством элементов дизайна и контента, которые, вероятно, не имеют отношения к делу, поэтому вам нужно выяснить, на какой элемент нацеливаться.

Пример: Люди открывают ваши электронные письма, поэтому нет ничего плохого в том, как вы пишете тему письма. Они также проводят время, читая их, поэтому ничто не заставляет их мгновенно щелкнуть мышью.Поскольку многие пользователи, которые находят ваш сайт из других источников, в конечном итоге становятся клиентами, вы можете сказать, что нет ничего плохого в том, как вы представляете свои продукты. Это говорит о том, что, хотя люди находят ваши электронные письма привлекательными, они каким-то образом теряются, когда переходят на ваш сайт.

3. Разработайте гипотезу для проверки. Теперь вы действительно сужаете его. Ваш следующий шаг — решить, что именно вы хотите протестировать и как вы хотите это тестировать.Сузьте количество неизвестных до 1 или 2, по крайней мере, для начала. Затем вы можете определить, как изменение этого элемента или элементов может решить проблему, с которой вы столкнулись.

Пример: Вы заметили, что кнопка, которая переводит людей в ваш интернет-магазин, спрятана в нижней части электронного письма, под сгибом. Вы подозреваете, что, подняв его в верхнюю часть экрана, вы сможете более эффективно побуждать людей посещать ваш сайт.

4. Проведите проверку гипотез. Разработайте новую версию тестового задания, которая реализует вашу идею.Затем запустите A / B-тест между этой версией и вашей текущей страницей с целевой аудиторией.

Пример: Вы создаете версию электронного письма с кнопкой, расположенной над сгибом. Вы не меняете его дизайн — только его расположение. Вы решаете запустить тест в течение 24 часов, поэтому вы устанавливаете это в качестве параметра времени и запускаете тест.

5. Проанализируйте данные. По окончании теста просмотрите результаты и посмотрите, привела ли новая версия вашего элемента к каким-либо заметным изменениям.Если нет, попробуйте протестировать новый элемент.

Пример: Ваше новое электронное письмо немного повысило конверсию, но ваш начальник хочет знать, может ли что-то еще сделать лучше. Поскольку вашей переменной было расположение кнопки, вы решаете попробовать разместить ее в двух других местах.

6. Найдите новых претендентов на своего чемпиона. В мире A / B-тестирования иногда используются слова «чемпион» и «претендент» для обозначения текущего лучшего варианта и новых возможностей. Когда соревнуются 2 или более вариантов, и один из них оказывается значительно более успешным, это называется чемпионом.Затем вы можете проверить этого победителя с другими вариантами, которые называются претендентами. Этот тест может дать вам нового чемпиона или может показать, что исходный чемпион действительно был лучшим.

Пример: Вы A / B протестировали 2 версии целевой страницы и нашли чемпиона между ними, но есть еще и третья версия страницы, которую вы хотите сравнить с чемпионом из первого теста. Третья версия становится новым претендентом на испытание против предыдущего чемпиона.

После того, как вы пройдете все 6 шагов, вы можете решить, было ли улучшение достаточно значительным, чтобы вы могли завершить тест и внести необходимые изменения. Или вы можете запустить еще один A / B-тест, чтобы оценить влияние другого элемента, например размера кнопки или ее цветовой схемы.

Чаевые для A / B-тестеров

Вот несколько советов, которые помогут сделать ваши A / B-тесты максимально полезными.

Используйте репрезентативные образцы ваших пользователей.

Любой ученый скажет вам, что если вы проводите эксперимент, вы должны убедиться, что ваши группы участников максимально похожи. Если вы тестируете веб-сайт, вы можете использовать ряд инструментов автоматического тестирования, чтобы убедиться, что случайная выборка людей увидит каждую версию.

Если вы отправляете материалы напрямую своим клиентам или потенциальным клиентам, вам необходимо вручную создать сопоставимые списки. Сделайте группы максимально равными по размеру и — если у вас есть доступ к данным — равномерно распределите получателей по полу, возрасту и географическому положению.Таким образом, вариации этих факторов окажут минимальное влияние на ваши результаты.

Увеличьте размер выборки.

Чем больше людей вы протестируете, тем надежнее будут ваши результаты. Это связано с концепцией, которую статистики называют «статистической значимостью».

Вкратце, если результат статистически значим, это означает, что он маловероятен. Например, если вы отправляете новую версию электронного письма 50 людям, а контрольную — еще 50, увеличение CTR на 5% означает, что 5 человек лучше откликнулись на вашу новую версию.Разница настолько мала, что ее можно объяснить случайностью, и если вы выполните тот же тест еще раз, есть большая вероятность, что вы получите другие результаты. Другими словами, ваши результаты не были статистически значимыми.

Если вы можете отправлять один и тот же набор писем группам по 500 человек, увеличение на 5% означает, что 50 человек лучше отреагировали на ваш новый стиль, что с большей вероятностью будет значительным.

Избегайте типичных ошибок.

Заманчиво создать всплывающую кнопку с новым шрифтом, новым размером текста, новыми размерами кнопок и новыми цветами кнопок.Но чем больше новых элементов вы добавите, тем более запутанными будут ваши результаты.

Если придерживаться приведенного выше примера, если ваше новое всплывающее окно полностью отличается по дизайну от оригинала, вы, вероятно, увидите полностью случайные корреляции. Возможно, похоже, что большая фиолетовая кнопка «Проверить» с изображением знака доллара работает лучше, чем маленькая синяя кнопка, которую она заменила, но возможно, что только 1 из этих элементов дизайна был значительным, например, размер.

Помните, вы всегда можете запустить новый тест с другими элементами позже. Будет легче взглянуть на этот контрольный тест, чем пытаться проанализировать тест с 18 различными переменными.

Подождите, пока тест не закончится, прежде чем вносить изменения.

Поскольку A / B-тесты позволяют увидеть эффекты изменения в реальном времени, возникает соблазн завершить тест, как только вы увидите результаты, чтобы вы могли сразу же внедрить новую версию. Однако это означает, что ваши результаты, скорее всего, будут неполными и будут менее статистически значимыми.Факторы, зависящие от времени, могут повлиять на ваши результаты, поэтому вам нужно дождаться окончания периода тестирования, чтобы воспользоваться рандомизацией.

Выполнить тесты более одного раза.

Даже лучшее программное обеспечение для A / B-тестирования возвращает ложные срабатывания, потому что поведение пользователя очень изменчиво. Единственный способ убедиться, что ваши результаты точны, — это запустить тот же тест еще раз с теми же параметрами.

Повторное тестирование особенно важно, если ваша новая версия показывает небольшие улучшения.Один ложноположительный результат имеет большее значение, когда положительных результатов не так много.

Кроме того, если вы запускаете много A / B-тестов, более вероятно, что вы время от времени будете сталкиваться с ложными срабатываниями. Возможно, вы не сможете позволить себе повторять каждый тест, но если вы будете повторять тест время от времени, у вас будет больше шансов обнаружить ошибки.

Посмотрите, что работает лучше всего

A / B-тестирование — это эффективный и действенный способ оценить реакцию вашей аудитории на идею дизайна или контента, поскольку оно не мешает работе пользователей и не рассылает деструктивные опросы.Просто попробуйте что-то новое, и пусть результаты говорят сами за себя.

Что такое A / B-тестирование? Объяснение A / B-тестов (с примерами)

A / B-тестирование — это одновременный эксперимент между двумя или более вариантами страницы , чтобы определить, какой из них работает лучше всего.

Представьте, например, что вы хотите проверить свою гипотезу о том, что один заголовок будет генерировать больше потенциальных клиентов, чем другой. Конечно, вы можете просто внести изменения и скрестить пальцы. Но что, если ты ошибаешься? Ошибки могут дорого обойтись.

Отправляя половину своего трафика на одну версию страницы, а половину на другую, вы можете сначала собрать доказательства того, какая из них работает лучше всего , прежде чем совершить изменение.

По сути, A / B-тестирование позволяет вам играть в ученого, а принимает решения на основе данных о том, как люди на самом деле ведут себя, когда они попадают на вашу страницу.

Терминология A / B-тестирования

Вариант

Вариант — это термин для любых новых версий целевой страницы, которые вы включаете в свой A / B-тест.Хотя у вас будет как минимум два варианта в вашем A / B-тесте, вы можете проводить эти эксперименты с любым количеством страниц.

Чемпион

Вы можете думать об A / B-тестировании как о гладиаторском бою. Вводятся два (или более) варианта, но остается только одна страница. Этот победитель (как правило, страница с лучшими показателями конверсии) получает титул чемпиона версии .

Challenger

При запуске теста вы создаете новые версии (варианты), чтобы бросить вызов существующей странице чемпиона.Их называют претендентами . Если претендент превосходит все другие варианты, он становится новым чемпионом.

Назначение веса трафика в A / B-тесте

В типичном A / B-тесте трафик случайным образом назначается каждому варианту страницы на основе заранее определенного веса. Например, если вы запускаете тест с двумя вариантами страниц, вы можете разделить трафик 50/50 или 60/40. Для обеспечения целостности теста посетители всегда будут видеть один и тот же вариант, даже если они вернутся позже.

Основным фактором, определяющим, какой вес вы придадите вариантам страницы во время теста, является время: запускаете ли вы тест с несколькими вариантами одновременно или проверяете новые идеи на уже существующей странице.

ПРОФЕССИОНАЛЬНЫЙ СОВЕТ. Имейте в виду, что вам нужно направить определенный объем трафика через тестовые страницы, прежде чем результаты станут статистически значимыми. Вы можете найти калькуляторы в Интернете (например, этот от VWO) или использовать такие инструменты, как конструктор целевых страниц Unbounce, которые помогут вам проводить тесты.

С нуля

Если вы начинаете новую кампанию и у вас есть несколько идей о том, в каком направлении двигаться, вы можете создать вариант для каждой идеи.

В этом сценарии вы, скорее всего, назначите одинаковый вес каждой версии целевой страницы. Для двух вариантов это будет 50/50. Для троих это будет 33/33/34. И так далее. Вы должны относиться к ним одинаково и как можно скорее выбрать чемпиона. Поскольку у вас нет данных о конверсиях ни на одной из страниц, начните эксперимент с позиции равенства.

Тестирование существующих целевых страниц

Если у вас уже есть страница, на которой вы хотите опробовать некоторые новые идеи, обычно лучше дать вашим новым вариантам меньший процент трафика, чем существующий чемпион, чтобы снизить риск, присущий с внедрением новых идей.

Это будет медленнее. Однако не рекомендуется пытаться ускорить A / B-тест, отдавая предпочтение новым вариантам, поскольку их эффективность не гарантируется. (Помните, что A / B-тестирование направлено на снижение риска.Тестируйте с умом!)

---

Что мне тестировать на своих целевых страницах?

Большинство маркетинговых отделов полагаются на сочетание опыта, интуиции и личного мнения, когда дело доходит до решения, что будет лучше работать для их клиентов. Иногда это срабатывает, но часто нет. Когда вы начинаете A / B-тестирование, вы должны быть готовы выбросить все предположения из зала заседаний совета директоров: данные (во всяком случае, правильно интерпретированные) не лгут. Об этом стоит рассказать своему боссу.

Есть определенное количество элементов целевой страницы, на которых вы можете сосредоточиться при тестировании.Различные варианты и контент, которые будут включены в тест, зависят от вас, но какой из них работает лучше всего (нравится вам это или нет), зависит от клиентов.

Вот некоторые элементы, которые следует учитывать при сплит-тестировании:

Заголовки

Ваш главный заголовок обычно представляет собой сжатое представление вашего основного ценностного предложения. Другими словами, он суммирует, почему кому-то нужен ваш продукт или услуга. Есть много подходов, которые вы можете попробовать при тестировании заголовка:

• Попробуйте использовать более длинный заголовок, а не короткий
• Выразите отрицательные или положительные эмоции
• Задайте вопрос в заголовке
• Сделайте часть заголовка характеристикой
• Попробуйте другое Уникальное Пункты продажи

Призыв к действию (CTA)

Призыв к действию — это кнопка, которая представляет цель конверсии вашей страницы.Вы можете протестировать CTA-копию, дизайн кнопки и ее цвет, чтобы увидеть, что работает лучше всего. Попробуйте, например, увеличить кнопку или сделать ее зеленой для движения, синей для цвета ссылки, оранжевой или красной для эмоциональной реакции.

Hero Shot

Главный снимок — это основная фотография или изображение, которое появляется над сгибом. В идеале он показывает, что ваш продукт или услуга используются в реальной жизни, но как узнать, какой снимок героя будет скрыт для какой целевой страницы? Вы идете с улыбающейся парой? Или, может быть, крупный план самого продукта? Экспериментируйте и узнайте.

ПРОФЕССИОНАЛЬНЫЙ СОВЕТ. Точно так же, как ваш заголовок и подтверждающая копия, снимок героя должен соответствовать сообщению. Если в вашем объявлении упоминаются матрасы, а на главной странице целевой страницы изображено кресло-качалка, то, скорее всего, вы получили несоответствие.

Формы

В зависимости от вашего бизнеса вам может потребоваться нечто большее, чем просто имя и адрес электронной почты. Если вам особенно нужны данные, попробуйте запустить тест с множеством вариантов вашей формы разной длины. Таким образом, вы можете принять обоснованное решение о том, какой процент отказов является приемлемым, если сопоставить его с полученными дополнительными данными.

Копия

Часто самый важный фактор — длинная копия по сравнению с короткой. Чем короче, тем лучше, но для некоторых продуктов и рынков детали важны в процессе принятия решений. Вы также можете попробовать изменить порядок функций и преимуществ или сделать свой язык более или менее буквальным.

Существует множество мнений о том, что работает, а что нет, но почему бы не протестировать это и не убедиться в этом?

Layout

Будет ли CTA слева лучше, чем справа? И что лучше для этого видео с отзывами, если вы поместите его внизу или вверху страницы? Хороший вопрос.Иногда изменение макета страницы может сильно повлиять на ваши конверсии.

ПРОФЕССИОНАЛЬНЫЙ СОВЕТ. Если вы хотите поэкспериментировать с макетом, перемещайте по одному элементу за раз и оставляйте все остальные элементы на странице такими же. В противном случае будет сложно выделить те изменения, которые работают.

Стоит ли A / B-тестирование? Несколько препятствий для рассмотрения

A / B-тестирование ваших целевых страниц может быть мощным способом выжать больше конверсий (иногда — много конверсий) из ваших существующих кампаний, увеличивая вашу общую рентабельность инвестиций .Можно совершить ошибку, если вы не будете осторожны в настройке — чаще всего, изменяя более одного элемента страницы за раз, — но, немного прочитав, вы можете настроить себя на успех.

Тем не менее, особенно для небольших команд и предприятий, есть несколько препятствий, которые могут усложнить A / B-тестирование ваших страниц:

1. Вам нужно дождаться статистической значимости

Представьте, что вы подбрасываете монетку в воздух. . Получается головы . Вы переворачиваете его второй раз. головы снова побед. Вы думаете, что это странно, когда бросаете монету в последний раз. Он снова ставит хэд-ап .

Готовы ли вы сделать вывод, что любая подброшенная монета имеет 100% шанс выпадения хедз-ап после трех подбрасываний? (Последние новости: Местный маркетолог заявляет, что законы вероятности — подделка, .)

Вероятно, нет. Представьте, что вы отправляетесь в Лас-Вегас и думаете, что бросок монеты всегда выпадает орлом.

То же самое происходит при A / B-тестировании целевой страницы.Пока вы не протестируете своих вариантов с достаточным количеством посетителей для достижения статистической значимости , вам действительно не следует применять полученные знания. Вместо этого вам нужно устранить как можно больше неопределенности, прежде чем вы выберете вариант чемпиона. Сколько посетителей вам нужно, может варьироваться в зависимости от ваших целей, но обычно это большое количество.

2. Вам нужен достаточный трафик

Необходимость статистической значимости создает еще одну проблему для небольших команд. Если у вас недостаточно трафика, чтобы быть уверенным в своих результатах, вы не можете (или не должны) завершать A / B-тест .Для малых предприятий целевые страницы могут занять месяца , чтобы достичь необходимых результатов, чтобы сделать единый вывод. И иногда такой вывод будет заключаться в том, что внесенное вами изменение (например, изменение цвета кнопки с красного на зеленый) вообще не повлияло на ваш коэффициент конверсии!

Если вы проводите своевременную маркетинговую кампанию или просто хотите быстро увидеть результаты, A / B-тестирование без большого трафика может оказаться слишком медленным, чтобы быть полезным. Ожидание в течение года повышения конверсии на 5% на одной целевой странице вряд ли будет привлекательным и трудным для защиты.Учитывая, что при его настройке также возникают ручные хлопоты, это не стоит вашего времени.

3. Это универсальный подход к оптимизации.

Эта проблема является одним из недостатков A / B-тестирования: когда вы коронуете вариант чемпиона, вы выбираете версию своей страницы, равную скорее всего конвертирует большинство ваших посетителей . Это не означает, что не было других типов посетителей, которые с большей вероятностью совершили бы конверсию при проигрышном варианте. (Возможно даже, что эти забытые посетители более ценны для вашего бизнеса, чем люди, для которых вы оптимизировали.)

По замыслу, A / B-тестирование использует грубый, универсальный подход к оптимизации, который, вероятно, не идеален ни для кого. Несомненно, это может значительно повысить необработанные показатели конверсии. Но иногда в нем отсутствует нюанс, которого могут ожидать маркетологи, ориентированные на рост, одержимые сегментацией, персонализацией и таргетингом.

Альтернативы A / B-тестирования: использование интеллектуального трафика

Допустим, вам нравится идея оптимизации целевых страниц для увеличения количества конверсий, но вы не можете преодолеть одно из препятствий, которые мы только что обсудили.Как вы продвигаетесь?

Машинное обучение, к счастью, может помочь вам повысить коэффициент конверсии без высокой планки для входа в A / B-тестирование. Например, использование такого инструмента, как Unbounce’s Smart Traffic, позволяет небольшим командам автоматически оптимизировать свои целевые страницы (или, как любят говорить компьютерщики, автоматически), заставляя искусственный интеллект выполнять ту работу, которую не может сделать человек по маркетингу.

Выполняя контекстное бандитское тестирование вместо A / B-тестирования, Smart Traffic позволяет вам увидеть результаты всего за 50 посетителей, при этом средний рост конверсии составляет около 30% .Никогда не нужно короновать чемпиона, потому что ИИ направляет каждого посетителя к тому варианту целевой страницы, который с наибольшей вероятностью их конвертирует — на основе их собственного уникального контекста. Больше никаких универсальных решений.

Как это работает:

• Вы создаете один или несколько вариантов, изменяя все, что хотите. В отличие от A / B-тестирования, вы не ограничены только одним изменением за раз — и добавление более одного варианта существенно не замедлит ваше время на оптимизацию. (Вот ресурс о создании вариантов целевой страницы для Smart Traffic, чтобы вы могли начать работу.)
• Задайте цель конверсии и включите ее. Вы решаете, что считается конверсией в конструкторе Unbounce, а затем включаете Smart Traffic в качестве предпочтительного метода оптимизации. Он сразу начинает работать.
• Умный трафик оптимизируется автоматически. Прелесть этого подхода в том, что он относительно безопасен. После включения Smart Traffic он продолжает учиться и оптимизироваться на протяжении всей вашей кампании.

Из-за того, насколько легко они оптимизируют, инструменты на основе ИИ должны стать большей частью вашего маркетингового стека.