Что такое A/B-тестирование? | Oracle СНГ

Определение A/B-тестирования

A/B тестирование, также называемое сплит-тестированием или тестированием в группах, позволяет сравнить производительность двух версий контента, чтобы увидеть, какая из них больше привлекает посетителей/зрителей. Вы тестируете контрольную версию (A) против варианта (B), чтобы определить, какой из них более результативен с точки зрения метрик, которые важны для вас. Как специалист по цифровому маркетингу, работающий как в сегменте B2B или B2C вы можете проводить следующие варианты A/B-тестов:

• A/B-тестирование веб-сайта ( текст, изображения, цветовое оформление, призывы к действию), которое разделяет трафик между двумя версиями: A и B. Вы отслеживаете действия посетителей, чтобы определить, какая версия обеспечивает наибольшее количество 1) конверсий или 2) посетителей, совершивших нужное вам действие.
• A/B-тестирование в email-маркетинге (строка темы, изображения, призывы к действию), которое разбивает получателей на два сегмента, чтобы определить, какая версия обеспечивает более высокий показатель открываемости.
• Контент, отобранный редакторами, или контент, отобранный алгоритмом на основе поведения пользователей, чтобы увидеть, какой из них обеспечивает наибольшую вовлеченность.

Независимо от направленности A/B-тестирование помогает определить, как обеспечить наилучший клиентский опыт (CX).

Помимо A/B-тестов, существуют также A/B/N-тесты, где «N» означает «неизвестно». A/B/N-тест — это тип тестирования с более чем двумя вариантами.

Подробнее о решении Oracle для тестирования и оптимизации сайта

Когда и зачем выполнять A/B-тестирование

A/B-тестирование приносит наибольшую пользу, когда оно проводится постоянно. Регулярный поток тестов может обеспечить поток рекомендаций по тонкой настройке производительности. А непрерывное тестирование возможно потому, что доступные варианты тестирования практически безграничны.

Как отмечалось выше, A/B-тестирование можно использовать для оценки практически любого ресурса цифрового маркетинга:

• сообщения электронной почты
• новостная рассылка
• реклама
• текстовые сообщения
• страницы веб-сайтов
• компоненты на веб-страницах
• мобильные приложения

A/B-тестирование играет важную роль в управлении кампанией, поскольку оно помогает определить, что работает, а что нет. Оно показывает, что интересует вашу аудиторию и на что она откликается. A/B-тестирование помогает понять, какой элемент вашей маркетинговой стратегии оказывает наибольшее воздействие, что нужно улучшить, а что — удалить.

До сих пор мы отвечали на вопрос зачем проводить A/B-тестирование. А теперь рассмотрим два критерия, когда проводить такое тестирование.

• У вас есть цифровая маркетинговая кампания или элемент, который не работает так, как вам хотелось бы. A/B-тестирование позволяет выявить проблемы с производительностью и повысить эффективность.
• Вы собираетесь запустить что-то новое (веб-страницу, кампанию по электронной почте) и не уверены, какой подход (например, рассылка сообщений) будет работать лучше всего. Проактивное использование A/B-тестирования позволит вам сравнить и сопоставить результативность двух разных подходов, чтобы определить лучший из них.

Преимущества тестирования A/B на веб-сайте

A/B-тестирование веб-сайта — это отличный способ количественно определить тактику, которая лучше всего работает для посетителей вашего сайта. Вы можете просто подтвердить свою догадку, или же ваша догадка может оказаться ошибочной. Однако в этом есть и положительная сторона, потому что вы не будете придерживаться того, что не работает. Вы привлечете больше посетителей, которые проведут больше времени на вашем сайте и перейдут по большему количеству ссылок.

Тестируя широко используемые компоненты/разделы сайта, вы можете сделать выводы, которые улучшат не только тестовую страницу, но и другие подобные страницы.

Как выполняется A/B-тестирование?

A/B-тестирование не является сложным, но оно требует от маркетологов соблюдения четко определенного процесса. Вот эти девять основных шагов.

Основные шаги по планированию и выполнению A/B-тестирования

• 1. Измерение и анализ исходного уровня результативности
• 2. Определите цель тестирования, используя ориентиры по результативности
• 3. Разработайте гипотезу о том, как ваше тестирование улучшит результативность
• 4. Определите цели теста или места
• 5. Создайте версии A и B для тестирования
• 6. Использование инструмент контроля качества для проверки конфигурации
• 7. Проведите тестирование
• 8. Отслеживайте и оценивайте результаты с помощью веб-аналитики и анализа тестирования
• 9. Используйте выводы, чтобы улучшить клиентский опыт

Следуя приведенным выше шагам и имея четкие цели и гипотезы, вы сможете избежать распространенных ошибок A/B-тестирования.

Тестирование позволяет получить данные и эмпирические доказательства, которые помогут вам оптимизировать и улучшить результативность. Использование результатов A/B-тестирования поможет вам добиться большего эффекта, создать более привлекательный клиентский опыт (CX), написать более убедительный текст и создать более захватывающий визуальный контент. По мере постоянной оптимизации ваши маркетинговые стратегии станут более эффективными, что приведет к увеличению окупаемости инвестиций и доходов.

Примеры A/B-тестирования

Список элементов цифрового маркетинга, которые можно протестировать, включает один или несколько следующих элементов:

• Ссылки для перехода
• Призывы к действию (CTA)
• Дизайн и создание макета
• Текст
• Предложение контента
• Заголовок
• Строка темы сообщения электронной почты
• Запоминающийся адрес электронной почты отправителя
• Изображения
• Кнопки социальных сетей (или другие кнопки)
• Логотипы и подписи/слоганы

Ваши бизнес-цели, цели и базовые показатели результативности, а также текущий комплекс маркетинговых кампаний помогут вам определить лучших кандидатов для тестирования.

Роль аналитики в A/B-тестировании веб-сайтов

На протяжении всего жизненного цикла любого A/B-тестирования аналитика лежит в основе планирования, проведения и рекомендаций по эффективности.

Разработка гипотезы тестирования требует прочного фундамента аналитики.

Необходимо понимать текущую результативность и уровень трафика. Например, для веб-аналитики есть несколько ключевых точек данных, которые ваша система аналитики предоставит в процессе планирования, включая:

• Трафик (просмотры страниц, уникальные посетители) для страницы, компонента или другого элемента, который рассматривается для сценариев тестирования
• Вовлеченность (затраченное время, количество страниц за визит, показатель отказов)
• Конверсии (клики, регистрации, отказ)
• Динамика показателей с течением времени

Без такой основы в аналитике любой сценарий тестирования или оценка эффективности, скорее всего, будут основаны на личных предпочтениях или впечатлениях. Тестирование часто доказывает, что эти предположения неверны.

После запуска A/B-тестирования аналитика также играет центральную роль. Информационная панель используется для мониторинга показателей эффективности в режиме реального времени, для подтверждения того, что тестирование проходит в соответствии с ожиданиями, и для реагирования на любые аномалии или неожиданные результаты.

Это может включать остановку теста, внесение корректировок и повторный запуск, а также обеспечение того, чтобы данные о производительности отражали любые изменения, а также время возникновения этих изменений. Панель мониторинга результативности помогает определить, как долго следует выполнять тестирование и как обеспечить статистическую значимость.

После прохождения теста аналитика данных — основа для определения следующих действий. Например, с их помощью можно решить, станет ли победитель теста стандартным представлением на странице сайта, которая тестировалась, и будет ли это постоянным стандартом. Маркетологам следует разработать многократно используемый шаблон аналитики для передачи результатов тестирования и адаптировать этот шаблон для отражения конкретных элементов конкретного теста.

Сведения о решении Oracle для поведенческой аналитики

Дополнительные сведения об A/B- тестировании для электронной почты

Как интерпретировать результаты A/B-тестирования

При планировании теста важно определить цели, чтобы вы могли оценить результаты, определить победителя и обновить маркетинговую кампанию и/или веб-сайт, чтобы отразить результат. Во многих случаях при сегментации аудитории выделяется контрольная группа, которая получает победившую версию сообщения.

Результаты тестирования покажут успешность одного элемента по сравнению с другим на основе того, что вы решили измерить, например:

• количество посетителей
• количество открытий
• кликабельность
• количество подписчиков (на рассылки и так далее)
• подписки

Во время тестирования эти два элемента отслеживаются до тех пор, пока не будет достигнут статистически значимый результат.

Коэффициент конверсии также может быть измерен с точки зрения дохода. Вы можете учитывать показатели продаж, а также влияние изменений на фактический доход от продаж. Помните, что коэффициенты конверсии могут быть получены для любого измеримого действия и не ограничиваются интернет-магазинами и продажами. Они могут включать в себя:

• продажи
• созданные зацепки/регистрации
• подписку на рассылки
• нажатия по баннерной рекламе
• время, проведенное на сайте

На какие метрики следует обратить внимание при проведении A/B-тестирования?

Ответ на этот вопрос зависит от вашей гипотезы и целей. Однако вам следует сосредоточиться на метриках, которые показывают, насколько ваша аудитория вовлечена в маркетинговый контент.

Если вы тестируете веб-страницу, обратите внимание на количество уникальных посетителей, возвращающихся посетителей, сколько времени они проводят на странице, а также на показатели отказов и уходов. Для маркетинга по электронной почте важно, кто открывает письмо, и нажатия на призыв к действию.

Что такое многовариантное тестирование? Чем это отличается от A/B-тестирования?

Многомерное тестирование часто обсуждается вместе с A/B-тестированием, поэтому важно понимать, что такое многовариантное тестирование и чем оно отличается от A/B-тестирования. Эти два вида тестирования связаны между собой, но есть и явные различия

Многовариантное тестирование позволяет протестировать контент по нескольким элементам (в отличие от одного элемента при A/B-тестировании) на одной или нескольких страницах сайта или в маркетинговых кампаниях email-маркетинга, чтобы выявить комбинацию, которая обеспечивает самый высокий коэффициент конверсии.

При многомерном тестировании применяется статистическая модель для проверки комбинаций изменений, которые приводят к общему выигрышу и оптимизации сайта. Ниже приведено несколько ключевых характеристик многовариантного тестирования.

1

Широкий спектр элементов

Многовариантные тесты проводятся для целого ряда изменений на сайте/электронной почте, включая все элементы предложения, такие как изображения, текст, цвет, шрифт, ссылки и кнопки призыва к действию, наряду с контентом и макетом целевых страниц или процессов, таких как оформление заказа. Нередко многовариантное тестирование включает более 50 и более комбинаций.

2

От гипотезы до результатов

Многовариантное тестирование начинается с выдвижения гипотезы об изменениях в контенте, которые могут улучшить показатели конверсии. При многовариантном тестировании изменения контента можно разбить на множество отдельных элементов, чтобы определить комбинации, обеспечивающие максимальную конверсию. Будь то незначительные изменения или значительные изменения в пользовательском опыте, любые из них могут повлиять на общие результаты.

3

Коэффициенты конверсии

Коэффициент конверсии — это показатель, отражающий выполнение посетителями нужного вам действия, такого как нажатия на предложение или добавление товаров в корзину. Для оценки результатов теста используются дополнительные показатели, такие как доход с одного заказа или кликабельность. Анализ данных позволит понять, какая комбинация изменений дала наилучшие результаты, основываясь на коэффициенте конверсии или приросте метрик, которые вы определили.

4

Непрерывная оптимизация

Поскольку вы можете определить бизнес-цель, для достижения которой тест определяет наилучший опыт для посетителей, рассмотрите возможность позволить программному обеспечению автоматически оптимизировать опыт для теста.

Можно ли выполнять A/B-тестирование и многовариантное тестирование в приложениях для iOS и Android?

В 2020 году на долю мобильных приложений пришлось 2,9 триллиона долларов США расходов на электронную коммерцию. Ожидается, что к концу 2021 года эта цифра увеличится еще на один триллион. И этот рост выходит за рамки розничной и электронной коммерции. Доля мобильных устройств в общем объеме онлайн-трафика продолжает расти гораздо быстрее, чем доля настольных компьютеров, поскольку во многих странах мобильные телефоны более доступны, чем ноутбуки. Поэтому всё чаще люди начинают и заканчивают путь к покупке в приложениях iOS или Android. Однако, учитывая маленький экран, показатель незавершенных покупок выше на мобильных устройствах (87 %) по сравнению с настольными компьютерами/ноутбуками (73 %).

Поэтому оптимизация мобильного опыта важна как никогда, но, учитывая ограничения, связанные с приложениями для iOS и Android, вам нужны подходящие инструменты.

Посмотрите видео ниже, чтобы узнать больше.

Сегментация посетителей и кластеризация сегментов в многовариантном тестировании

Один опыт может не подходить для всех посетителей/получателей. Важным преимуществом многовариантного тестирования является возможность определить сегменты посетителей и то, как они работают/взаимодействуют с различным опытом. Например, вы можете определить, что новые посетители предпочитают другой опыт, чем повторные посетители, и это может дать лучшие общие результаты. Более сложные системы автоматически предлагают сегментировать посетителей, чтобы сократить время, необходимое для анализа результатов тестирования по сотням атрибутов посетителей.

Нацеливание различного опыта на разные сегменты посетителей значительно повысит коэффициент конверсии. Настраивайте таргетинг на основе множества атрибутов посетителей — от окружающей среды до поведения — и включайте атрибуты клиентов из других систем, таких как Ваша CRM-система.

Когда проводить A/B-тестирование или многовариантное тестирование? Вот в чем вопрос.

A/B-тестирование — отличный инструмент, но если есть более двух вариантов, которые необходимо протестировать для определения «наилучшего опыта», то вместо A/B-тестирования лучше провести многовариантное тестирование.

Тесты с более чем двумя вариантами требуют больше времени для проведения и не покажут ничего о взаимодействии между переменными на одной странице. Однако результаты A/B-тестирования удобны для понимания, и оно может стать хорошим способом познакомить скептиков с концепциями оптимизации веб-сайтов и кампаний или показать измеримое влияние изменений в дизайне.

Многовариантное тестирование чрезвычайно полезно для ресурса (страница сайта или электронное письмо), где необходимо сравнить несколько элементов, например различные комбинации изображений и броских заголовков. Однако большое количество вариантов требует более высокого трафика. Поэтому не стоит тестировать все элементы на странице. Когда меняется слишком много элементов страницы, это приводит к слишком большому количеству комбинаций. Например, проведение теста на 10 различных элементах может привести к более чем трем с половиной миллионам комбинаций. Большинство веб-сайтов и кампаний по электронной почте с трудом найдут трафик, способный поддержать такое количество.

A/B тест — это просто / Хабр

A/B тестирование — это мощный маркетинговый инструмент для повышения эффективности работы вашего интернет-ресурса. С помощью A/B тестов повышают конверсию посадочных страниц, подбирают оптимальные заголовки объявлений в рекламных сетях, улучшают качество поиска.

Мне часто приходится сталкиваться с задачами организации A/B тестирования в различных интернет-проектах. В этой статье хочу поделиться необходимыми базовыми знаниями для проведения тестов и анализа результатов.

Зачем нужны А/B тесты?

Итак, представим ситуацию, наш проект запущен в жизнь, на нем собирается трафик, пользователи активно используют ресурс. И в один прекрасный день мы решили что-то поменять, например, разместить всплывающий виджет для удобства подписки на новости.

Наше решение — это интуитивное предположение о том, что пользователям ресурса станет проще подписываться на новые материалы, мы ожидаем повышения числа подписчиков.

Наши предположения и гипотезы строятся на основе личного опыта и наших взглядов, которые совсем не обязательно совпадают со взглядами аудитории нашего ресурса. Другими словами, наше предположение вовсе не означает, что после внесения изменений мы получим желаемый эффект. Для проверки таких гипотез мы и проводим A/B тесты.

Как проводим тесты?

Идея A/B тестирования очень проста. Пользователи ресурса случайным образом делятся на сегменты. Один из сегментов остается без изменений — это контрольный сегмент “A”, на основе данных по этому сегменту мы будем оценивать эффект от вносимых изменений. Пользователям из сегмента “B” показываем измененную версию ресурса.

Чтобы получить статистически значимый результат, очень важно исключить влияние сегментов друг на друга, т.е. пользователь должен быть отнесен строго к одному сегменту. Это можно сделать, например, записав метку сегмента в cookies браузера.

Для снижения влияния внешних факторов, таких как рекламные кампании, день недели, погода или сезонность, замеры в сегментах важно делать параллельно, т.е. в один и тот же период времени.

Кроме того, очень важно исключить и внутренние факторы, которые также могут существенно исказить результаты теста. Таким факторами могут быть действия операторов call-центра, служба поддержки, работа редакции, разработчики или администраторы ресурса. В Google Analytics для этого можно воспользоваться фильтрами.

Число пользователей в сегментах не всегда удается сделать равным, в связи с этим метрики, как правило, выбираются относительные, т.е. без привязки к абсолютным значениям аудитории в сегменте. Нормирование осуществляется либо на число посетителей, либо на число просмотров страниц. Например, такими метриками могут быть средний чек или CTR ссылки.

Одной из причин делить аудиторию непропорционально может быть существенное изменение в интерфейсе. Например, полное обновление устаревшего дизайна сайта, изменение системы навигации или добавление всплывающей формы для сбора контактной информации. Такие изменения могут привести как к положительным, так и к отрицательным эффектам в работе ресурса.

Если есть опасение, что изменение может иметь сильное негативное влияние, например, привести к резкому оттоку аудитории, то, на первом этапе, имеет смысл тестовый сегмент делать не очень большим. В случае отсутствия негативного эффекта, размер тестового сегмента можно постепенно увеличить.

Что улучшаем?

Если вы собираетесь провести A/B тестирование на своем ресурсе, то наверняка у вашего проекта уже сформированы основные показатели, которые необходимо улучшить. Если таких показателей еще нет, тогда самое время о них задуматься.

Показатели прежде всего определяются целями проекта. Ниже приведу несколько популярных метрик, которые используются в интернет-проектах.

Конверсия

Конверсия вычисляется как доля от общего числа посетителей, совершивших какое-либо действие. Действием может быть заполнение формы на посадочной странице, совершение покупки в интернет-магазине, регистрация, подписка на новости, клик на ссылку или блок.

Экономические метрики

Как правило, эти метрики применимы для интернет-магазинов: величина среднего чека, объем выручки, отнесенный на число посетителей интернет-магазина.

Поведенческие факторы

К поведенческим факторам относят оценку заинтересованности посетителей в ресурсе. Ключевыми метриками являются: глубина просмотра страниц — число просмотренных страниц, отнесенное к числу посетителей на сайте, средняя продолжительность сессии, показатель отказов — доля пользователей, покинувших сайт сразу после первого захода, коэффициент удержания (можно считать, как 1 минус % новых пользователей).

Одного показателя не всегда достаточно для оценки эффекта от вносимых изменений. Например, после изменений на сайте интернет-магазина средний чек может уменьшиться, но общая выручка вырасти за счет повышения конверсии посетителя в покупателя. В связи с этим, важно контролировать несколько ключевых показателей.

Анализ результатов

Отлично, ключевые показатели определены, тест запущен и мы получили первые данные. В этот момент, особенно если данные соответствуют нашим ожиданиям, возникает соблазн сделать поспешные выводы о результатах тестирования.

Торопиться не стоит, значения наших ключевых показателей могут меняться день ото дня — это значит, что мы имеем дело со случайными величинами. Для сравнения случайных величин оценивают средние значения, а для оценки среднего значения требуется некоторое время, чтобы накопить историю.

Эффект от внесения изменения определяют как разность между средними значениями ключевого показателя в сегментах. Тут возникает следующий вопрос, насколько мы уверены в достоверности полученного результата? Если мы еще раз проведем тест, то какова вероятность того, что мы сможем повторить результат?

Ниже на картинках приведены примеры распределения значений показателя в сегментах.

Графики распределения характеризуют частоту появления того или иного значения случайной величины в выборке. В данном случае все значения распределены вокруг среднего.

На обеих картинках средние значения показателя в соответствующих сегментах одинаковы, картинки отличаются только разбросом значений.

Данный пример хорошо иллюстрирует, что разности средних значений недостаточно для того, чтобы считать результат достоверным, необходимо также оценить площадь пересечения распределений.

Чем меньше пересечение, тем с большей уверенностью мы можем сказать, что эффект действительно значим. Эта “уверенность” в статистике называется значимостью результата.

Как правило, для принятия положительного решения об эффективности изменений уровень значимости выбирают равным 90%, 95% или 99%. Пересечение распределений при этом равно соответственно 10%, 5% или 1%. При невысоком уровне значимости существует опасность сделать ошибочные выводы об эффекте, полученном в результате изменения.

Несмотря на важность этой характеристики, в отчетах по A/B тестам, к сожалению, часто забывают указать уровень значимости, при котором был получен результат.

Кстати, на практике примерно 8 из 10 A/B тестов не являются статистически значимыми.

Стоит отметить, что чем больше объем трафика в сегментах, тем меньше разброс среднесуточных значений показателя. При небольшом трафике из-за большего разброса значений случайной величины потребуется больше времени для проведения эксперимента, но в любом случае это лучше, чем вовсе не проводить эксперимент.

Оценить значимость результатов

Для сравнения случайных величин математики придумали целый раздел под названием проверка статистических гипотез. Гипотез всего две: “нулевая” и “альтернативная”. Нулевая гипотеза предполагает, что разница между средними значениями показателя в сегментах незначительна. Альтернативная гипотеза предполагает наличие существенной разницы между средними значениями показателя в сегментах.

Для проверки гипотез существует несколько статистических тестов. Тесты зависят от характера измеряемого показателя. В общем случае, если мы считаем среднесуточные значения, можно воспользоваться тестом Стьюдента. Этот тест хорошо зарекомендовал себя для небольших объемов данных, т.к. учитывает размер выборки при оценке значимости.

В качестве примера приведу сравнение средней длительности сессии в сегментах на одном из ресурсов, для которых я проводил эксперимент: studentttest.xls.

Тест Стьюдента — универсален, его можно применять как для измерений конверсии, так и для таких количественных показателей как средний чек, средняя глубина просмотра или время, проведенное пользователем на сайте.

В случае, если вы измеряете только конверсию, то вы имеете дело с бинарной слуайной величиной, которая принимает только два значения: посетитель “сконвертировался” и “не сконвертировался”. Для оценки статистической значимости в этом случае можно воспользоваться он-лайн калькулятором.

Инструменты

Для организации теста необходим инструмент, позволяющий разметить аудиторию по сегментам и посчитать значения ключевых показателей отдельно в каждом сегменте.

Если ваши ресурсы позволяют, то такой инструмент можно реализовать самостоятельно на основе анализа логов действий пользователей. Если ресурсы ограничены, то стоит воспользоваться сторонним инструментом. Например, в Google Analytics есть возможность задавать пользовательские сегменты.

Существует ряд сервисов, которые позволяют полностью автоматизировать процесс тестирования, например, тотже Google Analytics Experiements, примеры других сервисов можно найти в обзоре.

А дальше?

В статье приведены базовые знания, необходимые для проведения A/B тестов и анализа результатов. Следующий шаг — это продуктовая аналитика. В завершении хочу поделиться ссылкой на отличную презентацию по продуктовой аналитике с примерами A/B тестирования от Курышева Евгения.

Что такое A/B-тестирование? — Optimizely

---

Что такое A/B-тестирование?

A/B-тестирование (также известное как сплит-тестирование или групповое тестирование) — это методология сравнения двух версий веб-страницы или приложения друг с другом, чтобы определить, какая из них работает лучше. A/B-тестирование — это, по сути, эксперимент, в котором два или более варианта страницы демонстрируются пользователям случайным образом, а статистический анализ используется для определения того, какой вариант лучше работает для заданной цели конверсии.

Запуск A/B-теста, который напрямую сравнивает вариант с текущим опытом, позволяет задавать конкретные вопросы об изменениях на вашем веб-сайте или в приложении, а затем собирать данные о влиянии этих изменений.

Тестирование избавляет от догадок при оптимизации веб-сайта и позволяет принимать решения на основе данных, которые переводят деловые разговоры с «мы думаем» на «мы знаем». Измеряя влияние изменений на ваши показатели, вы можете убедиться, что каждое изменение приводит к положительным результатам.

Как работает A/B-тестирование

В A/B-тестировании вы берете веб-страницу или экран приложения и модифицируете его, чтобы создать вторую версию той же страницы. Это изменение может быть таким же простым, как один заголовок, кнопка или полная переделка страницы. Затем половине вашего трафика показывается исходная версия страницы (известная как контрольная или A), а половине — измененная версия страницы (вариант или B).

По мере того, как посетители получают либо контрольную, либо вариативную версию, их взаимодействие с каждым опытом измеряется и собирается на информационной панели, а затем анализируется с помощью статистического механизма. Затем вы можете определить, имело ли изменение опыта (вариация или Б) положительный, отрицательный или нейтральный эффект по сравнению с базовым уровнем (контроль или А).

Зачем вам нужно A/B-тестирование

A/B-тестирование позволяет отдельным лицам, командам и компаниям вносить осторожные изменения в свой пользовательский опыт, одновременно собирая данные о воздействии, которое оно оказывает. Это позволяет им строить гипотезы и узнавать, какие элементы и оптимизации их опыта больше всего влияют на поведение пользователей. С другой стороны, можно доказать их неправоту — их мнение о наилучшем опыте для данной цели может быть доказано ошибочным с помощью A/B-тестирования.

Больше, чем просто ответ на разовый вопрос или урегулирование разногласий, A/B-тестирование может использоваться для постоянного улучшения данного опыта или улучшения одной цели, такой как оптимизация коэффициента конверсии (CRO) с течением времени.

Технологическая компания B2B может захотеть улучшить качество и объем потенциальных клиентов с помощью целевых страниц кампании. Для достижения этой цели команда попробует провести A/B-тестирование изменений в заголовке, строке темы, полях формы, призыве к действию и общем макете страницы, чтобы оптимизировать для снижения показателя отказов, увеличения количества конверсий и потенциальных клиентов и улучшения показатель кликабельности.

Тестирование одного изменения за раз помогает определить, какие изменения повлияли на поведение посетителей, а какие нет. Со временем они могут объединить эффект нескольких выигрышных изменений из экспериментов, чтобы продемонстрировать измеримое улучшение нового опыта по сравнению со старым.

Этот метод внесения изменений в взаимодействие с пользователем также позволяет оптимизировать взаимодействие для достижения желаемого результата и может сделать важные этапы маркетинговой кампании более эффективными.

Тестируя текст объявления, маркетологи могут узнать, какие варианты привлекают больше кликов. Тестируя следующую целевую страницу, они могут узнать, какой макет лучше всего конвертирует посетителей в клиентов. Общие расходы на маркетинговую кампанию можно реально уменьшить, если элементы каждого шага работают максимально эффективно для привлечения новых клиентов.

A/B-тестирование также может использоваться разработчиками и дизайнерами продуктов для демонстрации влияния новых функций или изменений на взаимодействие с пользователем. Адаптация продукта, взаимодействие с пользователем, модальные окна и взаимодействие с продуктом — все это можно оптимизировать с помощью A/B-тестирования, если цели четко определены и у вас есть четкая гипотеза.

Процесс A/B-тестирования

Ниже представлена ​​структура A/B-тестирования, которую можно использовать для запуска тестов:

• Собрать данные: Ваш аналитический инструмент (например, Google Analytics) часто дает представление о том, с чего начать оптимизацию. Это помогает начать с областей с высокой посещаемостью вашего сайта или приложения, чтобы вы могли быстрее собирать данные. Для оптимизации коэффициента конверсии обязательно ищите страницы с высоким показателем отказов или отказов, которые можно улучшить. Также обращайтесь к другим источникам, таким как тепловые карты, социальные сети и опросы, чтобы найти новые области для улучшения.

• Определение целей: Цели конверсии — это показатели, которые вы используете, чтобы определить, является ли вариант более успешным, чем исходная версия. Цели могут быть любыми: от нажатия кнопки или ссылки до покупки продукта.

• Создание тестовой гипотезы: После того, как вы определили цель, вы можете начать генерировать идеи A/B-тестирования и проверять гипотезы, почему вы думаете, что они будут лучше, чем текущая версия. Когда у вас есть список идей, определите их приоритетность с точки зрения ожидаемого воздействия и сложности реализации.

• Создайте различные варианты: С помощью программного обеспечения для A/B-тестирования (например, Optimizely Experiment) внесите необходимые изменения в элемент своего веб-сайта или мобильного приложения. Это может быть изменение цвета кнопки, изменение порядка элементов в шаблоне страницы, скрытие элементов навигации или что-то совершенно индивидуальное. Многие ведущие инструменты A/B-тестирования имеют визуальный редактор, который упрощает эти изменения. Обязательно протестируйте свой эксперимент, чтобы убедиться, что разные версии соответствуют ожиданиям.

• Запустите эксперимент: Начните свой эксперимент и дождитесь участия посетителей! На этом этапе посетители вашего сайта или приложения будут случайным образом распределены либо по элементу управления, либо по варианту вашего опыта. Их взаимодействие с каждым опытом измеряется, подсчитывается и сравнивается с базовым уровнем, чтобы определить, как работает каждый.

• Дождитесь результатов теста: В зависимости от размера вашей выборки (целевой аудитории) получение удовлетворительного результата может занять некоторое время. Хорошие результаты эксперимента подскажут вам, когда результаты статистически значимы и заслуживают доверия. В противном случае было бы трудно сказать, действительно ли ваше изменение оказало влияние.

• Анализ результатов: После завершения эксперимента пришло время проанализировать результаты. Ваше программное обеспечение для A/B-тестирования представит данные эксперимента и покажет вам разницу между эффективностью двух версий вашей страницы и наличием статистически значимой разницы. Важно получить статистически значимые результаты, чтобы вы были уверены в результате теста.

Если ваш вариант выиграл, поздравляем 🎉! Посмотрите, сможете ли вы применить результаты эксперимента на других страницах вашего сайта, и продолжайте повторять эксперимент, чтобы улучшить свои результаты. Если ваш эксперимент дал отрицательный результат или не дал никакого результата, не волнуйтесь. Используйте эксперимент как опыт обучения и сформулируйте новую гипотезу, которую вы сможете проверить.

Каким бы ни был результат вашего эксперимента, используйте свой опыт для информирования будущих тестов и постоянно оптимизируйте работу своего приложения или сайта.

Результаты A/B-тестирования

В зависимости от типа веб-сайта или приложения, которое вы тестируете, цели будут различаться. Например, розничный веб-сайт будет проводить больше тестов для оптимизации покупок, тогда как веб-сайт B2B может проводить больше экспериментов для оптимизации потенциальных клиентов.

Это также означает, что ваши результаты будут выглядеть по-разному в зависимости от типа вашего сайта или приложения. Как правило, цели устанавливаются перед началом A/B-тестирования и оцениваются в конце. Некоторые инструменты A/B-тестирования позволяют вам просматривать результаты в режиме реального времени по мере их поступления или изменять цели ваших тестов после завершения эксперимента.

Панель результатов тестирования показывает 2 (или более) варианта, их соответствующую аудиторию и достижение цели. Допустим, вы оптимизируете клики по призыву к действию (CTA) на веб-сайте, типичный просмотр будет содержать посетителей и клики, а также коэффициент конверсии — процент посетителей, которые привели к конверсии.

Сегментация A/B-тестов

Крупные сайты и приложения часто используют сегментацию для своих A/B-тестов. Если количество посетителей достаточно велико, это ценный способ проверить изменения для определенных групп посетителей. Обычный сегмент, используемый для A/B-тестирования, — разделение новых посетителей и постоянных посетителей. Это позволяет тестировать изменения в элементах, которые применяются только для новых посетителей, таких как формы регистрации.

С другой стороны, распространенная ошибка A/B-тестирования заключается в том, что для тестов создается слишком маленькая аудитория. Поэтому может потребоваться много времени, чтобы получить статистически значимые результаты и сказать, какое влияние ваше изменение оказало на конкретных посетителей веб-сайта. Поэтому важно проверить, насколько велики ваши сегменты, прежде чем начинать эксперимент, чтобы предотвратить ложные срабатывания.

A/B-тестирование и SEO

Google разрешает и поощряет A/B-тестирование и заявляет, что выполнение A/B-тестирования или многовариантного тестирования не представляет неотъемлемого риска для поискового рейтинга вашего сайта. Однако можно поставить под угрозу ваш поисковый рейтинг, злоупотребив инструментом A/B-тестирования в таких целях, как маскировка. Google сформулировал некоторые рекомендации, чтобы этого не произошло:

• Нет маскировки: Маскировка — это практика показа поисковым системам контента, отличного от того, который мог бы увидеть обычный посетитель. Маскировка может привести к тому, что ваш сайт будет понижен или даже удален из результатов поиска. Чтобы предотвратить маскировку, не злоупотребляйте сегментацией посетителей, чтобы отображать другой контент для робота Googlebot на основе пользовательского агента или IP-адреса.

• Используйте rel=»canonical»: Если вы запускаете сплит-тест с несколькими URL-адресами, вы должны использовать атрибут rel=»canonical», чтобы указать варианты на исходную версию страницы. Это поможет роботу Googlebot не запутаться в нескольких версиях одной и той же страницы.

• Используйте перенаправления 302 вместо 301: Если вы запускаете тест, который перенаправляет исходный URL-адрес на альтернативный URL-адрес, используйте перенаправление 302 (временное) вместо перенаправления 301 (постоянное). Это сообщает поисковым системам, таким как Google, что перенаправление является временным и что они должны оставить в индексе исходный URL-адрес, а не тестовый URL-адрес.

Медиа-компания может захотеть увеличить количество читателей, увеличить количество времени, которое читатели проводят на своем сайте, и расширить свои статьи с помощью социальных сетей. Для достижения этих целей они могут тестировать варианты:

• Модальные формы регистрации по электронной почте
• Рекомендуемое содержимое
• Кнопки социальных сетей

Туристическая компания может захотеть увеличить количество успешных бронирований, выполненных на своем веб-сайте или в мобильном приложении, или увеличить доход от дополнительных покупок. Чтобы улучшить эти показатели, они могут протестировать следующие варианты:

• Модальные окна поиска на главной странице
• Страница результатов поиска
• Презентация вспомогательного продукта

Компания электронной коммерции может захотеть улучшить качество обслуживания клиентов, что приведет к увеличению количества совершенных покупок, средней стоимости заказа или увеличению продаж в праздничные дни. Для этого они могут провести A/B-тестирование:

• Рекламные акции на главной странице
• Элементы навигации
• Компоненты кассовой воронки

Технологическая компания может захотеть увеличить количество потенциальных клиентов для своего отдела продаж, увеличить количество пользователей с бесплатным пробным периодом или привлечь определенного типа покупателей. Они могут проверить:

• Поля формы для потенциальных клиентов
• Процедура регистрации бесплатной пробной версии
• Обмен сообщениями и призыв к действию на главной странице

Примеры A/B-тестирования

Эти тематические исследования A/B-тестирования показывают типы результатов, которые самые инновационные компании мира получили в результате A/B-тестирования с Optimizely Experiment:

видеоплеер, чтобы участвовать в их телешоу «суперфанат». Результат? Увеличение вовлеченности видео на 6%.

Откройте для себя выигрышные варианты с помощью A/B-тестирования

Веб-экспериментация Тестирование ВВО A/B-тестирование

Создавайте и проводите A/B-тестирование различных версий своего веб-сайта, чтобы постоянно находить наиболее эффективные версии, повышающие конверсию.

Начать бесплатную пробную версию Запросить демонстрацию

Настройте свои A/B-тесты именно так, как вы хотите

VWO Testing дает вам мощные возможности для настройки ваших тестов именно так, как вы хотите, чтобы вы могли экспериментировать в масштабе.

Запустите несколько тестов одновременно

Запустите несколько тестов на своей странице с эксклюзивным распределением трафика для каждого из них, чтобы результаты ваших тестов не мешали друг другу.

Лазерный таргетинг ваших тестов

Запуск тестов на основе поведения посетителя на сайте, включая щелчок по элементу, время, проведенное на странице, прокрутку страницы и намерение выйти.

Мощный редактор для маркетологов и разработчиков

Визуальный редактор

Быстро вносите изменения в свои целевые страницы без написания кода с помощью визуального редактора VWO. Отредактируйте любой существующий элемент на своей веб-странице или добавьте новый контент. Получите рекомендации по копированию и сделайте элементы динамичными. С Визуальным редактором вам не нужно зависеть от доступности ИТ-команды, чтобы изменить страницы для A/B-тестирования.

Узнать больше

Редактор кода

Теперь ваша ИТ-команда может вносить сложные изменения с помощью HTML, CSS, JavaScript и jQuery в расширенном редакторе кода. Ты можешь легко включать библиотеки JS/CSS и определять JS/CSS на уровне кампании для создания сложных и сложные A/B-тесты.

Запустите тесты с готовыми к использованию пользовательскими виджетами

Используйте готовые настраиваемые виджеты, встроенные в визуальный редактор. Быстро добавляйте и тестируйте баннеры, модальные окна, формы, таймеры и многое другое, чтобы определить, что приводит к улучшению ваших ключевых показателей. И все это без написания ни строчки кода.

Проверьте свои гипотезы

Начните A/B-тестирование, соединив свои тесты с определенной гипотезой и связав ее со всеми исследованиями, проведенными в процессе. Гипотезы содержат указание на ваши ожидания от теста. Соединяя тесты с гипотезами, вы сможете позже увидеть, соответствуют ли фактические результаты тестирования вашим ожиданиям.

Проанализируйте эффективность своей кампании

Обратите особое внимание на эффективность ваших A/B-тестов с помощью расширенных возможностей отчетности VWO.

SmartStats

SmartStats дает интеллектуальные результаты для принятия разумных бизнес-решений и сокращает время тестирования. Это байесовский статистический механизм, созданный для маркетологов, которым необходимо принимать решения на основе бизнес-реальности, а не для ученых, работающих в идеальных лабораторных условиях.

Улучшение и вероятность стать лучшим

Посмотрите, какое улучшение коэффициента конверсии принес вариант, и какова вероятность того, что он станет лучшим вариантом.

Диапазон коэффициента конверсии

Вместо того, чтобы сообщать количество конверсий в процентах, SmartStats вычисляет с вероятностью 99% точный диапазон, в котором находится ваш коэффициент конверсии.

Отслеживание влияния по всей воронке

Отслеживание нескольких показателей A/B-тестирования для измерения его влияния на всю воронку и принятия обоснованных бизнес-решений.

Настраиваемые отчеты

Если вашим коллегам по обработке данных нужны дополнительные сведения, они могут их получить. Абсолютные потенциальные потери, графики кривой вероятности, подробные отчеты о расчетах и ​​многое другое.

Детальная сегментация

Нарезайте результаты теста, чтобы выявить скрытых победителей. Узнайте, сильно ли конверсия определенного сегмента ваших посетителей отличается от средней конверсии для конкретной цели или варианта.

Вы можете использовать 20 предварительно созданных сегментов VWO, таких как мобильный и настольный трафик или новые и вернувшиеся посетители, или использовать настраиваемые параметры, чтобы сравнить конверсию вошедших в систему посетителей и гостей или посетителей, которые видели рекламную акцию, и тех, кто этого не сделал. .

Соедините информацию о поведении с тестами

Подключенная платформа VWO предлагает уникальную возможность связывать информацию о фактическом поведении посетителей с данными и результатами тестов.

Интегрированные тепловые карты

VWO автоматически записывает тепловые карты и карты кликов для посетителей, становящихся частью ваших тестов. Наряду с данными о конверсии для вашего контроля и варианта вы можете визуально увидеть, какие части вашей целевой страницы были более интересны посетителям, которые совершили конверсию на варианте.

Записи посетителей

Хотите узнать, как различия в управлении и вариациях влияют на то, как посетители взаимодействуют с вашей целевой страницей? VWO позволяет фильтровать фактические записи посетителей, которые видели элемент управления, и сравнивать их с теми, кто видел изменение, чтобы выявить изменения в поведении.

(Требуется подписка на VWO Insights)

Проверяйте, что видят ваши посетители

Предварительный просмотр и контроль качества контроля и вариантов ваших A/B-тестов, прежде чем предлагать их своим посетителям.

Предварительный просмотр в реальном времени

Предварительный просмотр в реальном времени позволяет имитировать вариант, загружая вариант так, как он будет загружаться для реальных посетителей веб-сайта в их браузерах. Вы можете проверить варианты, ориентированные на уникальные наборы аудитории, и посмотреть, работает ли распределение трафика должным образом.

Кроссбраузерное/кросс-девайсное тестирование

Предварительный просмотр ваших вариантов на настольных компьютерах, мобильных устройствах, планшетах и ​​в различных типах веб-браузеров, чтобы гарантировать, что все ваши посетители получат наилучшие впечатления от вашего веб-сайта.

Предварительный просмотр скриншотов

См. статическую версию управления и вариации в разных браузерах. Вы можете сгруппировать эти скриншоты по вариантам или браузерам в зависимости от ваших предпочтений.

VWO Testing может предложить гораздо больше

Умные уведомления

Умные уведомления дают вам краткий обзор вашего теста. Вы можете увидеть, привело ли изменение к разумному решению, рекомендуемому действию для вашего теста и сколько времени вам нужно для запуска этого теста.

Кампании для конкретных устройств

Проведите тесты с посетителями, пришедшими с настольных компьютеров, мобильных устройств или планшетов.

Междоменное тестирование

Запускайте A/B-тесты в разных доменах и собирайте все данные в одном тесте.

Планирование

VWO позволяет запланировать запуск тестовых кампаний A/B на более позднюю дату или время в соответствии с вашими уникальными предпочтениями.

Загрузка отчетов

Загрузка данных испытаний в формате . csv для автономного анализа. Поделитесь им со своими коллегами для углубленного анализа ваших тестов.

Интеграция со сторонними приложениями

VWO интегрируется с множеством сторонних приложений, включая Google Analytics, Kissmetrics, Demandware, Magento и другие. Полный список интеграций смотрите здесь.

Сегменты с лазерным таргетингом

Используйте сегментацию посетителей VWO, чтобы указать, какая группа посетителей увидит изменение. Вы можете выбирать из 20 предопределенных сегментов VWO, таких как новые и вернувшиеся посетители, параметры браузера и запроса, или создавать свои собственные пользовательские сегменты, используя сложные логические условия.

Постоянные цели

Вы можете выбрать цель из своего списка постоянных целей для измерения в тесте A/B. В дополнение к прямому влиянию A/B-тестирования на эффективность вашей цели, это также поможет вам понять, как серия A/B-тестов влияет на конверсии для конкретной цели.

Цели кампании

Хотите оптимизировать цель для этого A/B-теста? Определите новую цель при создании A/B-теста, и VWO проанализирует, как ваш тест повлияет на выполнение этой цели.

Потрясающий! Ваша встреча подтверждена по телефону

Спасибо, что поделились своими данными.

Шаг 1/4

Привет 👋 Давайте запланируем вашу демонстрацию

Для начала, расскажите нам немного о себе

Имя

Недействительное Имя

Фамилия

Неверная Фамилия

Рабочий адрес электронной почты

Недействительный адрес электронной почты

Номер телефона

Недействительный номер телефона

VWO может отправлять соответствующие электронные письма, пока я не откажусь от подписки.

Продолжая, вы соглашаетесь с нашими Условиями и Политикой конфиденциальности

Хотя мы предоставим демоверсию, которая охватывает всю платформу VWO, поделитесь с нами некоторыми подробностями, чтобы

персонализировал демо для вас.

Выберите возможности, на которые вы хотели бы обратить внимание во время демонстрации.

A/B-тестирование Сплит-тестирование Опросы Многовариантное тестирование Тестирование многоруких бандитов Персонализация Анализ формы Анализ поведения посетителей Воронкообразный анализ Тестирование мобильных приложений Тестирование на стороне сервера Записи сеансов Тепловые карты Развертывание/развертывание Сегментация пользователей Управление функциями Управление данными клиентов

Что из этого похоже на вас?

Я новичок в использовании продуктов для оптимизации и экспериментов. Я использовал другие продукты для оптимизации и экспериментов. Я использовал VWO в прошлом и хорошо знаю пространство.

Пожалуйста, поделитесь примерами использования, целями или потребностями, которые вы пытаетесь решить.

, все готово для знакомства с демонстрацией VWO.

Я не могу дождаться встречи с вами по телефону

Менеджер по работе с клиентами

, спасибо, что поделились подробностями. Ваш специальный представитель VWO свяжется с вами в ближайшее время, чтобы назначить время для этой демонстрации.

Мы довольны и рады, что выбрали VWO. Мы получаем ROI от наших экспериментов.

Кристофер Чельберг CRO-менеджер

VWO очень помог нам в наших усилиях по оптимизации.