Как провести A/B-тестирование: 6 простых шагов
A/B-тестирование — это неотъемлемая часть процесса работы над продуктом. Это эксперимент, который позволяет сравнить две версии чего-либо, чтобы проверить гипотезы и определить, какая версия лучше. Должны ли кнопки быть черными или белыми, какая навигация лучше, какой порядок прохождения регистрации меньше всего отпугивает пользователей? Продуктовый дизайнер из Сан-Франциско Лиза Шу рассказывает о простой последовательности шагов, которые помогут провести базовое тестирование.
Кому нужно A/B-тестирование
— Продакт-менеджеры могут тестировать изменения ценовых моделей, направленные на повышение доходов, или оптимизацию части воронки продаж для увеличения конверсии.
— Маркетологи могут тестировать изображения, призывы к действию (call-to-action) или практически любые другие элементы маркетинговой кампании или рекламы с точки зрения улучшения метрик.
— Продуктовые дизайнеры могут тестировать дизайнерские решения (например, цвет кнопки оформления заказа) или использовать результаты тестирования для того, чтобы перед внедрением определить, будет ли удобно пользоваться новой функцией.
Вот шесть шагов, которые нужно пройти, чтобы провести тестирование. В некоторые из пунктов включены примеры тестирования страницы регистрации выдуманного стартапа.
1. Определите цели
Определите основные бизнес-задачи вашей компании и убедитесь, что цели A/B-тестирования с ними совпадают.
Пример: Допустим, вы менеджер продукта в «компании X» на стадии стартапа. Руководству нужно добиться роста количества пользователей. В частности, компания стремится к росту количества активных пользователей (метрика DAU), определяемых как среднее количество зарегистрированных пользователей сайта в день за последние 30 дней. Вы предполагаете, что этого можно добиться либо путем улучшения показателей удержания (процент пользователей, возвращающихся для повторного использования продукта), либо путем увеличения числа новых регистрирующихся пользователей.
В процессе исследования воронки вы замечаете, что 60% пользователей уходят до завершения регистрации. Это означает, что можно повысить количество регистраций, изменив страницу регистрации, что, в свою очередь, должно помочь увеличить количество активных пользователей.
2. Определите метрику
Затем вам нужно определить метрику, на которую вы будете смотреть, чтобы понять, является ли новая версия сайта более успешной, чем изначальная. Обычно в качестве такой метрики берут коэффициент конверсии, но можно выбрать и промежуточную метрику вроде показателя кликабельности (CTR).
Пример: В нашем примере в качестве метрики вы выбираете долю зарегистрированных пользователей (registration rate), определяемую как количество новых пользователей, которые регистрируются, поделенное на общее количество новых посетителей сайта.
3. Разработайте гипотезу
Затем нужно разработать гипотезу о том, что именно поменяется, и, соответственно, что вы хотите проверить. Нужно понять, каких результатов вы ожидаете и какие у них могут быть обоснования.
Пример: Допустим, на текущей странице регистрации есть баннер и форма регистрации. Есть несколько пунктов, которые вы можете протестировать: поля формы, позиционирование, размер текста, но баннер на главной странице визуально наиболее заметен, поэтому сначала надо узнать, увеличится ли доля регистраций, если изменить изображение на нём.
Общая гипотеза заключается в следующем: «Если изменить главную страницу регистрации, то больше новых пользователей будут регистрироваться внутри продукта, потому что новое изображение лучше передает его ценности».
Нужно определить две гипотезы, которые помогут понять, является ли наблюдаемая разница между версией A (изначальной) и версией B (новой, которую вы хотите проверить) случайностью или результатом изменений, которые вы произвели.
— Нулевая гипотеза предполагает, что результаты, А и В на самом деле не отличаются и что наблюдаемые различия случайны. Мы надеемся опровергнуть эту гипотезу.
— Альтернативная гипотеза — это гипотеза о том, что B отличается от A, и вы хотите сделать вывод об её истинности.
Решите, будет ли это односторонний или двусторонний тест. Односторонний тест позволяет обнаружить изменение в одном направлении, в то время как двусторонний тест позволяет обнаружить изменение по двум направлениям (как положительное, так и отрицательное).
4. Подготовьте эксперимент
Для того, чтобы тест выдавал корректные результаты сделайте следующее:
— Создайте новую версию (B), отражающую изменения, которые вы хотите протестировать.
— Определите контрольную и экспериментальную группы. Каких пользователей вы хотите протестировать: всех пользователей на всех платформах или только пользователей из одной страны? Определите группу испытуемых, отобрав их по типам пользователей, платформе, географическим показателям и т. п. Затем определите, какой процент исследуемой группы составляет контрольная группа (группа, видящая версию A), а какой процент — экспериментальная группа (группа, видящая версию B). Обычно эти группы одинакового размера.
— Убедитесь, что пользователи будут видеть версии A и B в случайном порядке. Это значит, у каждого пользователя будет равный шанс получить ту или иную версию.
— Определите уровень статистической значимости (α). Это уровень риска, который вы принимаете при ошибках первого рода (отклонение нулевой гипотезы, если она верна), обычно α = 0.
05. Это означает, что в 5% случаев вы будете обнаруживать разницу между A и B, которая на самом деле обусловлена случайностью. Чем ниже выбранный вами уровень значимости, тем ниже риск того, что вы обнаружите разницу, вызванную случайностью.
— Определите минимальный размер выборки. Калькуляторы есть здесь и здесь, они рассчитывают размер выборки, необходимый для каждой версии. На размер выборки влияют разные параметры и ваши предпочтения. Наличие достаточно большого размера выборки важно для обеспечения статистически значимых результатов.
— Определите временные рамки. Возьмите общий размер выборки, необходимый вам для тестирования каждой версии, и разделите его на ваш ежедневный трафик, так вы получите количество дней, необходимое для проведения теста. Как правило, это одна или две недели.
Пример: На существующем сайте в разделе регистрации мы изменим главную страницу — это и будет нашей версией B. Мы решаем, что в эксперименте будут участвовать только новые пользователи, заходящие на страницу регистрации.
Мы также обеспечиваем случайную выборку, то есть каждый пользователь будет иметь равные шансы получить A или B, распределенные случайным образом.
Важно определить временные рамки. Допустим, ежедневно на нашу страницу регистрации в среднем приходит трафик от 10 000 новых пользователей, это означает, что только 5000 пользователей могут увидеть каждую версию. Тогда минимальный размер выборки составляет около 100 000 просмотров каждой версии. 100 000/ 5000 = 20 дней — столько должен продлиться эксперимент.
5. Проведите эксперимент
Помните о важных шагах, которые необходимо выполнить:
— Обсудите параметры эксперимента с исполнителями.
— Выполните запрос на тестовой закрытой площадке, если она у вас есть. Это поможет проверить данные. Если ее нет, проверьте данные, полученные в первый день эксперимента.
— В самом начале проведения тестирования проверьте, действительно ли оно работает.
— И, наконец, не смотрите на результаты! Преждевременный просмотр результатов может испортить статистическую значимость.
Почему? Читайте здесь.
6. Анализируйте результаты. Наконец-то самое интересное
Вам нужно получить данные и рассчитать значения выбранной ранее метрики успеха для обеих версий (A и B) и разницу между этими значениями. Если не было никакой разницы в целом, вы также можете сегментировать выборку по платформам, типам источников, географическим параметрам и т. п., если это применимо. Вы можете обнаружить, что версия B работает лучше или хуже для определенных сегментов.
Проверьте статистическую значимость. Статистическая теория, лежащая в основе этого подхода, объясняется здесь, но основная идея в том, чтобы выяснить, была ли разница в результатах между A и B связана с изменениями или это результат случайности или естественных изменений. Это определяется путем сравнения тестовых статистических данных (и полученного p-значения) с вашим уровнем значимости.
Если p-значение меньше уровня значимости, то можно отвергнуть нулевую гипотезу, имея доказательства для альтернативы.
Если p-значение больше или равно уровню значимости, мы не можем отвергнуть нулевую гипотезу о том, что A и B не отличаются друг от друга.
A/B-тестирование может дать следующие результаты:
— Контрольная версия, А выигрывает или между версиями нет разницы. Если исключить причины, которые могут привести к недействительному тестированию, то проигрыш новой версии может быть вызван, например, плохим сообщением и брендингом конкурентного предложения или плохим клиентским опытом.
В этом сценарии вы можете углубиться в данные или провести исследование пользователей, чтобы понять, почему новая версия не работает так, как ожидалось. Это, в свою очередь, поможет собрать информацию для следующих тестов.
— Версия B выигрывает. A/B-тест подтвердил вашу гипотезу о лучшей производительности версии B по сравнению с версией A. Отлично! Опубликовав результаты, вы можете провести эксперимент на всей аудитории и получить новые результаты.
Заключение
Независимо от того, был ли ваш тест успешным или нет, относитесь к каждому эксперименту как к возможности для обучения.
Используйте то, чему вы научились, для выработки вашей следующей гипотезы. Вы можете, например, использовать предыдущий тест или сконцентрироваться на другой области, требующей оптимизации. Возможности бесконечны.
A/B тест — это просто / Хабр
A/B тестирование — это мощный маркетинговый инструмент для повышения эффективности работы вашего интернет-ресурса. С помощью A/B тестов повышают конверсию посадочных страниц, подбирают оптимальные заголовки объявлений в рекламных сетях, улучшают качество поиска.
Мне часто приходится сталкиваться с задачами организации A/B тестирования в различных интернет-проектах. В этой статье хочу поделиться необходимыми базовыми знаниями для проведения тестов и анализа результатов.
Зачем нужны А/B тесты?
Итак, представим ситуацию, наш проект запущен в жизнь, на нем собирается трафик, пользователи активно используют ресурс. И в один прекрасный день мы решили что-то поменять, например, разместить всплывающий виджет для удобства подписки на новости.
Наше решение — это интуитивное предположение о том, что пользователям ресурса станет проще подписываться на новые материалы, мы ожидаем повышения числа подписчиков.
Наши предположения и гипотезы строятся на основе личного опыта и наших взглядов, которые совсем не обязательно совпадают со взглядами аудитории нашего ресурса. Другими словами, наше предположение вовсе не означает, что после внесения изменений мы получим желаемый эффект. Для проверки таких гипотез мы и проводим A/B тесты.
Как проводим тесты?
Идея A/B тестирования очень проста. Пользователи ресурса случайным образом делятся на сегменты. Один из сегментов остается без изменений — это контрольный сегмент “A”, на основе данных по этому сегменту мы будем оценивать эффект от вносимых изменений. Пользователям из сегмента “B” показываем измененную версию ресурса.
Чтобы получить статистически значимый результат, очень важно исключить влияние сегментов друг на друга, т.
е. пользователь должен быть отнесен строго к одному сегменту. Это можно сделать, например, записав метку сегмента в cookies браузера.
Для снижения влияния внешних факторов, таких как рекламные кампании, день недели, погода или сезонность, замеры в сегментах важно делать параллельно, т.е. в один и тот же период времени.
Кроме того, очень важно исключить и внутренние факторы, которые также могут существенно исказить результаты теста. Таким факторами могут быть действия операторов call-центра, служба поддержки, работа редакции, разработчики или администраторы ресурса. В Google Analytics для этого можно воспользоваться фильтрами.
Число пользователей в сегментах не всегда удается сделать равным, в связи с этим метрики, как правило, выбираются относительные, т.е. без привязки к абсолютным значениям аудитории в сегменте. Нормирование осуществляется либо на число посетителей, либо на число просмотров страниц. Например, такими метриками могут быть средний чек или CTR ссылки.
Одной из причин делить аудиторию непропорционально может быть существенное изменение в интерфейсе. Например, полное обновление устаревшего дизайна сайта, изменение системы навигации или добавление всплывающей формы для сбора контактной информации. Такие изменения могут привести как к положительным, так и к отрицательным эффектам в работе ресурса.
Если есть опасение, что изменение может иметь сильное негативное влияние, например, привести к резкому оттоку аудитории, то, на первом этапе, имеет смысл тестовый сегмент делать не очень большим. В случае отсутствия негативного эффекта, размер тестового сегмента можно постепенно увеличить.
Что улучшаем?
Если вы собираетесь провести A/B тестирование на своем ресурсе, то наверняка у вашего проекта уже сформированы основные показатели, которые необходимо улучшить. Если таких показателей еще нет, тогда самое время о них задуматься.
Показатели прежде всего определяются целями проекта.
Ниже приведу несколько популярных метрик, которые используются в интернет-проектах.
Конверсия
Конверсия вычисляется как доля от общего числа посетителей, совершивших какое-либо действие. Действием может быть заполнение формы на посадочной странице, совершение покупки в интернет-магазине, регистрация, подписка на новости, клик на ссылку или блок.
Экономические метрики
Как правило, эти метрики применимы для интернет-магазинов: величина среднего чека, объем выручки, отнесенный на число посетителей
интернет-магазина.Поведенческие факторы
К поведенческим факторам относят оценку заинтересованности посетителей в ресурсе. Ключевыми метриками являются: глубина просмотра страниц — число просмотренных страниц, отнесенное к числу посетителей на сайте, средняя продолжительность сессии, показатель отказов — доля пользователей, покинувших сайт сразу после первого захода, коэффициент удержания (можно считать, как 1 минус % новых пользователей).
Одного показателя не всегда достаточно для оценки эффекта от вносимых изменений. Например, после изменений на сайте интернет-магазина средний чек может уменьшиться, но общая выручка вырасти за счет повышения конверсии посетителя в покупателя. В связи с этим, важно контролировать несколько ключевых показателей.
Анализ результатов
Торопиться не стоит, значения наших ключевых показателей могут меняться день ото дня — это значит, что мы имеем дело со случайными величинами. Для сравнения случайных величин оценивают средние значения, а для оценки среднего значения требуется некоторое время, чтобы накопить историю.
Эффект от внесения изменения определяют как разность между средними значениями ключевого показателя в сегментах.
Тут возникает следующий вопрос, насколько мы уверены в достоверности полученного результата? Если мы еще раз проведем тест, то какова вероятность того, что мы сможем повторить результат?
Ниже на картинках приведены примеры распределения значений показателя в сегментах.
Графики распределения характеризуют частоту появления того или иного значения случайной величины в выборке. В данном случае все значения распределены вокруг среднего.
На обеих картинках средние значения показателя в соответствующих сегментах одинаковы, картинки отличаются только разбросом значений.
Данный пример хорошо иллюстрирует, что разности средних значений недостаточно для того, чтобы считать результат достоверным, необходимо также оценить площадь пересечения распределений.
Чем меньше пересечение, тем с большей уверенностью мы можем сказать, что эффект действительно значим. Эта “уверенность” в статистике называется значимостью результата.
Как правило, для принятия положительного решения об эффективности изменений уровень значимости выбирают равным 90%, 95% или 99%.
Пересечение распределений при этом равно соответственно 10%, 5% или 1%. При невысоком уровне значимости существует опасность сделать
Несмотря на важность этой характеристики, в отчетах по A/B тестам, к сожалению, часто забывают указать уровень значимости, при котором был получен результат.
Кстати, на практике примерно 8 из 10 A/B тестов не являются статистически значимыми.
Стоит отметить, что чем больше объем трафика в сегментах, тем меньше разброс среднесуточных значений показателя. При небольшом трафике из-за большего разброса значений случайной величины потребуется больше времени для проведения эксперимента, но в любом случае это лучше, чем вовсе не проводить эксперимент.
Оценить значимость результатов
Для сравнения случайных величин математики придумали целый раздел под названием проверка статистических гипотез. Гипотез всего две: “нулевая” и “альтернативная”.
Для проверки гипотез существует несколько статистических тестов. Тесты зависят от характера измеряемого показателя. В общем случае, если мы считаем среднесуточные значения, можно воспользоваться тестом Стьюдента. Этот тест хорошо зарекомендовал себя для небольших объемов данных, т.к. учитывает размер выборки при оценке значимости.
В качестве примера приведу сравнение средней длительности сессии в сегментах на одном из ресурсов, для которых я проводил эксперимент: studentttest.xls.
Тест Стьюдента — универсален, его можно применять как для измерений конверсии, так и для таких количественных показателей как средний чек, средняя глубина просмотра или время, проведенное пользователем на сайте.
В случае, если вы измеряете только конверсию, то вы имеете дело с бинарной слуайной величиной, которая принимает только два значения: посетитель “сконвертировался” и “не сконвертировался”.
Для оценки статистической значимости в этом случае можно воспользоваться он-лайн калькулятором.
Инструменты
Для организации теста необходим инструмент, позволяющий разметить аудиторию по сегментам и посчитать значения ключевых показателей отдельно в каждом сегменте.
Если ваши ресурсы позволяют, то такой инструмент можно реализовать самостоятельно на основе анализа логов действий пользователей. Если ресурсы ограничены, то стоит воспользоваться сторонним инструментом. Например, в Google Analytics есть возможность задавать пользовательские сегменты.
Существует ряд сервисов, которые позволяют полностью автоматизировать процесс тестирования, например, тотже Google Analytics Experiements, примеры других сервисов можно найти в обзоре.
А дальше?
В статье приведены базовые знания, необходимые для проведения A/B тестов и анализа результатов. Следующий шаг — это продуктовая аналитика.
В завершении хочу поделиться ссылкой на отличную презентацию по продуктовой аналитике с примерами A/B тестирования от Курышева Евгения.
Решение для A/B-тестирования электронной коммерции — VWO [Используется более чем 1000 брендами]
Компании электронной коммерции используют VWO, чтобы предвидеть опасения покупателей и проводить эксперименты для оптимизации каждого этапа своей воронки продаж.
Начать бесплатную пробную версию Запросить демонстрацию
Нам доверяют более 1000 ведущих интернет-магазинов для проведения A/B-тестирования
Примите участие в экспериментах в своем интернет-магазине, чтобы повысить качество покупок
Без ограничений, оптимизация на основе данных
A/B-тестирование, чтобы узнать, что сейчас в моде
Проводите тесты с ловкостью стартапа
Когда успех зависит от гибкости, важнее всего скорость выполнения. Будь то навигация по сайту, изображения продуктов или цены, легко протестируйте все, чтобы увидеть, что работает.
Посмотрите, как работает A/B-тестирование в VWO
Глубоко и широко экспериментируйте
Высокоэффективные результаты требуют экспериментов с высокими ставками. Чтобы запускать тесты, которые глубоко проникают в ваш стек с минимальным влиянием на производительность, реализуйте их с использованием подхода на стороне сервера.
Подробнее о тестировании на стороне сервера
Узнайте из первых рук о поведении ваших покупателей
Позвольте поведению ваших покупателей направлять ваши эксперименты
Используйте воронки, тепловые карты, записи сеансов и аналитику форм, чтобы лучше понять колебания ваших покупателей, что поможет вам генерировать более сильные A/B тестирование идей.
Узнайте, как VWO может помочь вам получить представление о покупателях
Получайте отзывы покупателей, пока они находятся в вашем магазине
Лучшая обратная связь — это то, что вы слышите прямо из уст лошади. Получайте качественную информацию непосредственно от ваших покупателей с помощью опросов на странице.
Узнайте, как собирать отзывы покупателей с помощью VWO
Внедрение новых возможностей в вашем магазине без привлечения ИТ-специалистов
Позвольте вашей ИТ-команде сосредоточиться на сложных вопросах
От редактирования страниц категорий до обновления домашней страницы — вносите изменения на веб-сайт вашего интернет-магазина без привлечения разработчиков.
Настройте свой магазин для каждого сегмента покупателей
Добавьте элементы, такие как баннеры, всплывающие окна и т. д., и предоставьте их для определенного сегмента покупателей.
Узнайте, как легко развертывать новые возможности
Мы понимаем, что делает интернет-магазин успешным
Работая с тысячами брендов, мы можем способствовать росту вашего интернет-магазина
Сокращение оттока касс путем A/B-тестирования различных вариантов
Получите полную картину того, что вызывает утечки вашей последовательности покупок, запустите всесторонние тесты, чтобы исправить то же самое, и посмотрите, как ваши показатели конверсии растут и на север.
Создайте целостный многоканальный опыт покупок
Будь то ваше мобильное приложение, настольный или мобильный веб-сайт или любая другая платформа, убедитесь, что вы предоставляете своим пользователям единообразный опыт, везде и всегда.
Откройте для себя информацию о покупателях на основе данных
По-настоящему поймите поведение ваших покупателей, собирая информацию о том, как они просматривают ваш магазин, используя возможности качественных исследований, таких как тепловые карты, записи посетителей, опросы и многое другое.
Оптимизируйте алгоритмы поиска и рекомендаций
Хотите попробовать несколько алгоритмов? Тестирование на стороне сервера позволяет протестировать любое количество поисковых, рекомендательных или других алгоритмов на эффективность и производительность.
Вернуть потерянных клиентов и покупателей витрин
Обратитесь к пользователям, которые оставили товары в своей корзине или ищут товары, но выходят без покупки.
Отправляйте им мгновенно интерактивные веб-уведомления.
История успеха
Вот как Flos USA провела сквозную оптимизацию воронки конверсии своего магазина 9.0009
Компания Flos, основанная в 1962 году в Мерано, Италия, признана ведущим мировым производителем инновационных решений в области освещения. Flos USA является дочерней компанией Flos, которая выступает в качестве интернет-магазина, продающего световые решения потребителям в Северной Америке.
Основной задачей было выполнить сквозную оптимизацию воронки конверсии веб-сайта Flos
Домашняя страница
Цель: посещений страниц категорий
Гипотеза: Изменение макета главной страницы, чтобы сделать его более ориентированным на навигацию по сайту, улучшит видимость и облегчит пользователю поиск нужных продуктов.
Победитель: Вариант
6,77% Повышение коэффициента конверсии
Страница категории
Цель: посещений страниц продукта
Гипотеза: Добавление CTA на плитки списка повысит релевантность для пользователя и приведет к большему количеству посещений страницы продукта.
Победитель: Вариант 1
47% больше заказов
86% больше доходов
Страница продукта
Цель: Добавить в корзину
Гипотеза: Обновление параметра «Выбрать завершение» для просмотра образцов цвета устранит путаницу среди пользователей.
Победитель: Вариант 1
19,35% Повышение коэффициента конверсии
Страница корзины
Цель: Перейти к оформлению заказа
Гипотеза: Сохранение только основной информации и заголовка со ссылкой на страницу корзины улучшит ясность для пользователя.
Победитель: Вариант
36,97% Повышение коэффициента конверсии
Скачать эту историю успеха
Учитывая, что мы постоянно сталкивались с проблемой низкого коэффициента конверсии в нашем магазине электронной коммерции, мы хотели привлечь кого-то, кто уже успешно решил эту проблему.Поскольку у нас не было пропускной способности для создания собственной команды, мы решили попробовать VWO.
Даниэль Камен
Директор по электронной коммерции
Поскольку у нас не было пропускной способности для создания собственной команды, мы решили попробовать VWO. Вот почему VWO является подходящей платформой для оптимизации конверсии для вашего магазина
Отмеченная наградами круглосуточная поддержка, которая поможет вам в оптимизации электронной коммерции
Наслаждайтесь круглогодичной поддержкой технических экспертов, которые помогут устранить все препятствия.
Подробнее
Получите несколько инструментов оптимизации конверсии на одной подключенной платформе
Обеспечьте согласованное определение ваших данных на всей платформе и забудьте о манипулировании несколькими разрозненными инструментами для вашего интернет-магазина.
Узнать больше
Привлеките всю свою команду к совместной работе над анализом информации и сбором идей для тестирования
Вся ваша команда сможет вносить свои идеи в центральный репозиторий, помогая вам разрабатывать лучшие идеи для экспериментов.
Что еще? Отслеживайте их до завершения.
Узнать больше
Проблемы всей вашей организации по поводу использования инструмента A/B-тестирования электронной коммерции, подробно рассмотрены по телефону
. Будет ли VWO подключаться к моим существующим инструментам и системам?
Мы понимаем боль несвязанных платформ, поэтому VWO легко интегрируется со всеми вашими технологическими платформами , особенно с электронной коммерцией.
Интеграция VWO со сторонним инструментом позволяет вам отправлять тестовые данные VWO во внешний инструмент, а также позволяет использовать данные, доступные с помощью этих инструментов, для целевых кампаний на ваших ресурсах.
Просмотреть все интеграции электронной коммерции
Как вы гарантируете, что код не замедлит работу моего магазина?
VWO SmartCode тщательно создавался и претерпевал значительные изменения на протяжении многих лет.
Имея всего один асинхронный код для запуска всех наших возможностей, он загружается параллельно с вашим веб-сайтом, тем самым сокращая время загрузки страницы во время любой кампании.
Вы можете быть уверены, что даже при высокой нагрузке скорость вашего сайта будет нулевое воздействие при загрузке , что обеспечивает восхитительный опыт для ваших покупателей каждый раз.
Узнайте больше о безударной нагрузке
У меня недостаточно ресурсов или опыта для масштабирования моей экспериментальной программы. Как вы можете помочь?
С более чем 1500 кампаниями, распределенными на 14000 часов оптимизации электронной коммерции, мы предлагаем внутренний опыт через VWO Services, команду аналитиков-стратегов, дизайнеров UX, ориентированных на конверсию, и опытных создателей контента , чтобы создать эффективную стратегию оптимизации вашего интернет-магазина.
Мы выступаем в качестве надежного расширения вашей существующей команды и поддерживаем ваши проекты по оптимизации на протяжении всего вашего сотрудничества с нами.
Узнайте больше об услугах VWO
Я не уверен, могу ли я доверять другому инструменту данные моего магазина, как вы можете меня успокоить?
Мы поддерживаем надежные методы защиты данных и конфиденциальности, которые являются неотъемлемой частью нашей разработки продуктов. Мы придерживаемся строгих принципов проектирования безопасности и конфиденциальности. Эти принципы представляют собой надежную основу для создания безопасных систем, способных противостоять всем векторам угроз 9.0212 по умолчанию и по дизайну.
В дополнение к этому VWO внедрила и поддерживает соответствующие технологические и организационные меры, предназначенные для защиты личной информации клиентов в соответствии с требованиями законов о защите данных по всему миру.
Узнайте больше о безопасности данных VWO и соответствии требованиям
Изучите наши ресурсы по электронной коммерции
Узнайте все тонкости оптимизации опыта для электронной коммерции
электронная книга
Сокращение количества брошенных корзин: уроки экспериментов по конверсии на 300+ миллионах покупателей
Прочитать
Вебинар
Оптимизация электронной коммерции с использованием голосовых данных о клиентах
Смотреть сейчас
Блог
15 тактик оптимизации конверсии электронной коммерции для увеличения продаж
Прочитать
Инструмент
Анализатор целевых страниц
Проверьте
Потрясающий! Ваша встреча подтверждена на
Спасибо, что поделились своими данными.
Шаг 1/4
Привет 👋 Давайте запланируем вашу демонстрацию
Для начала, расскажите нам немного о себе
Имя
Неверное Имя
Фамилия
Неверная Фамилия
Рабочий Email
Неверный Email 90 Телефон
Неверный Номер телефона
VWO может отправлять соответствующие электронные письма, пока я не откажусь от подписки.
Продолжая, вы соглашаетесь с нашими Условиями и Политикой конфиденциальности
Хотя мы предоставим демоверсию, которая охватывает всю платформу VWO, поделитесь с нами некоторыми подробностями, чтобы
персонализировал демоверсию для вас.Выберите возможности, на которые вы хотели бы обратить внимание во время демонстрации.
A/B-тестирование Сплит-тестирование Опросы Многовариантное тестирование Тестирование многоруких бандитов Персонализация Анализ формы Анализ поведения посетителей Воронкообразный анализ Тестирование мобильных приложений Тестирование на стороне сервера Записи сеансов Тепловые карты Развертывание/развертывание Сегментация пользователей Управление функциями Управление данными клиентов
Что из этого похоже на вас?
Я новичок в использовании продуктов для оптимизации и экспериментов.
Я использовал другие продукты для оптимизации и экспериментов.
Я использовал VWO в прошлом и хорошо знаю пространство.
Пожалуйста, поделитесь примерами использования, целями или потребностями, которые вы пытаетесь решить.
, все готово для знакомства с демонстрацией VWO.
Я не могу дождаться встречи с вами по телефону
Менеджер по работе с клиентами
, спасибо, что поделились подробностями. Ваш специальный представитель VWO свяжется с вами в ближайшее время, чтобы назначить время для этой демонстрации.
Мы довольны и рады, что выбрали VWO. Мы получаем ROI от наших экспериментов.
Кристофер Чельберг CRO-менеджер
VWO очень помог нам в наших усилиях по оптимизации.
Елизавета Левитан Специалист по цифровой оптимизации
Возможности тестирования безграничны, и это позволило нам легко определять, настраивать и запускать несколько тестов одновременно.Мне, как руководителю проекта нашего экспериментального процесса, нравится, как функциональность VWO позволяет нам быстро приступить к работе, но также дает нам гибкость для более сложного тестирования.
Тара Роу Менеджер по маркетинговым технологиям
Вам не нужен опыт разработки веб-сайтов, чтобы VWO работал на вас. Команда поддержки VWO потрясающая
Элизабет Романски Менеджер по потребительскому маркетингу и аналитике
Нам доверяют тысячи ведущих брендов
Есть вопрос или индивидуальный запрос? Спросите здесь
Мы понимаем, что вы, возможно, не захотите просматривать весь сайт, чтобы получить ответы или узнать, предлагаем ли мы определенную функцию, поэтому мы упростили для вас
Имя: *
Недопустимое имя
Фамилия: *
Неверная фамилия
Рабочий адрес электронной почты: *
Неверный адрес электронной почты
Вопрос:
VWO может отправлять соответствующие электронные письма, пока я не откажусь от подписки.
Отправляя сообщение, вы соглашаетесь с нашими Условиями и Политикой конфиденциальности
Спасибо за ваш вопрос!
Менеджер по работе с клиентами VWO свяжется с вами в ближайшее время.
15 шагов для идеального сплит-теста
Когда такие маркетологи, как мы, создают целевые страницы, пишут сообщения электронной почты или разрабатывают кнопки призыва к действию, может возникнуть соблазн использовать нашу интуицию, чтобы предсказать, что заставит людей нажать и подключиться.
Однако гораздо лучше проводить A/B-тестирование, чем основывать маркетинговые решения на «чувствах», так как это может отрицательно сказаться на ваших результатах.
Продолжайте читать, чтобы узнать, как проводить весь процесс A/B-тестирования до, во время и после сбора данных, чтобы вы могли принимать наилучшие решения на основе полученных результатов.
Что такое A/B-тестирование?
A/B-тестирование в маркетинге
Как проводить A/B-тестирование
Примеры A/B-тестирования
Что такое A/B-тестирование?
A/B-тестирование, также известное как сплит-тестирование, представляет собой маркетинговый эксперимент, в ходе которого вы разделяете свою аудиторию, чтобы протестировать несколько вариантов кампании и определить, какие из них более эффективны.
Другими словами, вы можете показать версию А маркетингового контента одной половине аудитории, а версию Б — другой.
A/B-тестирование может быть полезным, потому что разные аудитории ведут себя по-разному. То, что работает для одной компании, может не сработать для другой. На самом деле, эксперты по оптимизации коэффициента конверсии (CRO) ненавидят термин «лучшие практики», потому что на самом деле это может не быть лучшей практикой для вас . Но такое тестирование может быть сложным, если вы не будете осторожны.
Давайте рассмотрим, как работает A/B-тестирование, чтобы убедиться, что вы не делаете неверных предположений о том, что нравится вашей аудитории.
Как работает A/B-тестирование?
Чтобы запустить A/B-тест, вам нужно создать две разные версии одного фрагмента контента с изменениями одной переменной . Затем вы покажете эти две версии двум аудиториям одинакового размера и проанализируете, какая из них работала лучше в течение определенного периода времени (достаточно долгого, чтобы сделать точные выводы о ваших результатах).
Источник изображения
A/B-тестирование помогает маркетологам наблюдать, как одна версия маркетингового контента работает по сравнению с другой. Вот два типа A/B-тестов, которые вы можете провести, чтобы повысить коэффициент конверсии вашего веб-сайта:
Пример 1: Тест взаимодействия с пользователем
Возможно, вы хотите посмотреть, улучшит ли перемещение определенной кнопки призыва к действию (CTA) вверху главной страницы вместо того, чтобы оставить ее на боковой панели, рейтинг кликов.
Для A/B-тестирования этой теории вы должны создать еще одну альтернативную веб-страницу, использующую новое размещение CTA. Существующий дизайн с боковой панелью CTA — или « control » — это версия A. Версия B с CTA вверху — это « претендент ». Затем вы должны протестировать эти две версии, показав каждую из них заранее определенному проценту посетителей сайта. В идеале процент посетителей, увидевших любую версию, одинаков.
Узнайте, как легко провести A/B-тестирование компонента вашего веб-сайта с помощью Marketing Hub HubSpot.
Пример 2. Тестирование дизайна
Возможно, вы хотите узнать, может ли изменение цвета кнопки призыва к действию (CTA) повысить ее рейтинг кликов.
Для A/B-тестирования этой теории вы должны разработать альтернативную кнопку CTA с другим цветом кнопки, которая ведет на ту же целевую страницу , что и элемент управления. Если вы обычно используете красную кнопку призыва к действию в своем маркетинговом контенте, а зеленый вариант получает больше кликов после вашего A/B-тестирования, возможно, стоит изменить цвет кнопок призыва к действию по умолчанию на зеленый. на.
Чтобы узнать больше об A/B-тестировании, загрузите наше бесплатное вводное руководство здесь.
A/B-тестирование в маркетинге
A/B-тестирование имеет множество преимуществ для маркетинговой команды в зависимости от того, что именно вы решили тестировать.
Однако, прежде всего, эти тесты ценны для бизнеса, потому что они дешевы, но приносят большую прибыль.
Допустим, вы нанимаете создателя контента с зарплатой 50 000 долларов в год. Этот создатель контента публикует пять статей в неделю для блога компании, всего 260 статей в год. Если средний пост в блоге компании генерирует 10 лидов, вы можете сказать, что он стоит чуть более 19 долларов.2, чтобы привлечь 10 потенциальных клиентов для бизнеса (зарплата 50 000 долларов США ÷ 260 статей = 192 доллара США за статью). Это солидный кусок изменений.
Теперь, если вы попросите этого создателя контента потратить два дня на разработку A/B-теста для одной статьи вместо написания двух статей за этот период времени, вы можете потерять 192 доллара, потому что публикуете на одну статью меньше. . Но если этот A/B-тест обнаружит, что вы можете увеличить коэффициент конверсии каждой статьи с 10 до 20 потенциальных клиентов, вы только что потратили 192 доллара, чтобы потенциально удвоить количество клиентов, которых ваш бизнес получает от своего блога.
Если тест не пройден, вы, конечно, потеряли 192 доллара, но теперь вы можете сделать свой следующий A/B-тест еще более информативным. Если этот второй тест удвоит коэффициент конверсии вашего блога, вы в конечном итоге потратите 384 доллара, чтобы потенциально удвоить доход своей компании. Независимо от того, сколько раз ваш A/B-тест терпит неудачу, его конечный успех почти всегда перевешивает затраты на его проведение.
Избранный ресурс
Полный комплект A/B-тестирования для маркетологов
Заполните эту форму, чтобы получить комплект.
Есть много типов сплит-тестов, которые вы можете запустить, чтобы в конечном итоге эксперимент стоил того. Вот некоторые общие цели, которые маркетологи ставят перед своим бизнесом при A/B-тестировании:
- Увеличение посещаемости веб-сайта: Тестирование различных заголовков сообщений в блогах или заголовков веб-страниц может изменить количество людей, которые нажимают на заголовок с гиперссылкой, чтобы попасть на ваш сайт. . В результате это может увеличить посещаемость сайта.
- Более высокий коэффициент конверсии: Тестирование различных мест, цветов или даже якорного текста на ваших CTA может изменить количество людей, которые нажимают на эти CTA, чтобы попасть на целевую страницу. Это может увеличить количество людей, которые заполняют формы на вашем веб-сайте, отправляют вам свои контактные данные и «конвертируют» их в потенциальных клиентов.
- Более низкий показатель отказов: Если посетители вашего веб-сайта быстро уходят (или «отскакивают») после посещения вашего веб-сайта, тестирование различных вводных статей в блогах, шрифтов или рекомендуемых изображений может снизить этот показатель отказов и удержать больше посетителей.
- Отказ от нижней корзины: Предприятия электронной коммерции отмечают, что в среднем 70% клиентов покидают свой веб-сайт с товарами в корзине. Это известно как «брошенная корзина» и, конечно же, наносит ущерб любому интернет-магазину. Тестирование различных фотографий продуктов, дизайнов страниц оформления заказа и даже отображения стоимости доставки может снизить этот показатель отказов.
. В результате это может увеличить посещаемость сайта.
Тестирование различных фотографий продуктов, дизайнов страниц оформления заказа и даже отображения стоимости доставки может снизить этот показатель отказов.Теперь давайте пройдемся по контрольному списку для настройки, запуска и измерения A/B-тестирования.
Как проводить A/B-тестирование
Воспользуйтесь нашим бесплатным комплектом для A/B-тестирования со всем необходимым для проведения A/B-тестирования, включая шаблон отслеживания тестирования, практическое руководство для получения инструкций и вдохновения, и калькулятор статистической значимости, чтобы увидеть, были ли ваши тесты выигрышными, проигрышными или безрезультатными.
До A/B-теста
Давайте рассмотрим шаги, которые необходимо предпринять перед началом A/B-тестирования.
1. Выберите одну переменную для тестирования.
Оптимизируя веб-страницы и сообщения электронной почты, вы можете обнаружить ряд переменных, которые необходимо протестировать.
Но чтобы оценить, насколько эффективно изменение, вам нужно выделить одну « независимую переменную » и измерить ее эффективность. В противном случае вы не можете быть уверены, какая именно переменная отвечает за изменение производительности.
Вы можете тестировать более одной переменной для одной веб-страницы или электронной почты — просто убедитесь, что вы тестируете их по одной за раз.
Чтобы определить свою переменную, просмотрите элементы в ваших маркетинговых ресурсах и их возможные альтернативы по дизайну, формулировкам и макету. Другие вещи, которые вы можете протестировать, включают строки темы электронной почты, имена отправителей и различные способы персонализации ваших электронных писем.
Имейте в виду, что даже простые изменения, такие как изменение изображения в сообщении электронной почты или слов на кнопке с призывом к действию, могут привести к значительным улучшениям. На самом деле такие изменения обычно легче измерить, чем более крупные.
Примечание: В некоторых случаях имеет смысл протестировать несколько переменных, а не одну переменную. Этот процесс называется многовариантным тестированием. Если вам интересно, следует ли вам запускать тест A/B или многовариантный тест, вот полезная статья от Optimizely, в которой сравниваются два процесса.
2. Определите свою цель.
Несмотря на то, что вы будете измерять несколько метрик во время одного теста, выберите основную метрику, чтобы сосредоточиться на до вы запускаете тест. На самом деле, сделайте это еще до того, как настроите второй вариант. Это ваша «зависимая переменная », которая изменяется в зависимости от того, как вы манипулируете независимой переменной.
Подумайте, где вы хотите, чтобы эта зависимая переменная находилась в конце сплит-теста. Вы можете даже сформулировать официальную гипотезу и изучить свои результаты, основанные на этом прогнозе.
Если вы отложите решение вопроса о том, какие показатели важны для вас, каковы ваши цели и как предлагаемые вами изменения могут повлиять на поведение пользователей, возможно, вы не настроите тест наиболее эффективным образом.
3. Создайте «контроль» и «претендент».
Теперь у вас есть независимая переменная, зависимая переменная и желаемый результат. Используйте эту информацию, чтобы настроить неизмененную версию того, что вы тестируете, в качестве сценария управления. Если вы тестируете веб-страницу, это неизмененная страница, поскольку она уже существует. Если вы тестируете целевую страницу, это будет дизайн и текст целевой страницы, которые вы обычно используете.
Затем создайте претендента — измененный веб-сайт, целевую страницу или электронную почту, которые вы будете тестировать против своего контроля. Например, если вам интересно, повлияет ли добавление отзыва на целевую страницу на конверсию, настройте контрольную страницу без отзывов. Затем создайте своего претендента с отзывом.
4. Разделите ваши выборочные группы поровну и случайным образом.
Для тестов, в которых у вас есть больший контроль над аудиторией — например, с электронными письмами — вам нужно протестировать две или более равных аудиторий, чтобы получить окончательные результаты.
То, как вы это сделаете, зависит от используемого вами инструмента A/B-тестирования. Например, если вы являетесь клиентом HubSpot Enterprise и проводите A/B-тестирование электронной почты, HubSpot автоматически разделит трафик на ваши варианты, чтобы каждый вариант получал случайную выборку посетителей.
5. Определите объем выборки (если применимо).
То, как вы определяете размер выборки, также зависит от вашего инструмента A/B-тестирования, а также от типа проводимого вами A/B-тестирования.
Если вы проводите A/B-тестирование электронной почты, вы, вероятно, захотите отправить A/B-тестирование подмножеству вашего списка, достаточно большому для получения статистически значимых результатов. В конце концов, вы выберете победителя и отправите выигрышный вариант остальным участникам списка. (Подробнее о расчете размера выборки см. в электронной книге «Наука о сплит-тестировании» в конце этой статьи.)
Если вы являетесь клиентом HubSpot Enterprise, вам может помочь определить размер группы выборки с помощью ползунка.
Это позволит вам провести A/B-тестирование 50/50 для любого размера выборки, хотя для всех других выборок требуется список не менее 1000 получателей.
Если вы тестируете что-то, что не имеет ограниченную аудиторию, например, веб-страницу, то то, как долго вы будете выполнять тест, напрямую повлияет на размер вашей выборки. Вам нужно, чтобы ваш тест работал достаточно долго, чтобы получить значительное количество просмотров. В противном случае будет трудно сказать, была ли статистически значимая разница между вариациями.
6. Решите, насколько значительными должны быть ваши результаты.
После того, как вы выбрали целевую метрику, подумайте, насколько значительными должны быть ваши результаты, чтобы оправдать выбор одного варианта над другим. Статистическая значимость — очень важная часть процесса A/B-тестирования, которую часто неправильно понимают. Если вам нужно освежить знания, я рекомендую прочитать этот пост в блоге о статистической значимости с точки зрения маркетинга.
Чем выше процент вашего уровня уверенности, тем больше вы можете быть уверены в своих результатах. В большинстве случаев вам понадобится уровень достоверности 9.Минимум 5%, а лучше даже 98%, особенно если на настройку эксперимента ушло много времени. Однако иногда имеет смысл использовать более низкий уровень достоверности, если вам не нужно, чтобы тест был таким строгим.
Мэтт Реулт, старший инженер-программист HubSpot, любит думать о статистической значимости как о размещении ставки. На какие коэффициенты вам удобно делать ставки? Сказать «Я на 80% уверен, что это правильный дизайн, и я готов поставить на него все» — это все равно, что провести A/B-тестирование до значимости 80%, а затем объявить победителя.
Rheault также говорит, что вам, вероятно, понадобится более высокий порог достоверности при тестировании чего-то, что лишь немного повышает коэффициент конверсии. Почему? Потому что случайная дисперсия, скорее всего, сыграет большую роль.
«Примером, когда мы могли бы чувствовать себя в большей безопасности, снизив порог достоверности, является эксперимент, который, вероятно, повысит коэффициент конверсии на 10% или более, например, переработанный главный раздел», — пояснил он.
«Вывод здесь таков: чем радикальнее изменение, тем менее научным он должен быть в отношении процесса. Чем более конкретным является изменение (цвет кнопки, микрокопия и т. д.), тем более научным мы должны быть, потому что изменение с меньшей вероятностью окажет большое и заметное влияние на коэффициент конверсии».
7. Убедитесь, что вы запускаете только один тест за раз в любой кампании.
Тестирование нескольких вещей для одной кампании, даже если они не относятся к одному и тому же активу, может усложнить результаты. Например, если вы проводите A/B-тестирование кампании по электронной почте, которая ведет на целевую страницу, одновременно с A/B-тестированием этой целевой страницы, как узнать, какое изменение вызвало увеличение числа лидов?
Во время A/B-тестирования
Давайте рассмотрим шаги, которые нужно предпринять во время A/B-тестирования.
8. Используйте инструмент A/B-тестирования.
Чтобы провести A/B-тестирование на своем веб-сайте или в электронном письме, вам потребуется инструмент для A/B-тестирования.
Если вы являетесь клиентом HubSpot Enterprise, программное обеспечение HubSpot имеет функции, которые позволяют проводить A/B-тестирование электронных писем (узнайте, как здесь), призывов к действию (узнайте, как здесь) и целевых страниц (узнайте, как здесь).
Для клиентов, не являющихся пользователями HubSpot Enterprise, другие варианты включают Google Analytics, который позволяет проводить A/B-тестирование до 10 полных версий одной веб-страницы и сравнивать их эффективность с использованием случайной выборки пользователей.
9. Протестируйте оба варианта одновременно.
Время играет важную роль в результатах вашей маркетинговой кампании, будь то время суток, день недели или месяц года. Если бы вы запускали версию A в течение одного месяца, а версию B — через месяц, как бы вы узнали, вызвано ли изменение производительности другим дизайном или другим месяцем?
При выполнении A/B-тестов вам нужно будет запускать два варианта одновременно, иначе вы можете сомневаться в своих результатах.
Единственным исключением здесь является случай, когда вы проверяете само время, например, находите оптимальное время для отправки электронных писем. Это отличная вещь для тестирования, потому что в зависимости от того, что предлагает ваш бизнес и кто ваши подписчики, оптимальное время для взаимодействия с подписчиками может значительно различаться в зависимости от отрасли и целевого рынка.
10. Дайте тесту A/B достаточно времени для получения полезных данных.
Опять же, вы должны убедиться, что ваш тест выполняется достаточно долго, чтобы получить существенный размер выборки. В противном случае будет трудно сказать, была ли статистически значимая разница между двумя вариантами.
Сколько времени хватит? В зависимости от вашей компании и того, как вы проводите A/B-тестирование, получение статистически значимых результатов может произойти за часы… или дни… или недели. Большая часть того, сколько времени требуется для получения статистически значимых результатов, зависит от того, сколько трафика вы получаете, поэтому, если ваш бизнес не получает много трафика на ваш веб-сайт, вам потребуется гораздо больше времени для запуска A/B.
тест.
Прочтите этот пост в блоге, чтобы узнать больше о размере выборки и сроках.
11. Спросите отзывы у реальных пользователей.
A/B-тестирование во многом связано с количественными данными… но это не обязательно поможет вам понять, почему люди предпочтут одни действия другим. Пока вы проводите A/B-тестирование, почему бы не собрать качественную обратную связь от реальных пользователей?
Один из лучших способов узнать мнение людей — провести опрос или опрос. Вы можете добавить на свой сайт выходной опрос, который спрашивает посетителей, почему они не нажали на определенный CTA, или на страницы благодарности, который спрашивает посетителей, почему они нажали кнопку или заполнили форму.
Например, вы можете обнаружить, что многие люди нажимают на призыв к действию, который приводит их к электронной книге, но как только они видят цену, они не конвертируются. Такая информация даст вам понимание того, почему ваши пользователи ведут себя определенным образом.
После A/B-тестирования
Наконец, давайте рассмотрим шаги, которые нужно предпринять после A/B-тестирования.
12. Сосредоточьтесь на целевом показателе.
Опять же, несмотря на то, что вы будете измерять несколько показателей, сосредоточьтесь на основном показателе цели при проведении анализа.
Например, если вы протестировали два варианта электронного письма и выбрали потенциальных клиентов в качестве основного показателя, не зацикливайтесь на коэффициенте открытия или рейтинге кликов. Вы можете увидеть высокий рейтинг кликов и низкие коэффициенты конверсии, и в этом случае вы можете в конечном итоге выбрать вариант с более низким рейтингом кликов.
13. Измерьте значимость ваших результатов с помощью нашего калькулятора A/B-тестирования.
Теперь, когда вы определили, какой вариант работает лучше всего, пришло время определить, являются ли ваши результаты статистически значимыми. Другими словами, достаточно ли их, чтобы оправдать изменение?
Чтобы это выяснить, вам нужно провести тест на статистическую значимость.
Вы можете сделать это вручную… или просто ввести результаты своего эксперимента в наш бесплатный калькулятор A/B-тестирования.
Для каждого протестированного вами варианта вам будет предложено ввести общее количество попыток, например количество отправленных электронных писем или просмотренных показов. Затем введите количество достигнутых целей — обычно вы смотрите на клики, но это могут быть и другие типы конверсий.
Калькулятор выдаст уровень достоверности ваших данных для выигрышного варианта. Затем измерьте это число по сравнению со значением, которое вы выбрали для определения статистической значимости.
14. Примите меры на основе полученных результатов.
Если один вариант статистически лучше другого, вы выиграли. Завершите тест, отключив проигрышный вариант в инструменте A/B-тестирования.
Если ни один из вариантов статистически не лучше, вы только что узнали, что тестируемая вами переменная не повлияла на результаты, и вам придется пометить тест как неубедительный.
В этом случае придерживайтесь исходного варианта или проведите еще один тест. Вы можете использовать неудачные данные, чтобы помочь вам определить новую итерацию вашего нового теста.
Хотя A/B-тесты помогают вам влиять на результаты в каждом конкретном случае, вы также можете применять уроки, извлеченные из каждого теста, и применять их в будущих усилиях.
Например, если вы проводили A/B-тестирование в своем маркетинге по электронной почте и неоднократно обнаруживали, что использование чисел в строках темы электронной почты повышает рейтинг кликов, вы можете рассмотреть возможность использования этой тактики в других своих электронных письмах.
15. Спланируйте следующее A/B-тестирование.
A/B-тест, который вы только что закончили, возможно, помог вам найти новый способ повысить эффективность маркетингового контента, но не останавливайтесь на достигнутом. Всегда есть место для большей оптимизации.
Вы даже можете попробовать провести A/B-тестирование другой функции той же веб-страницы или электронного письма, которое вы только что тестировали.
Например, если вы только что протестировали заголовок на целевой странице, почему бы не провести новый тест на основном тексте? Или цветовая схема? Или изображения? Всегда следите за возможностями увеличить коэффициент конверсии и количество потенциальных клиентов.
Вы можете использовать комплект для отслеживания A/B-тестов HubSpot, чтобы планировать и организовывать свои эксперименты.
Загрузите этот шаблон сейчас
Как читать результаты A/B-тестирования
Как маркетолог вы знаете ценность автоматизации. Учитывая это, вы, вероятно, используете программное обеспечение, которое обрабатывает расчеты A/B-тестирования для вас — огромная помощь. Но после того, как расчеты сделаны, вам нужно знать, как читать ваши результаты. Давайте рассмотрим, как.
1. Проверьте показатель цели.
Первым шагом в чтении результатов вашего A/B-теста является просмотр вашего целевого показателя, которым обычно является коэффициент конверсии. После того, как вы введете свои результаты в калькулятор A/B-тестирования, вы получите два результата для каждой тестируемой версии.
Вы также получите значительный результат для каждого из ваших вариантов.
2. Сравните коэффициенты конверсии.
Глядя на свои результаты, вы, вероятно, сможете сказать, работает ли один из вариантов лучше, чем другой. Однако истинный критерий успеха заключается в том, являются ли полученные результаты статистически значимыми. Это означает, что один вариант работал лучше, чем другой на значительном уровне, потому что, скажем, текст CTA был более привлекательным.
Допустим, вариант А имел коэффициент конверсии 16,04%, а вариант Б — 16,02%, и ваш доверительный интервал статистической значимости равен 9.5%. Вариант А имеет более высокий коэффициент конверсии, но результаты не являются статистически значимыми, а это означает, что вариант А не улучшит ваш общий коэффициент конверсии значительно.
3. Сегментируйте свою аудиторию для получения дополнительной информации.
Независимо от значимости, важно разбить результаты по сегментам аудитории, чтобы понять, как каждая ключевая область отреагировала на ваши варианты.
Общие переменные для сегментирования аудитории:
- Тип посетителя или какая версия лучше всего подходит для новых посетителей по сравнению с повторными посетителями.
- Тип устройства или версия, которая лучше всего работает на мобильных устройствах или на настольных компьютерах.
- Источник трафика или версия, которая показала наилучшие результаты в зависимости от источника трафика для ваших двух вариантов.
Давайте рассмотрим несколько примеров экспериментов A/B, которые вы можете провести для своего бизнеса.
Примеры A/B-тестирования
Мы обсудили, как A/B-тестирование используется в маркетинге и как его проводить, но как оно выглядит на практике?
Как вы могли догадаться, мы проводим множество A/B-тестов, чтобы повысить вовлеченность и повысить конверсию на нашей платформе. Вот пять примеров A/B-тестов, которые вдохновят вас на собственные эксперименты.
1. Поиск по сайту
Панели поиска по сайту помогают пользователям быстро найти то, что им нужно на конкретном веб-сайте.
HubSpot обнаружил из предыдущего анализа, что посетители, которые взаимодействовали с панелью поиска на сайте, с большей вероятностью конвертировались в сообщения в блоге. Итак, мы провели A/B-тестирование, пытаясь увеличить взаимодействие с панелью поиска.
В этом тесте функциональность панели поиска была независимой переменной, а просмотры на странице с предложением контента — зависимой переменной. В эксперименте мы использовали одно контрольное условие и три контрольных условия.
В контрольном условии (вариант А) строка поиска осталась без изменений.
В варианте B панель поиска была увеличена и стала более заметной, а текст-заполнитель был установлен на «поиск по теме».
Вариант C был идентичен варианту B, но выполнялся поиск только в блоге HubSpot, а не на всем веб-сайте.
В варианте D панель поиска была увеличена, но текст заполнителя был установлен на «поиск в блоге». Этот вариант также выполнял поиск только в блоге HubSpot 9.
0003
Мы нашли вариант D наиболее эффективным: он увеличил конверсию на 3,4% по сравнению с контролем и увеличил процент пользователей, которые использовали панель поиска, на 6,5%.
2. Мобильные CTA
HubSpot использует несколько CTA для предложений контента в сообщениях нашего блога, в том числе в тексте сообщения, а также внизу страницы. Мы тщательно тестируем эти CTA, чтобы оптимизировать их работу.
Для наших мобильных пользователей мы провели A/B-тест, чтобы определить, какой тип призыва к действию внизу страницы конвертируется лучше всего. Для нашей независимой переменной мы изменили дизайн панели CTA. В частности, в нашем тесте мы использовали один контрольный образец и три претендента. В качестве зависимых переменных мы использовали просмотры страниц на странице благодарности с призывом к действию и клики по призыву к действию.
Контрольное условие включало наше обычное размещение CTA внизу сообщений. В варианте B у CTA не было опций закрытия или минимизации.
В варианте C мобильные читатели могли закрыть CTA, коснувшись значка X. Как только он был закрыт, он больше не появлялся.
В варианте D мы включили возможность минимизировать CTA с помощью курсора вверх/вниз.
Наши тесты показали, что все варианты успешны. Вариант D оказался наиболее успешным, с увеличением конверсии на 14,6% по сравнению с контролем. За ним последовал вариант C с увеличением на 11,4% и вариант B с увеличением на 7,9%.% увеличивать.
3. Авторские призывы к действию
В ходе другого эксперимента с призывом к действию HubSpot проверил, будет ли добавление слова «бесплатно» и другого описательного языка к авторскому призыву к действию в верхней части постов в блоге увеличивать число потенциальных клиентов. Прошлые исследования показали, что использование слова «бесплатно» в тексте призыва к действию приведет к увеличению числа конверсий, а текст с указанием типа предлагаемого контента будет полезен для SEO и доступности.
В тесте независимой переменной был текст CTA, а основной зависимой переменной был коэффициент конверсии в форме предложения контента.
В контрольном состоянии текст призыва к действию автора не изменился (см. оранжевую кнопку на изображении ниже).
В варианте Б к тексту СТА добавлено слово «бесплатно».
В варианте C в текст CTA в дополнение к «бесплатно» была добавлена описательная формулировка.
Интересно, что вариант B показал снижение количества отправленных форм на 14% по сравнению с контролем. Это было неожиданно, поскольку включение слова «бесплатно» в текст предложения контента считается лучшей практикой.
Между тем, отправка формы в варианте C превзошла контрольную на 4%. Был сделан вывод, что добавление описательного текста к призыву к действию автора помогло пользователям понять предложение и, таким образом, повысило вероятность их загрузки.
4. Содержание блога
Чтобы помочь пользователям лучше ориентироваться в блоге, HubSpot протестировал новый модуль содержания (TOC).
Цель состояла в том, чтобы улучшить пользовательский опыт, предоставив читателям желаемый контент быстрее. Мы также проверили, повысит ли конверсию добавление CTA в этот модуль TOC.
Независимой переменной этого A/B-теста было включение и тип модуля TOC в постах блога, а зависимыми переменными были коэффициент конверсии при отправке форм предложения контента и клики по CTA внутри модуля TOC.
Условие контроля не включало новый модуль оглавления — в контрольных постах либо не было оглавления, либо был простой маркированный список анкорных ссылок в теле поста вверху статьи (на фото ниже).
В варианте Б в записи блога добавлен новый модуль оглавления. Этот модуль был липким, то есть он оставался на экране, когда пользователи прокручивали страницу вниз. Вариант B также включал призыв к действию с предложением контента в нижней части модуля.
Вариант C включал модуль, идентичный варианту B, но с удаленным CTA.
Оба варианта B и C не увеличили конверсию постов в блогах.
Условие контроля превзошло вариант B на 7% и работало так же, как вариант C. Кроме того, немногие пользователи взаимодействовали с новым модулем TOC или CTA внутри модуля.
5. Уведомления о просмотре
Чтобы определить лучший способ сбора отзывов клиентов, мы провели сплит-тест уведомлений по электронной почте и уведомлений в приложении. Здесь независимой переменной был тип уведомления, а зависимой переменной — процент тех, кто оставил отзыв, от всех, кто открыл уведомление.
В элементе управления HubSpot отправил текстовое уведомление по электронной почте с просьбой оставить отзыв. В варианте B HubSpot отправлял электронное письмо с изображением сертификата, включая имя пользователя.
Для варианта C HubSpot отправил пользователям уведомление в приложении.
В конечном итоге оба письма работали одинаково и превосходили уведомления в приложении. Около 25% пользователей, открывших электронное письмо, оставили отзыв по сравнению с 10,3%, открывшими уведомления в приложении.