A/B тест — это просто / Habr

A/B тестирование — это мощный маркетинговый инструмент для повышения эффективности работы вашего интернет-ресурса. С помощью A/B тестов повышают конверсию посадочных страниц, подбирают оптимальные заголовки объявлений в рекламных сетях, улучшают качество поиска.

Мне часто приходится сталкиваться с задачами организации A/B тестирования в различных интернет-проектах. В этой статье хочу поделиться необходимыми базовыми знаниями для проведения тестов и анализа результатов.

Зачем нужны А/B тесты?

Итак, представим ситуацию, наш проект запущен в жизнь, на нем собирается трафик, пользователи активно используют ресурс. И в один прекрасный день мы решили что-то поменять, например, разместить всплывающий виджет для удобства подписки на новости.

Наше решение — это интуитивное предположение о том, что пользователям ресурса станет проще подписываться на новые материалы, мы ожидаем повышения числа подписчиков.

Наши предположения и гипотезы строятся на основе личного опыта и наших взглядов, которые совсем не обязательно совпадают со взглядами аудитории нашего ресурса. Другими словами, наше предположение вовсе не означает, что после внесения изменений мы получим желаемый эффект. Для проверки таких гипотез мы и проводим A/B тесты.

Как проводим тесты?

Идея A/B тестирования очень проста. Пользователи ресурса случайным образом делятся на сегменты. Один из сегментов остается без изменений — это контрольный сегмент “A”, на основе данных по этому сегменту мы будем оценивать эффект от вносимых изменений. Пользователям из сегмента “B” показываем измененную версию ресурса.

Чтобы получить статистически значимый результат, очень важно исключить влияние сегментов друг на друга, т.е. пользователь должен быть отнесен строго к одному сегменту. Это можно сделать, например, записав метку сегмента в cookies браузера.

Для снижения влияния внешних факторов, таких как рекламные кампании, день недели, погода или сезонность, замеры в сегментах важно делать параллельно, т.е. в один и тот же период времени.

Кроме того, очень важно исключить и внутренние факторы, которые также могут существенно исказить результаты теста. Таким факторами могут быть действия операторов call-центра, служба поддержки, работа редакции, разработчики или администраторы ресурса. В Google Analytics для этого можно воспользоваться фильтрами.

Число пользователей в сегментах не всегда удается сделать равным, в связи с этим метрики, как правило, выбираются относительные, т.е. без привязки к абсолютным значениям аудитории в сегменте. Нормирование осуществляется либо на число посетителей, либо на число просмотров страниц. Например, такими метриками могут быть средний чек или CTR ссылки.

Одной из причин делить аудиторию непропорционально может быть существенное изменение в интерфейсе. Например, полное обновление устаревшего дизайна сайта, изменение системы навигации или добавление всплывающей формы для сбора контактной информации. Такие изменения могут привести как к положительным, так и к отрицательным эффектам в работе ресурса.

Если есть опасение, что изменение может иметь сильное негативное влияние, например, привести к резкому оттоку аудитории, то, на первом этапе, имеет смысл тестовый сегмент делать не очень большим. В случае отсутствия негативного эффекта, размер тестового сегмента можно постепенно увеличить.

Что улучшаем?

Если вы собираетесь провести A/B тестирование на своем ресурсе, то наверняка у вашего проекта уже сформированы основные показатели, которые необходимо улучшить. Если таких показателей еще нет, тогда самое время о них задуматься.

Показатели прежде всего определяются целями проекта. Ниже приведу несколько популярных метрик, которые используются в интернет-проектах.

Конверсия

Конверсия вычисляется как доля от общего числа посетителей, совершивших какое-либо действие. Действием может быть заполнение формы на посадочной странице, совершение покупки в интернет-магазине, регистрация, подписка на новости, клик на ссылку или блок.

Экономические метрики

Как правило, эти метрики применимы для интернет-магазинов: величина среднего чека, объем выручки, отнесенный на число посетителей интернет-магазина.

Поведенческие факторы

К поведенческим факторам относят оценку заинтересованности посетителей в ресурсе. Ключевыми метриками являются: глубина просмотра страниц — число просмотренных страниц, отнесенное к числу посетителей на сайте, средняя продолжительность сессии, показатель отказов — доля пользователей, покинувших сайт сразу после первого захода, коэффициент удержания (можно считать, как 1 минус % новых пользователей).

Одного показателя не всегда достаточно для оценки эффекта от вносимых изменений. Например, после изменений на сайте интернет-магазина средний чек может уменьшиться, но общая выручка вырасти за счет повышения конверсии посетителя в покупателя. В связи с этим, важно контролировать несколько ключевых показателей.

Анализ результатов

Отлично, ключевые показатели определены, тест запущен и мы получили первые данные. В этот момент, особенно если данные соответствуют нашим ожиданиям, возникает соблазн сделать поспешные выводы о результатах тестирования.

Торопиться не стоит, значения наших ключевых показателей могут меняться день ото дня — это значит, что мы имеем дело со случайными величинами. Для сравнения случайных величин оценивают средние значения, а для оценки среднего значения требуется некоторое время, чтобы накопить историю.

Эффект от внесения изменения определяют как разность между средними значениями ключевого показателя в сегментах. Тут возникает следующий вопрос, насколько мы уверены в достоверности полученного результата? Если мы еще раз проведем тест, то какова вероятность того, что мы сможем повторить результат?

Ниже на картинках приведены примеры распределения значений показателя в сегментах.

Графики распределения характеризуют частоту появления того или иного значения случайной величины в выборке. В данном случае все значения распределены вокруг среднего.

На обеих картинках средние значения показателя в соответствующих сегментах одинаковы, картинки отличаются только разбросом значений.

Данный пример хорошо иллюстрирует, что разности средних значений недостаточно для того, чтобы считать результат достоверным, необходимо также оценить площадь пересечения распределений.

Чем меньше пересечение, тем с большей уверенностью мы можем сказать, что эффект действительно значим. Эта “уверенность” в статистике называется значимостью результата.

Как правило, для принятия положительного решения об эффективности изменений уровень значимости выбирают равным 90%, 95% или 99%. Пересечение распределений при этом равно соответственно 10%, 5% или 1%. При невысоком уровне значимости существует опасность сделать

ошибочные выводы об эффекте, полученном в результате изменения.

Несмотря на важность этой характеристики, в отчетах по A/B тестам, к сожалению, часто забывают указать уровень значимости, при котором был получен результат.

Кстати, на практике примерно 8 из 10 A/B тестов не являются статистически значимыми.

Стоит отметить, что чем больше объем трафика в сегментах, тем меньше разброс среднесуточных значений показателя. При небольшом трафике из-за большего разброса значений случайной величины потребуется больше времени для проведения эксперимента, но в любом случае это лучше, чем вовсе не проводить эксперимент.

Оценить значимость результатов

Для сравнения случайных величин математики придумали целый раздел под названием проверка статистических гипотез. Гипотез всего две: “нулевая” и “альтернативная”. Нулевая гипотеза предполагает, что разница между средними значениями показателя в сегментах незначительна. Альтернативная гипотеза предполагает наличие существенной разницы между средними значениями показателя в сегментах.

Для проверки гипотез существует несколько статистических тестов. Тесты зависят от характера измеряемого показателя. В общем случае, если мы считаем среднесуточные значения, можно воспользоваться тестом Стьюдента. Этот тест хорошо зарекомендовал себя для небольших объемов данных, т.к. учитывает размер выборки при оценке значимости.

В качестве примера приведу сравнение средней длительности сессии в сегментах на одном из ресурсов, для которых я проводил эксперимент: studentttest.xls.

Тест Стьюдента — универсален, его можно применять как для измерений конверсии, так и для таких количественных показателей как средний чек, средняя глубина просмотра или время, проведенное пользователем на сайте.

В случае, если вы измеряете только конверсию, то вы имеете дело с бинарной слуайной величиной, которая принимает только два значения: посетитель “сконвертировался” и “не сконвертировался”. Для оценки статистической значимости в этом случае можно воспользоваться он-лайн калькулятором.

Инструменты

Для организации теста необходим инструмент, позволяющий разметить аудиторию по сегментам и посчитать значения ключевых показателей отдельно в каждом сегменте.

Если ваши ресурсы позволяют, то такой инструмент можно реализовать самостоятельно на основе анализа логов действий пользователей. Если ресурсы ограничены, то стоит воспользоваться сторонним инструментом. Например, в Google Analytics есть возможность задавать пользовательские сегменты.

Существует ряд сервисов, которые позволяют полностью автоматизировать процесс тестирования, например, тотже Google Analytics Experiements, примеры других сервисов можно найти в обзоре.

А дальше?

В статье приведены базовые знания, необходимые для проведения A/B тестов и анализа результатов. Следующий шаг — это продуктовая аналитика. В завершении хочу поделиться ссылкой на отличную презентацию по продуктовой аналитике с примерами A/B тестирования от Курышева Евгения.

habr.com

Что такое A/B-тестирование и как его проводить

*Обновление статьи

Бизнес не стоит на месте – чтобы выжить, нужно развиваться. Если остановить этот процесс, проект начнет деградировать. Часто приходится что-то менять – расширять ассортимент, увеличивать рекламный охват аудитории, улучшать дизайн сайта, добавлять новый, повышать конверсию. Как узнать заранее, что принесут эти новшества?

Одни из инструментов, помогающий развитию веб-проектов – A/B-тестирование. С его помощью можно проверить свои гипотезы и экспериментально оценить предпочтения посетителей – чтобы принять решение о том, стоит ли что-то менять или лучше оставить как есть.

Рассказываем, как это работает.

Что такое A/B-тестирование

A/B-тестирование — это маркетинговый метод, использующийся для оценки и управления эффективностью веб-страницы. Этот метод также называется сплит-тестированием (от англ. split testing — раздельное тестирование).

A/B-тестирование позволяет оценивать количественные показатели работы двух вариантов веб-страницы, а также сравнивать их между собой. Также сплит-тестирование помогает оценивать эффективность изменений страницы, например, добавления новых элементов дизайна или призывов к действию. Практический смысл использования этого метода заключается в поиске и внедрении компонентов страницы, увеличивающих ее результативность. Обратите внимание еще раз, A/B-тестирование — это прикладной маркетинговый метод, с помощью которого можно влиять на конверсию, стимулировать сбыт и повышать прибыльность веб-проекта.

Сплит-тестирование начинается с оценки метрик существующей веб-страницы (A, контрольная страница) и поиска способов ее улучшения. Например, вы создали интернет-магазин. Представьте себе посадочную страницу этого магазина с коэффициентом конверсии 2%. Маркетолог желает увеличить этот показатель до 4%, поэтому планирует изменения, которые помогут решить эту задачу.

Разбор показателей для отслеживания эффективности интернет-маркетинга

Допустим, специалист предполагает, что изменив цвет конверсионной кнопки с нейтрального голубого на агрессивный красный, он сделает ее более заметной. Чтобы проверить, приведет ли это к увеличению продаж и росту конверсии, маркетолог создает усовершенствованный вариант веб-страницы (B, новая страница).

С помощью инструментов для проведения сплит-тестирования эксперт в случайном порядке разделяет трафик между страницами A и B на две приблизительно равные части. Условно говоря, половина посетителей попадает на страницу A, а вторая половина на страницу B. При этом маркетолог держит в уме источники трафика. Чтобы обеспечить валидность и объективность тестирования, необходимо направить на страницы A и B по 50% посетителей, пришедших на сайт из социальных сетей, естественного поиска, контекстной рекламы и т.п.

Собрав достаточно информации, маркетолог оценивает результаты тестирования. Как сказано выше, коэффициент конверсии страницы A составляет 2%. Если на странице B этот показатель составил 2,5%, значит изменение конверсионной кнопки с голубого на красный цвет действительно увеличило эффективность лэндинга. Однако показатель конверсии не достиг желаемых 4%. Поэтому маркетолог дальше ищет способы совершенствования страницы с помощью A/B-тестирования. При этом в качестве контрольной выступит уже страница с красной конверсионной кнопкой.

Что тестировать

Как отмечалось выше, сплит-тестирование — это прикладной метод, позволяющий влиять на различные метрики сайта. Поэтому выбор объекта тестирования зависит от цели и задач, которые ставит перед собой маркетолог.

Например, если показатель отказов посадочной страницы составляет 99%, при этом большинство посетителей покидает лэндинг в течение 2-3 секунд после «приземления», стоит задуматься об изменении визуальных компонентов страницы. С помощью A/B-теста маркетолог может найти оптимальный вариант макета страницы, выбрать привлекательную цветовую гамму и изображения, использовать читабельный шрифт. А если перед маркетологом стоит задача увеличить количество подписок, он может попробовать изменить соответствующую конверсионную форму. Сплит-тест поможет специалисту выбрать оптимальный цвет кнопки, лучший вариант текста, количество полей в форме подписки или ее расположение.

Чаще всего маркетологи тестируют следующие элементы веб-страниц:

• Текст и внешний вид конверсионных кнопок, а также их расположение.
• Заголовок и описание продукта.
• Размеры, внешний вид и расположение конверсионных форм.
• Макет и дизайн страницы.
• Цену товара и другие элементы бизнес-предложения.
• Изображения товаров и другие иллюстрации.
• Количество текста на странице.

Какие инструменты сплит-тестирования использовать

Чтобы выполнить A/B-тестирование, маркетологу необходимо воспользоваться одним из специализированных инструментов. Один из наиболее востребованных – сервис Google «Оптимизация» (до августа 2019 назывался Content Experiments), который является теперь частью новой платформы для маркетологов Google Marketing Platform. С его помощью можно тестировать элементы страниц, включая заголовки, шрифты, конверсионные кнопки и формы, изображения и т. п. «Оптимизация» бесплатна для малого бизнеса и в этом ее большое преимущество по сравнению с конкурентами.

Также можно использовать для проведения сплит-тестирования следующие инструменты:

• Optimizely — наиболее популярный в «буржунете» платный сервис A/B-тестирования. Стоимость его использования не публикуется – для уточнения нужно связаться с отделом продаж. К преимуществам относится возможность создания экспериментов в визуальном интерфейсе, что избавляет маркетолога от необходимости работать с HTML-кодом тестируемых страниц.
• Visual Website Optimizer — платный сервис, позволяющий тестировать различные элементы страницы. Чтобы использовать этот инструмент, маркетологу необходимо иметь навыки работы с HTML-кодом. Стоимость месячной подписки VWO составляет от 99 до 999 долларов.
• Unbounce – сервис, предназначенный для создания и оптимизации лэндингов. В том числе он позволяет выполнять A/B-тестирование. Стоимость использования составляет от 79 до 399 и более долларов в месяц. Является аналогом отечественного LPGenerator и тоже позволяет тестировать только лэндинги, сделанные в нем самом.

Как провести A/B-тестирование с помощью Google Optimize

Сервис «Оптимизация» Google Marketing Platform позволяет одновременно проверить эффективность пяти вариантов страницы. Используя его, можно проводить A/B/N-тестирование, которое отличается от стандартных A/B-экспериментов проверкой сразу несколько гипотез вместо двух.

Маркетолог имеет возможность самостоятельно определять долю трафика, участвующего в тестировании. Минимальная продолжительность теста составляет две недели, максимальная ограничена тремя месяцами. Результаты можно наблюдать в личном кабинете или получить по e-mail.

Чтобы провести сплит-тестирование с помощью «Оптимизации» сделайте следующее:

1. Войдите в аккаунт Google Marketing Platform, откройте сервис «Оптимизация» и создайте свой первый проект. Дайте ему название, укажите URL базовой страницы, копии которой будут тестироваться и выберите режим «Эксперимент A/Б».

2. Зайдите в созданный проект и продолжайте его настройку в соответствии с планом, предлагаемым в подсказке. Последовательно выполните все пункты от 1 до 5.

3. Сначала создайте экспериментальные варианты и добавьте правила таргетинга. Для работы установите в браузер Chrome расширение «Оптимизация» из официального магазина Google. Оно позволяет визуально отредактировать изменения на страницах.

4. Укажите, при переходе на какие URL пользователь будет видеть измененные варианты страницы. Можно задать несколько условий проверки. Главное, не забыть их сразу протестировать, чтобы не было ошибки.

5. Настройте целевую аудиторию. Например, изменения на странице будут показаны только посетителям из Москвы.

6. Выберите стандартные или создайте собственные цели эксперимента. Они должны быть связаны с Google Аnalitics.Например, нас может заинтересовать в виртуальном эксперименте, как зависит количество просмотренных статей блога от цвета фона заголовка h2 на главной. Исследуем, серый или фисташковый?

7. Все готово, осталось только создать код эксперимента и вставить его на страницу. Если непонятно как это сделать, можно выбрать опцию «Отправить код веб-мастеру» или сделайте это самостоятельно. Но для этого нужно немного разбираться в HTML.

Еще важный момент – определить, какая часть трафика будет участвовать в эксперименте. По умолчанию используется все 100 %, а если у вас, как у «Текстерры», миллион уникальных посетителей в месяц – вполне хватить и 20–30 тысяч. А значит, выбираем 3 %.

8. Если все сделано правильно, в меню появится сообщение о том, что проект готов к запуску и будет разблокирована кнопка «Ок».

Вы сможете оценить первые результаты тестирования через несколько суток после начала эксперимента. Чтобы следить за результатами тестирования, выберите соответствующий эксперимент в списке и перейдите на страницу отчетов.

Идеи, эффективность которых стоит обязательно проверить с помощью A/Б-тестирования

Мы уже говорили, что тестирование помогает увеличить эффективность веб-страниц. Чтобы этот метод принес результат, маркетолог должен генерировать идеи, способные позитивно влиять на те или иные метрики сайта. Нельзя просто брать какие-либо изменения с потолка, внедрять их и тестировать эффективность. Например, вряд ли метрики сайта изменятся, если вы просто решите изменить фон заголовка главной страницы, как в прошлом примере.

Маркетолог должен видеть способы улучшения страниц и понимать, почему они должны сработать. Cплит-тестирование просто помогает проверить предположения специалиста. Однако каждый маркетолог иногда оказывается в ситуации, когда все идеи проверены, а необходимого результата достичь не удалось. Если вы попали в такую ситуацию, попробуйте внедрить следующие изменения и проверить их эффективность:

• Используйте конверсионную форму, которая остается перед глазами посетителя при прокрутке страницы. Например, эта форма может быть неподвижно «прикручена» к верхней части экрана, как навигационное меню Facebook.

• Удалите лишние поля из конверсионной формы. Возможно, ваши потенциальные подписчики не хотят раскрывать свои паспортные данные.
• Опубликуйте на посадочной странице видео. Обычно это позитивно влияет на ряд метрик, включая показатель отказов, коэффициент конверсии и время пребывания на странице.
• Увеличьте срок, в течение которого пользователи могут бесплатно тестировать ваш продукт. Это простой и эффективный способ увеличения конверсий для компаний, продающих ПО и веб-сервисы.
• Экспериментируйте с цветом конверсионных кнопок. В некоторых случаях хорошо работают кнопки агрессивного красного цвета. Однако иногда они раздражают пользователей. Используйте A/B-тест, чтобы найти наиболее эффективный цвет кнопки для вашего сайта.
• Пообещайте бонусы первым 10 или 100 покупателям (подписчикам). Не спешите удалять это обещание даже после завершения акции. Многие пользователи не рассчитывают войти в число счастливчиков, однако все равно подсознательно реагируют на выгодное предложение.

Как и зачем тестировать разные варианты страниц

A/Б тестирование позволяет оценить эффективность изменений веб-страниц. Этот маркетинговый метод имеет прикладное значение. Он позволяет практически постоянно совершенствовать страницы, улучшая различные метрики.

Чтобы протестировать то или иное изменение, необходимо создать новый вариант страницы и сохранить старый. После этого следует воспользоваться одним из сервисов для проведения экспериментов, например, «Оптимизацией» Google. Оценку результатов можно проводить как минимум через две недели после его запуска.

kak-provodit-a-b-testirovanie

texterra.ru

6 простых шагов — Академия Яндекса

A/B-тестирование — это неотъемлемая часть процесса работы над продуктом. Это эксперимент, который позволяет сравнить две версии чего-либо, чтобы проверить гипотезы и определить, какая версия лучше. Должны ли кнопки быть черными или белыми, какая навигация лучше, какой порядок прохождения регистрации меньше всего отпугивает пользователей? Продуктовый дизайнер из Сан-Франциско Лиза Шу рассказывает о простой последовательности шагов, которые помогут провести базовое тестирование.

Кому нужно A/B-тестирование

• Продакт-менеджеры могут тестировать изменения ценовых моделей, направленные на повышение доходов, или оптимизацию части воронки продаж для увеличения конверсии.
• Маркетологи могут тестировать изображения, призывы к действию (call-to-action) или практически любые другие элементы маркетинговой кампании или рекламы с точки зрения улучшения метрик.
• Продуктовые дизайнеры могут тестировать дизайнерские решения (например, цвет кнопки оформления заказа) или использовать результаты тестирования для того, чтобы перед внедрением определить, будет ли удобно пользоваться новой функцией.

Вот шесть шагов, которые нужно пройти, чтобы провести тестирование. В некоторые из пунктов включены примеры тестирования страницы регистрации выдуманного стартапа.

1. Определите цели 

Определите основные бизнес-задачи вашей компании и убедитесь, что цели A/B-тестирования с ними совпадают.

Пример: Допустим, вы менеджер продукта в «компании X» на стадии стартапа. Руководству нужно добиться роста количества пользователей. В частности, компания стремится к росту количества активных пользователей (метрика DAU), определяемых как среднее количество зарегистрированных пользователей сайта в день за последние 30 дней. Вы предполагаете, что этого можно добиться либо путем улучшения показателей удержания (процент пользователей, возвращающихся для повторного использования продукта), либо путем увеличения числа новых регистрирующихся пользователей.

В процессе исследования воронки вы замечаете, что 60% пользователей уходят до завершения регистрации. Это означает, что можно повысить количество регистраций, изменив страницу регистрации, что, в свою очередь, должно помочь увеличить количество активных пользователей.

2. Определите метрику 

Затем вам нужно определить метрику, на которую вы будете смотреть, чтобы понять, является ли новая версия сайта более успешной, чем изначальная. Обычно в качестве такой метрики берут коэффициент конверсии, но можно выбрать и промежуточную метрику вроде показателя кликабельности (CTR).

Пример: В нашем примере в качестве метрики вы выбираете долю зарегистрированных пользователей (registration rate), определяемую как количество новых пользователей, которые регистрируются, поделенное на общее количество новых посетителей сайта.

3. Разработайте гипотезу 

Затем нужно разработать гипотезу о том, что именно поменяется, и, соответственно, что вы хотите проверить. Нужно понять, каких результатов вы ожидаете и какие у них могут быть обоснования.

Пример: Допустим, на текущей странице регистрации есть баннер и форма регистрации. Есть несколько пунктов, которые вы можете протестировать: поля формы, позиционирование, размер текста, но баннер на главной странице визуально наиболее заметен, поэтому сначала надо узнать, увеличится ли доля регистраций, если изменить изображение на нём.

Общая гипотеза заключается в следующем: «Если изменить главную страницу регистрации, то больше новых пользователей будут регистрироваться внутри продукта, потому что новое изображение лучше передает его ценности».

Нужно определить две гипотезы, которые помогут понять, является ли наблюдаемая разница между версией A (изначальной) и версией B (новой, которую вы хотите проверить) случайностью или результатом изменений, которые вы произвели.

• Нулевая гипотеза предполагает, что результаты, А и В на самом деле не отличаются и что наблюдаемые различия случайны. Мы надеемся опровергнуть эту гипотезу.
• Альтернативная гипотеза — это гипотеза о том, что B отличается от A, и вы хотите сделать вывод об её истинности.

Решите, будет ли это односторонний или двусторонний тест. Односторонний тест позволяет обнаружить изменение в одном направлении, в то время как двусторонний тест позволяет обнаружить изменение по двум направлениям (как положительное, так и отрицательное).  

4. Подготовьте эксперимент 

Для того, чтобы тест выдавал корректные результаты сделайте следующее:

• Создайте новую версию (B), отражающую изменения, которые вы хотите протестировать.
• Определите контрольную и экспериментальную группы. Каких пользователей вы хотите протестировать: всех пользователей на всех платформах или только пользователей из одной страны? Определите группу испытуемых, отобрав их по типам пользователей, платформе, географическим показателям и т. п. Затем определите, какой процент исследуемой группы составляет контрольная группа (группа, видящая версию A), а какой процент — экспериментальная группа (группа, видящая версию B). Обычно эти группы одинакового размера.
• Убедитесь, что пользователи будут видеть версии A и B в случайном порядке. Это значит, у каждого пользователя будет равный шанс получить ту или иную версию.
• Определите уровень статистической значимости (α). Это уровень риска, который вы принимаете при ошибках первого рода (отклонение нулевой гипотезы, если она верна), обычно α = 0.05. Это означает, что в 5% случаев вы будете обнаруживать разницу между A и B, которая на самом деле обусловлена случайностью. Чем ниже выбранный вами уровень значимости, тем ниже риск того, что вы обнаружите разницу, вызванную случайностью.
• Определите минимальный размер выборки. Калькуляторы есть здесь и здесь, они рассчитывают размер выборки, необходимый для каждой версии. На размер выборки влияют разные параметры и ваши предпочтения. Наличие достаточно большого размера выборки важно для обеспечения статистически значимых результатов.
• Определите временные рамки. Возьмите общий размер выборки, необходимый вам для тестирования каждой версии, и разделите его на ваш ежедневный трафик, так вы получите количество дней, необходимое для проведения теста. Как правило, это одна или две недели.

Пример: На существующем сайте в разделе регистрации мы изменим главную страницу — это и будет нашей версией B. Мы решаем, что в эксперименте будут участвовать только новые пользователи, заходящие на страницу регистрации. Мы также обеспечиваем случайную выборку, то есть каждый пользователь будет иметь равные шансы получить A или B, распределенные случайным образом.

Важно определить временные рамки. Допустим, ежедневно на нашу страницу регистрации в среднем приходит трафик от 10 000 новых пользователей, это означает, что только 5000 пользователей могут увидеть каждую версию. Тогда минимальный размер выборки составляет около 100 000 просмотров каждой версии. 100 000/ 5000 = 20 дней — столько должен продлиться эксперимент.

5. Проведите эксперимент 

Помните о важных шагах, которые необходимо выполнить:

• Обсудите параметры эксперимента с исполнителями.
• Выполните запрос на тестовой закрытой площадке, если она у вас есть. Это поможет проверить данные. Если ее нет, проверьте данные, полученные в первый день эксперимента.
• В самом начале проведения тестирования проверьте, действительно ли оно работает.
• И, наконец, не смотрите на результаты! Преждевременный просмотр результатов может испортить статистическую значимость. Почему? Читайте здесь. 

6. Анализируйте результаты. Наконец-то самое интересное 

Вам нужно получить данные и рассчитать значения выбранной ранее метрики успеха для обеих версий (A и B) и разницу между этими значениями. Если не было никакой разницы в целом, вы также можете сегментировать выборку по платформам, типам источников, географическим параметрам и т. п., если это применимо. Вы можете обнаружить, что версия B работает лучше или хуже для определенных сегментов.

Проверьте статистическую значимость. Статистическая теория, лежащая в основе этого подхода, объясняется здесь, но основная идея в том, чтобы выяснить, была ли разница в результатах между A и B связана с изменениями или это результат случайности или естественных изменений. Это определяется путем сравнения тестовых статистических данных (и полученного p-значения) с вашим уровнем значимости.

Если p-значение меньше уровня значимости, то можно отвергнуть нулевую гипотезу, имея доказательства для альтернативы.

Если p-значение больше или равно уровню значимости, мы не можем отвергнуть нулевую гипотезу о том, что A и B не отличаются друг от друга.

A/B-тестирование может дать следующие результаты:

• Контрольная версия, А выигрывает или между версиями нет разницы. Если исключить причины, которые могут привести к недействительному тестированию, то проигрыш новой версии может быть вызван, например, плохим сообщением и брендингом конкурентного предложения или плохим клиентским опытом.

  В этом сценарии вы можете углубиться в данные или провести исследование пользователей, чтобы понять, почему новая версия не работает так, как ожидалось. Это, в свою очередь, поможет собрать информацию для следующих тестов.

• Версия B выигрывает. A/B-тест подтвердил вашу гипотезу о лучшей производительности версии B по сравнению с версией A. Отлично! Опубликовав результаты, вы можете провести эксперимент на всей аудитории и получить новые результаты.

Заключение

Независимо от того, был ли ваш тест успешным или нет, относитесь к каждому эксперименту как к возможности для обучения. Используйте то, чему вы научились, для выработки вашей следующей гипотезы. Вы можете, например, использовать предыдущий тест или сконцентрироваться на другой области, требующей оптимизации. Возможности бесконечны.

academy.yandex.ru

70 ресурсов, которые послужат хорошим стартом для начинающих / Habr

Сделать веб-сайт доходным можно двумя способами. Первый – привлекать больше трафика, второй – повышать конверсию, т.е. побуждать большее количество посетителей становиться покупателями. Скорее всего, вы уже слышали о том, что трафик можно просто купить – сотни интернет-ресурсов предлагают эту услугу. А не лучше ли оптимизировать конверсию? Как узнать, что именно нужно проверить, и как провести A/B тестирование?

А/В тестированию и оптимизации уровня конверсии посвящено бесчисленное количество ресурсов. Однако, очень редко на сайтах подробно разбирается весь этот процесс целиком от самого начала («Что и как тестировать?») и до конца («Как улучшить конверсию?»).

Дисклэймер: В своем блоге мы очень любим «коллекционировать» статьи, когда в одном месте собрана тщательно отобранная информация о нескольких инструментах и платформах для привлечения трафика на сайт и повышения конверсии. Когда на прошлой неделе NEIL PATEL, гуру в области usability, конверсии и т.п. решил поделиться своим опытом и выложил в широкий доступ свои «A/B тестирование: 70 ресурсов…», мы сразу же решили перевести этот, без преувеличения, кладезь информации для интернет-маркетологов. И теперь уже предоставляем его на ваш суд (вот только за точность перевода отдельных фраз не судите строго).

Что такое А/В тестирование?

Для начала вы должны разобраться, что такое А/В тестирование вообще и для чего оно вам. Вам нужно будет также ознакомиться с некоторой терминологией из данной области, например, А/В тестирование еще называют оптимизацией уровня конверсии.

1. Введение в оптимизацию уровня конверсии – здесь вы узнаете не только об оптимизации уровня конверсии, но и о том, почему это является необходимым.
2. Словарь А/В тестирования – в блоге объясняются технические термины, с которыми вам придется столкнуться.
3. Что такое А/В тестирование? – несколько графических диаграмм, которые объясняют механизм работы А/В теста.
4. Полное руководство по оптимизации посадочной страницы. Лендинговые страницы – это главная составляющая А/В тестирования. Они позволяют подстраиваться под конкретный тип посетителя сайта.

Что и как тестировать?

После того, как вы узнали об А/В тестировании, прочитайте следующие статьи – они помогут разобраться с тем, что и как тестировать.

5. Идеи для А/В тестирования – в статье даны три способа быстрой генерации идей для А/В теста.
6. Как составить А/В тест, используя количественные данные – видео-ролик, из которого вы научитесь анализировать данные и составлять по ним тесты.
7. Как использовать количественные данные для составления тестов – нельзя полагаться исключительно на цифры. Опрос посетителей – хороший способ узнать о том, что именно нуждается в проверке.
8. Качественные вопросы, которые помогут составить хороший А/В тест – если вы пока не знаете, какие вопросы задавать посетителям, прочитайте эту статью.

Как выбирать самые подходящие тесты? Приоритетность

Даже когда вы уже знаете, что именно вам нужно протестировать, нельзя просто запустить тест – необходим план. Есть ресурсы, которые помогут вам его составить.

9. Как составить мощный план А/В тестирования, который принесет результаты – на А/В тестировании можно запросто потерять прибыль. Если снова и снова проводить тесты, которые не приносят результатов, это негативно скажется на доходах. Поэтому убедитесь в том, что у вас есть план, прежде, чем запускать процесс, — это снижает вероятность провала.
10. Три схемы правильного выстраивания приоритетов среди тестов – не все тесты одинаково полезны. Одни обладают более высокой результативностью, чем другие. Поэтому так важно выстроить приоритетность тестирования.
11. Как провести А/В тестирование с максимальной прибылью – если вы новичок, нужно сконцентрироваться на прибыли. Со временем увеличивать доходы становится все труднее, но в самом начале резко увеличить размер прибыли не так сложно.
12. А/В тест или мультивариативный тест: что лучше? – если вам нужно протестировать много изменений, вам, возможно, лучше подойдет мультивариативный тест.

Как проводить тестирование?

Итак, начинаем…

13. Как провести свой первый А/В тест – я написал целую статью о том, как в первый раз проводить тестирование. Если будете следовать моей схеме, то все у вас получится с самого начала.
14. Сплит-тестирование 101 – данное руководство сделает успешным ваш первый опыт тестирования.
15. Как начать: 5 простых шагов – принципы А/В тестирования можно изложить простым языком. Данное руководство расскажет о пяти шагах к успешному началу.
16. Как за 10 минут составить А/В тест, используя Google Analytics — в Google Analytics есть бесплатное приложение для А/В тестирования. Учебное пособие научит вас им пользоваться.

Инструменты и ресурсы

Хотя А/В тестирование – сравнительно новый метод, но появился он не вчера. За время его существования накопилось уже достаточное количество инструментов и ресурсов, которые послужат вам подспорьем.

17. Which test won – на этом веб-сайте представлены тысячи А/В тестов разных компаний. Они даже указывают на то, какой тест принес прибыль (и в каком размере).
18. User Testing – польза обратной связи на сайте неоспорима: так вы поймете, из-за чего именно люди неохотно покупают у вас. Находясь на вашем сайте, пользователи могу зарегистрироваться и предоставлять обратную связь в реальном времени (в России в чем то схожий инструмент предоставляет Fabuza).
19. Crazy Egg – это приложение показывает, по каким ссылкам переходят пользователи и как они ведут себя на сайте. Например, насколько далеко вниз прокручивают страницу – из этого можно понять, находится ли призыв к действию слишком высоко или слишком низко на странице. Вы также увидите, переходят ли пользователи по ссылкам, которые никуда не ведут.
20. Google Experiments – если захотите провести А/В тестирование бесплатно, можете воспользоваться приложением, встроенным в Google Analytics. Оно не самое простое в использовании, зато за него не надо платить.
21. Optimizely – один из самых лучших инструментов для А/В тестирования. Если вы – не разработчик, у вас все равно получится изменить сайт с помощью редактора WSIWYG и проводить тесты.
22. Unbounce – лендинговые страницы удивительным образом увеличивают продажи. С помощью Unbounce лендинги удобно создавать и мгновенно тестировать.
23. Bounce Exchange – если ваш сайт построен в соответствии с принципами лидогенерации, то с помощью данного сервиса вы легко сможете увеличить продажи на 10-20%.
24. Hellobar – теперь с помощью этого бесплатного инструмента вы сможете направлять своих пользователей на страницы, которые лучше всего продают.
25. ConversionXL – замечательный блог о том, что тем или иным образом связано с конверсией. Здесь рассказывается обо всем: можно найти как полезные советы, так и ссылки на полезные ресурсы, рекомендации, касающиеся самого тестирования.
26. Qualaroo – один из моих любимых инструментов качественного анализа. Он позволяет задавать пользователям простые вопросы, которые дают понять, что именно на вашем сайте препятствует продажам.
27. KISSmetrics – проводя тест, вам нужна оптимизация не просто ради увеличения уровня конверсии, а ради увеличения прибыли. KISSmetrics поможет в этом.
28. Полное руководство для оптимизации конверсии – детальное описание механизма А/В тестирования длиной более 30 000 слов.
29. Bryan Eisenberg – хотите почитать хорошую книгу или блог о тестировании – обращайтесь сюда.

Как анализировать результаты

Теперь, когда вы начали свой первый А/В тест, пора учиться анализировать результаты.

30. Как долго проводить тестирование? – прежде, чем анализировать результаты, убедитесь, что тестирование проводилось на протяжении достаточного времени, иначе точная картина результатов не успеет сформироваться.
31. Как анализировать результаты тестирования через Google Analytics – если вы пользуетесь Google Analytics, то воспользуйтесь разнообразными сведениями, которые предоставляет данный сервис.
32. Использование первичных и вторичных показателей конверсии – замечательная статья о том, что именно искать в результатах теста.
33. Калькулятор А/В тестов – простой инструмент, который показывает, какой именно тест оказался успешным.

Как создать контент, который бы увеличил конверсию

Один из лучших способов увеличить процент конверсии – это экспериментировать с вариантами и тестировать все в них, начиная с заголовков, а заканчивая, собственно, текстом рекламных призывов. Предлагаем несколько ресурсов, которые научат вас создать контент, повышающий конверсию.

34. Полное руководство к копирайтингу – если хотите стать экспертом в создании текстов, вам стоит почитать данное руководство.
35. Онлайн копирайтинг сайта с отличной конверсией – 5 основных уроков по результатам 250 сплит-тестов на основе успешных сайтов.
36. Гарантированный метод кардинального улучшения копирайтинга – на данном сайте есть несколько замечательных статей и учебников о том, как создать для сайта контент с высокой конверсией.
37. Маленькие изменения – радикальные улучшения – как легкая корректировка на сайте мощно влияет на продажи. 57-минутное видео раскрывает секреты компании, которая увеличила уровень конверсии на 45%.
38. Учебник копирайтинга – когда сроки поджимают и срочно нужна помощь, посмотрите это видео – это хорошая основа для грамотного копирайтинга.
39. Как небольшие изменения на сайтах приводят к большим прибылям – несколько примеров того, как нужно модифицировать контент, чтобы продажи в режиме онлайн выросли.

А/В тестирование для мобильных приложений

Мобильные устройства значительно меньше компьютера, поэтому приложения для них должны отображать ваш сайт, учитывая этот фактор. Предлагаем несколько советов по улучшению мобильной версии.

40. Советы А/В тестирования для мобильных приложений – прежде, чем начать тестировать мобильную версию сайта, прочитайте данную статью.
41. 10 советов для оптимизации мобильного приложения – на этом видео Стивен Коллинз научит вас, как оптимизировать уровень конверсии для мобильного приложения или игры.
42. Android против iPhone – пользователи могут заходить на ваш сайт с разных устройств, и для каждого из них сайт должен быть оптимально удобным. Статья расскажет об А/В тестировании двух наиболее популярных типов телефонов.
43. А/В тестирование для мобильных приложений – тестировать мобильные версии сайта – не то же самое, что тестировать мобильные приложения. Статья поможет разобраться в этих тонкостях.

А/В тестирование для электронной торговли

Для разных сайтов – разные тесты. Предлагаем несколько ресурсов для владельцев коммерческих сайтов.

44. А/В тестирование для повышения доходности – замечательная электронная книга, которая доходчиво расскажет о том, как улучшить коммерческий сайт. В книге также освещаются возможные недочеты в процессе проверки.
45. 10 стоящих тестов для электронной коммерции – одна из крупнейших платформ электронной торговли, BigCommerce, предлагает 10 тестов, которые стоит провести на своем сайте.
46. А/В тестирование изображений продукта – изображение вашего товара на сайте влияет на то, насколько охотно его покупают. Статья поможет выбрать оптимальные изображения продуктов.
47. Оптимизация электронной торговли от экспертов – 20 профессионалов делятся секретами того, как повысить онлайн продажи.
48. А/В тестирование текста для рекламных кнопок – узнайте, как максимально увеличить эффективность кнопок, призывающих к действию (от «купить сейчас» до «добавить в корзину»).

А/В тестирование SaaS-приложений

Если вы пользуетесь SaaS-приложением или ваша бизнес-модель это подписка, то воспользуйтесь следующими советами:

49. Как можно протестировать SaaS приложение и получить необходимые результаты – простая инфографика для тех, кто пользуется SaaS бизнес-моделью и хочет улучшить конверсию.
50. Как построить и оптимизировать воронку конверсии – когда дело касается приложений SaaS, то не всегда достаточно просто оптимизировать дизайн. Тестирование воронки конверсий может невероятно повысить поток клиентов.
51. Почему не стоит тестировать ценовую политику при помощи А/В тестов – оптимизацию ценовой политики не провести с помощью одного только сплит-теста. По предложенной в статье схеме вам нужно будет оптимизировать доходы, а не конверсию.
52. Почему А/В тестирование лендингов необходимо для любой SaaS компании – если вы стоите бизнес на SaaS модели, вам не обойтись без лендингов. В статье объясняется причина этого и шаги, которые помогут в дальнейшем действовать успешно.
53. Qualaroo для SaaS – качественная обратная связь – один из лучших способов повысить продажи. Статья научит пользователей SaaS бизнес-модели тому, что и как делать.
54. Чему научили меня $252 000, потраченные на оптимизацию конверсии – я нанял консультантов по оптимизации конверсии для проведения А/В тестирования своего SaaS бизнеса. И вот какие уроки я извлек.

А/В тестирование лидогенерации

Лидогенерация и склонение пользователя купить что-то непосредственно у вас на сайте – две разные вещи. Предлагаем несколько ресурсов о том, как провести А/В тестирование лидогенерации.

55. 30 моментов для тестирования в лидогенерации – не знаете, с чего начать? Данный ресурс подкинет идею для тестирования вашей лидогенерации.
56. Как изменение названия журнала увеличило поток пользователей на 232% — кто бы мог подумать, что, всего лишь изменив заглавное изображение, можно так резко повысить посещаемость.
57. Как А/В тестировать форму лидогенерации – корректируя количество и расположение полей формы, вы можете повысить ее привлекательность для потенциальных клиентов.
58. Как компания увеличила поток клиентов на 262% — идеи лучше всего брать из результативного опыта других компаний.
59. Уроки лидогенерации на основе А/В тестов – прежде, чем вы начнете тестировать свои формы лидогенерации, почитайте, как это делали другие, об их ошибках и успехах.
60. 4 А/В теста лидогенерации – презентация в PowerPoint, которая расскажет о 4 тестах, которые были весьма успешны.
61. 10 А/В тестов, которые поднимают продажи – новые идеи (начиная от призывов к действию на формах лидогенерации, а заканчивая количеством контента над формами).
62. Три теста на практичность, которые утроят конверсию лидогенерации – тесты на практичность дадут вам новые идеи о том, как увеличить поток пользователей.

А/В тестирование электронных рассылок

Неважно, что у вас за бизнес, в любом случае электронные рассылки помогут многократно увеличить продажи. Можно протестировать эффективность каждого элемента: от заголовков писем до призывов к действию и, собственно, текстов писем.

63. Кампании электронных рассылок, которые повышают конверсию – если вы еще плохо знакомы с А/В тестами, прочитайте данную статью прежде, чем тестировать свои рассылки.
64. Как провести сплит-тест своих рассылок – приводятся советы о том, как создать оптимальную тему письма и даже о том, как протестировать текст рассылки.
65. А/В тестирование: советы для электронных писем и лендингов – недостаточно просто улучшить конверсию электронных рассылок. Вам необходимо также оптимизировать и лендинговые страницы, на которые переходят с писем.
66. Уроки по тестированию тем электронных писем – команда Coschedule рассказывает, что они узнали в результате 4-месячного тестирования об эффективности тем писем.
67. Как придумывать такие темы для писем, которые увеличат количество открытых писем на 203% — уроки, которые я получил во время А/В тестирования шаблонов писем на Quick Sprout.

Ошибки при А/В тестировании

Помните, что ошибки неизбежны. Однако, учась как на своих, так и на чужих ошибках, вы повышаете свои шансы на успех.

68. 4 А/В теста, которые убьют ваш бизнес – проведение неправильных тестов может навредить делу. Избегайте этих 4-х тестов.
69. 12 ошибок А/В тестирования, которые повторяют снова и снова – даже если кто-то это делает, не значит, что это стоит делать вам.
70. 7 ляпсусов А/В тестирования, которые допускают даже эксперты – избегайте этих ошибок.

Заключение

Теперь, когда вы знаете практически все об А/В тестировании, можете приступать непосредственно к тестированию и оптимизации, главное — постарайтесь не совершать ошибок, свойственных начинающим оптимизаторам конверсии.

Успехов вам и высокой конверсии!

habr.com

ААБ-тестирование как оптимальный вариант сплит-теста / Habr

Что дает добавление еще одной буквы «А» в старый, добрый АБ-тест и почему этого тоже бывает недостаточно для оценки изменений.

ААБ-тест или ABA-тест — это когда трафик делят на три части: первую и вторую направляют на сайт без изменений, а третью с изменениями.

Что это дает?

• Выше точность теста. Считаем, что Б дает относительно достоверный результат только когда А и А сравняются.
• Видны резкие колебания значений А и А, легче понять какой из факторов, искажающих тест в этот момент повлиял.
• Получаем время и количество данных необходимое для будущих тестов.

Факторы, искажающие результаты тестов

1. Недостаточное количество трафика/операций
Вывод делается рано, высокая погрешность.

2. Некорректная ротация
Система или скрипт, который занимается ротацией не дает произвольного и равномерного распределения между блоками теста.

3. Неполная кроссбраузерность
В каком-то из браузеров изменения работаю неправильно. Группа пользователей данного браузера может иметь особенности. Исключение их из теста искажает его результат.

4. Влияние устройств
На разных устройствах изменения могут выглядеть по-разному. Например, на больших экранах небольшие детали не так заметны.

5. Эффект новизны
Пользователи заметили новый элемент на сайте или его изменение, больше на это обращают внимание и он в первое время работает лучше.

6. Эффект привыкания
Пользователи привыкли к каком-то элементу и не замечают его изменение, работают с ним как со старым.

7. Непопадание в покупательский цикл
Во время оценки конверсии период теста может не совпасть с циклом, в который происходит покупка. Другие факторы могут сработать раньше, а на время теста пользователи уже будут подготовленными, тест покажет некорректный результат. Также, у покупательского цикла может быть длительный или отложенный эффект и он не попадет в результаты теста.

8. Другие изменения
Чистого теста добиться очень сложно, во время его проведения могут произойти другие изменения на сайте. На первый взгляд может показаться, что они не связаны, но это косвенно повлияет на тест.

9. Сезонные факторы, распродажи и изменение товарных остатков и другие.

Что можно сделать, чтобы уменьшить эти влияния?

• проводить сплит-тест только на новых пользователях или на новых и старых отдельно.
• использовать несколько систем для контроля.
• выделить на тест отдельный источник трафика.
• делать AAБ-тесты.

Минимальные значения для тестов

По моему опыту это:

для рекламных кампаний 500.000, срок 2 недели.
для конверсии сайта: 500 транзакций, 2 месяца.
для оценки небольших изменений на сайте: 3 тысячи сеансов, неделя.

У каждого проекта цифры свои и определить их поможет как раз ААБ-тест.

А что делать, если нет такого количества на сайте?

• Смириться, что сплит-тесты пока у вас не работают.
• Оставить тесты работающими, пусть набирают статистику.
• Использовать другие способы проверки гепотез (опросы, изучение конкурентов, оценка поведения пользователей).
• Работать над минимизацией искажений в будущих тестах. Когда-то придет их время, а вы уже готовы.

Классическое АБ-тестирование

По этому поводу написано много, не вижу смысла повторяться. Пожалуй, имеет смысл дать ссылки на сервисы, с помощью которых можно делать тесты в том числе многовариантные:

Эксперименты в Google Analitycs — отличный вариант для новичка.
Changeagain.me, Convert.com, Vwo.com, Optimizely.com — мощные, платные сервисы с интеграцией с аккаунтом в Google Analytics.
A/Bingo — серверные фреймворки для Ruby.
В рекламной системе Google Adsense функция эксперименты тоже есть.

Отмечу также Онлайн-калькулятор критериев значимости сплит-теста

и сервис построения графиков по его результатам.

АА-тестирование

Для оценки корректного времени и необходимого количества данных иногда применяют АА-тесты, когда на тест ставят одно и то же, без изменений. Этот подход имеет право на жизнь, но он занимает отдельное время. Кроме того, с момента проведения АА до проведения АБ-теста что-то может измениться.

Плюсы и минусы AАБ

Подводя итоги можно сказать, что ААБ-тесты требуют больше ресурсов (трафика, времени, денег), но дают более точный и уверенный результат. Для его улучшения также применяют систему ААББ. В любом случае, для нового проекта или типа изменений стоит сделать один-два раза именно ААБ-тест, затем можно перейти на классические АБ.

Всем хороших тестов!

Смотрите также: Как получить максимальный доход с рекламных систем на своем сайте.

habr.com

что это, как и зачем проводить

А/В-тестирование – это маркетинговый инструмент, с помощью которого можно повысить эффективность работы сайта. Его также называют сплит-тестированием (Split Testing). Данный метод предназначен для улучшения конверсии, средней величины чека, времени пребывания на сайте, снижения процента отказов и т. д.

Суть А/В-тестирования заключается в сравнении контрольной страницы А (оригинал) и ее созданного аналога В (новая страница) с внесенными изменениями. Весь трафик делится между страницами А и В. Затем сравниваются основные показатели. Если новая версия оправдала ожидания и, например, конверсия увеличилась, тогда весь трафик направляют на страницу В.

В дальнейшем, когда будут тестироваться новые изменения, улучшенная версия будет выступать в роли контрольной страницы А.

При работе со сплит-тестированием важно грамотно оценивать метрики контрольной и новой страниц, а также правильно распределять трафик (не всегда его нужно делить 50 на 50). Кроме того, для корректной работы нужно исключить влияние сегментов друг на друга, снизить воздействие внешних и внутренних факторов. Тестирование необходимо проводить параллельно и в одинаковых условиях.

А/В-тестирование не всегда используется для улучшения посадочных страниц сайта. Его возможности позволяют провести тесты и в других местах.

Как провести А/В-тестирование

Рассмотрим пример. Пользователю необходимо повысить конверсию посадочной страницы, трафик на которую идет через контекстную рекламу. Сейчас данный показатель составляет 2,5 %. Чтобы добиться увеличения, пользователь хочет изменить дизайн страницы. Он создает новую страницу В и ведет туда часть трафика. В результате на странице с новым дизайном конверсия выросла до 3 % вместо планируемых 4 %. Чтобы увеличить конверсию еще больше, можно изменить текст на странице, например придумать новый призыв к действию. Теперь в роли контрольной страницы А будет выступать страница с новым дизайном. В данном примере аналогичным образом можно попробовать изменить сами объявления КР (заголовки, тексты и т. д.), поработать над их релевантностью, так как основной трафик поступает именно оттуда. При использовании А/В-тестирования важно получить объективные данные и статистику.

Что тестировать

А/В-тестирование – это прикладной метод. Он влияет на различные метрики, поэтому выбирать, что менять, нужно на основании поставленных целей и задач.

Чаще всего тестируются следующие компоненты страниц.

• Заголовки. Шрифт, цвет, расположение, содержание, их количество – все это влияет на удержание и привлечение внимания посетителя сайта. Порой одно лишь изменение шрифта заголовка помогает улучшить внешний вид всей страницы.
• Текст. Аналогично заголовкам. Текст должен быть читабельным и визуально приятным. Количество текста, его шрифт, цвет, расположение – все это имеет не меньшее значение, чем само содержание.
• Кнопки. Как правило, кнопки являются главным элементом, который привлекает внимание пользователей. Поэтому изменение внешнего вида, их расположение, оформление могут изменить показатели в лучшую сторону.
• Изображения. Используйте качественные и красивые изображения. Не важно, будь то фото товара или фоновая картинка лендинга. Даже мельчайший сдвиг картинки может полностью изменить визуальное восприятие.
• Дизайн страницы. Плохой дизайн зачастую оказывается тем фактором, который способствует большому числу отказов. Тестируйте новые макеты, шаблоны как всего сайта, так и его отдельных элементов. Ищите наиболее продуктивный вариант.
• Бизнес-предложения и цены. Тестировать можно не только внешний вид страницы. Создать новое бизнес-предложение иногда бывает эффективнее, чем кропотливо менять дизайн, тексты, кнопки и месяцами добиваться улучшения конверсии.

Это лишь наиболее часто тестирующиеся компоненты. На практике же изменениям подвергается все, что, по мнению руководителей, способно увеличить продажи.

Сервисы

Чтобы проводить сплит-тесты, маркетологи используют следующие сервисы:

• Content Experiments,
• Optimizely,
• ABTest.ru,
• RealRoi.ru,
• Visual Website Optimizer,
• Unbounce.

wiki.rookee.ru

что это такое, как и зачем проводить сплит-тестирование, как анализировать результаты

A/B-тестирование – метод маркетингового исследования, в ходе которого тестируется 2 и более вариантов некоторого звена воронки продаж с целью выявления наиболее эффективного из них. A/B-тестирование, оно же – сплит-тестирование – может применяться для лендингов, интернет-магазинов и других типов сайтов, а также для рекламных кампаний и почтовых рассылок
.

Для чего это нужно?

Любые интерфейсы, которые взаимодействуют с клиентом, имеют разные составные элементы, которые можно улучшать, чтобы клиент превратился из потенциального в действительного.

Как понять – улучшать?

Изначально почти нет чётких критериев хорошего, эффективного инструмента онлайн-продаж. Рассмотрим методологию на примере сайтов. Конечно, известны элементарные правила в духе того, что салатовый текст на красном фоне – не самое профессиональное решение. Или, скажем, кнопка «купить» должна быть по размеру больше, чем курсор мыши. Но если не брать в расчёт азы, а пойти в сторону гроус-хакинга, то правильных ответов становится всё меньше, а потребности в тестах – больше.

Вряд ли опытный маркетолог даст однозначный ответ, стоит ли перекрашивать CTA на вашей продающей странице из фиолетового в синий или добавлять новое поле в лид-форму. Во многих случаях рекомендацией будет проведение Аб-теста, и это абсолютно взвешенное решение.

Аудитории из разных регионов и источников, разного пола и возраста, в разное время дня и года могут непредсказуемо отличаться по поведению. Факторов насчитывается тысячи, и именно поэтому необходимо проводить исследования на практике.

Что именно улучшат A/B-тесты?

Существует несколько основных категорий показателей, оптимизируемых с помощью A/B-тестирования.

Доля пользователей, совершающих целевые действия. Благодаря улучшениям страницы больший процент посетителей будет регистрироваться, оформлять подписку или совершать покупки. Конверсию в звонок же поможет отследить коллтрекинг.

Коллтрекинг

Покажет, какая реклама приносит звонки, а какая просто тратит бюджет

• Отслеживайте все звонки с сайта с точностью определения источника рекламы выше 96%
• Отслеживайте звонки с оффлайн рекламы и визиток с помощью статических номеров
• Получайте чистый пул номеров, который выделяется именно вашей компании
• Анализируйте подробные отчеты по звонкам: источник перехода, браузер, девайс, гео и другое
• Слушайте записи звонков в удобном плеере для повышения качества работы колл-центра и отдела продаж

• Финансовые показатели

Одна из главных целей работы сайта – обеспечение наибольшего количества продаж. Чем более «дружелюбно» интерфейс настроен к пользователю, тем больше денег он будет оставлять. Конкретное выражение финансовые метрики находят в величине среднего чека, ежемесячном объёме продаж, стоимости привлечения клиента (CAC). Полезно в данном случае внедрять специфические дополнения, связанные непосредственно с покупками. Например, suggestive алгоритмы, которые предлагают пользователю товары, чаще других добавляемые в корзину с теми, что он выбрал.

• Поведенческие факторы

Под поведенческими факторами понимают взаимодействие пользователя с сайтом – время, проведённое на нём, глубина просмотра, выраженная в количестве страниц. Также сюда относят процент постоянных посетителей, долю отказов (bounce rate), CTR сниппета в поисковой выдаче и ряд других факторов.

Подготовка аб-теста

Когда лучше не пытаться

Для начала, необходимо удостовериться, что A/B-тестирование в вашем случае уместно и актуально. Существует ряд обстоятельств, когда к аб-тестам лучше даже не приступать. В каких случаях следует воздержаться?

• Полное непонимание методологии

Казалось бы, очевидно, но смотрите пункт выше об очевидных ассоциациях. Если вы ни разу не проводили аб-тестирование и с трудом представляете, что это такое, то передайте задачу профессионалу. Если же вам просто необходимо самостоятельно научиться проводить аб-тесты, ознакомьтесь с теорией и успешными кейсами, учитывающими отраслевую специфику. Следует как можно тщательнее подготовиться и обезопасить себя от непредвиденных результатов.

• Отсутствие потока конверсий

Нет смысла прибегать к аб-тестированию, если нет стабильного и, главное, статистически значимого потока заявок или продаж. Эффект масштаба от применения изменений, описанных ранее, зачастую не такой грандиозный и играет роль лишь в случаях, когда пара процентов прибавки к конверсии означают условный дополнительный миллион прибыли. Вместе с тем, полезно иметь налаженную систему аналитики, иначе информация останется сухими цифрами, между которыми нет взаимосвязей

• Нет чёткой гипотезы

A/B-тестирование проводится с опорой на допущение об улучшении показателей при конкретном изменении частного элемента страницы. Должно присутствовать ясное предположение о том, что данный элемент настроен неэффективно и есть возможность его улучшить. Когда предположение отсутствует, формулируется случайно и безосновательно, A/B-тестирование становится обычной забавой и тратой времени. Кажется, что кнопка не того цвета – тестируем цвет кнопки. Кажется, что pop-up форма всплывает слишком быстро при прокрутке – меняем время появления.

Если всё в порядке – алгоритм действий

У A/B-тестирования есть понятный алгоритм, следуя которому, вы запустите тест с достоверными результатами.

• Сформулировать гипотезу

Как было упомянуто ранее, аб-тест должен иметь лаконичное обоснование: «В данный момент конверсии неудовлетворительны, так как данный элемент страницы расположен неправильно, и если мы изменим его координаты, конверсии могут улучшиться.» Никаких размытых «Давайте сделаем страницу более продающей» быть не должно.

• Определить границы изменений

Тестируется один элемент за один раз. Тем более, недопустимо проводить полную переделку страницы. У каждой модификации – свои последствия, которые выражаются как качественно (лучше/хуже), так и в абсолютных величинах (больше на 10 конверсий, на 100 и так далее). Если видоизменяются 2 и более элементов, результаты не скажут ни о чём, кроме того, какой эффект даёт совокупность изменений. При этом, эффект каждого изменения по отдельности проследить не удастся. Подобное применимо только в случае создания сайта с нуля, когда не ясно вообще ничего и требуется выбрать не дизайн отдельного элемента, а концепцию как таковую, чтобы в дальнейшем дорабатывать её.

• Определить продолжительность а/б теста

Продолжительность зависит от посещаемости ресурса, но в любом случае лучше проводить a/b-тестирование не менее 2 недель.

• Обеспечить идентичность трафика

Нужно постараться направить на оба варианта страницы абсолютно однородную аудиторию. Если ab-тестирование проводится с помощью Google Experiments в связке с Google Ads, можно настроить автоматическое выполнение всех необходимых условий – система сама будет делить трафик. Если вы используете несколько источников посещений, следует везде прописать разные адреса ссылок, либо воспользоваться сервисами по проведению ab-тестов (о них – дальше).

• Контролировать процесс и анализировать результаты

В ходе настройки теста что-то может пойти не так и всегда важно быть в курсе происходящего. По окончании аб-теста соберите все результаты и проверьте их статистическую значимость.

Полезные рекомендации

Существует несколько правил проведения качественных аб-тестов, которые необходимо соблюдать:

Это уже было сказано, но важно повторить: тестируйте лишь один элемент за один эксперимент. Даже два изменённых элемента на странице могут дать противоположные или на порядки различающиеся результаты, оставив неопределённость – какой же из них подействовал.

Тестирование всех вариантов проводится одновременно. На результаты могут повлиять любые факторы, зависящие от периода проведения. Если одна из страниц будет протестирована прямо перед сезоном отпусков, а другая – во время, поведение клиентов может радикально отличаться в обоих случаях.

Из предыдущего пункта также следует, что для тестов лучше выбирать как можно более стандартный период времени, не сопровождаемый какими-либо резкими изменениями в экономике и обществе (те же отпуска, праздники, масштабные события).

Для того, чтобы рассчитать оптимальные параметры а/б-тестирования – длительность и охват, можно воспользоваться онлайн-инструментами, разработанными специально для этих целей.

Во вкладке «Размер выборки» пользователь задаёт исходную конверсию и процент, на который она должна измениться для признания теста успешным. В ответ система выведет число уникальных посетителей для каждого из вариантов страницы, необходимое для достижения эффекта.

• vwo.com/ab-split-test-duration/

Этот калькулятор содержит большее количество параметров, чем предыдущий, включая посещаемость сайта, изначальную конверсию, количество вариантов для теста и другие. Результатом подсчёта будет количество дней, в течение которых необходимо проводить а/б-тестирование.

Запуск а/б-тестирования

Что крутить в процессе?

При аб-тестировании обычно изменяют несколько составляющих сайта:

• Структура и дизайн страницы

На лендингах зачастую главным экраном служит обычная промо-иллюстрация, растянутая на весь экран, которую необходимо пролистать. Возможно, эта необходимость отталкивает многих пользователей и стоит добавить элементы взаимодействия сразу на первый экран. Бывает, что порядок блоков не соответствует логике сбора информации и принятия решения со стороны пользователя. Скроллинг 10 экранов с описанием преимуществ товара в ожидании цены может попросту утомить. Тогда несостоявшийся клиент вернётся к поисковой выдаче в расчёте на более быстрое ознакомление с условиями у конкурентов.

• Описания товаров и услуг

Имеет значение как сам текст, так и расположение блока с товарами и услугами, его плотность (количество столбцов на странице), соотношение размеров изображения и текста. Последние должны быть релевантны тому, что вы действительно продаёте, коротко и внятно описывать суть.

• Дизайн конверсионных форм

У конверсионной формы есть своё оптимальное место и размер. Также важно количество и содержание полей. Многие злоупотребляют объёмом информации, собираемой у пользователей. Часто для качественного обслуживания владельцу компании достаточно знать имя клиента, но вместо этого некоторые стремятся вытянуть из пользователя и фамилию, и отчество, и как можно больше контактных данных. Определитесь с тем набором информации, который вам реально необходим и не отпугнёт клиента.

• Дизайн кнопок

Существует правило BOB – big orange button. Согласно исследованиям, большая оранжевая кнопка чаще других способствует совершению покупок. Но в случае, когда фон сайта того же цвета или соблюдаются любые другие стандарты дизайна, не позволяющие разместить именно такую кнопку, приходится искать индивидуальные решения. Можно взять какой-либо шаблон, как отправную точку, но обязательно при этом провести A/B-тестирование для поиска более эффективных альтернатив.

Иногда копирайтеры пишут настолько расплывчато, что далеко не всем ясно, какой товар продаётся, в чём его преимущество и где окажется пользователь, перейдя по ссылке. В данном случае – чем проще, тем лучше. Призывы к действию должны быть ясными и односложными: «Купить», «Узнать», «Заказать звонок», «Подписаться на рассылку». Не забывайте чаще упоминать элементарные, но полезные свойства своих фич и продуктов. Они очевидны для вас и, возможно, даже для потенциального клиента, но у него нет повода вытянуть эту ассоциацию из подсознания. Именно поэтому ему нужно помочь и напомнить, что, между прочим, рассылка, на которую он подписывается, бесплатна, а служба поддержки берёт трубку после первого гудка.

Инструменты

Конструкторы сайтов могут иметь встроенный функционал проведения a/b-тестирования. Вы и сами можете провести эксперимент, вручную разделив потоки пользователей, собирая и анализируя статистику. Но есть ряд сервисов, которые специально предназначены для проведения подобного рода тестов.

Наиболее выдающийся и известный сервис в мире. Аналитика в любой плоскости и удобные визуальные редакторы.

Также зарубежный сервис. Достаточно мощный, но требует навыков работы с вёрсткой.

Примечательна интеграция с Google Analytics, что позволяет быстро и точно синхронизироваться с уже настроенной системой аналитики.

Отечественный аналог сервисов аб-тестирования. Прост и удобен в использовании.

Пример настройки

Для демонстрации удобнее рассмотреть Google Experiments, как инструмент, который наиболее вероятно будет использовать веб-мастер. Он доступен и стандартен.

В Google Analytics зайдите во вкладку Поведение → Эксперименты. Создайте эксперимент. Целью является действие, совершаемое пользователем на странице. Процент трафика лучше сделать небольшим, если планируются существенные изменения. Для ускорения аб-теста можно увеличить долю.

Введите адреса страниц, которые участвуют в тестировании. Получите код для вставки. Важно: скрипт добавляется только на исходную страницу.

Запустите тест.

Стоит отметить, что вопреки расхожему мнению Google не воспринимает а/б-тесты в качестве маскировки и накрутки. Напротив, компания в руководстве по настройке говорит обратное: Google относится к конструктивному тестированию абсолютно нейтрально.

Анализ результатов

Практика показывает, что большая часть a/b-тестов не может похвастаться статистической значимостью. Проще говоря, полученные результаты не могут указывать на устойчивые закономерности. Чтобы этого не произошло, необходимо тщательно проводить настройку аб-тестирования, а в конце – аналитику по собранным данным.

Ранее упоминавшийся сервис tools.driveback.ru помогает веб-мастерам также оценить и статистическую значимость результатов тестирования. Чтобы воспользоваться функцией оценки, нажмите на вкладку «Статистическая значимость» и внесите в поля свои данные.

Ещё лучше, если вы владеете статистическим анализом. В таком случае полезно будет рассмотреть разброс значений по каждому варианту и определить пересечение между двумя распределениями. Если оно достаточно велико, и у каждой выборки большая дисперсия, результаты вряд ли можно назвать значимыми – в них много случайной составляющей. А проанализиравоть результаты и выявить самые эффективные каналы с наибольшей конверсией вам помогут отчеты Calltouch.

 

Сквозная аналитика

Подробные отчеты от вложений до прибыли по каждому рекламному каналу

• Учитывайте все типы обращений: звонки, заявки, чаты, корзины, колбеки
• Получайте данные из CRM и рекламных площадок
• Стройте воронку от показов рекламы до сделок
• Более 30 показателей эффективности в отчетах

 

blog.calltouch.ru