Как провести A/B-тестирование: 6 простых шагов

A/B-тестирование — это неотъемлемая часть процесса работы над продуктом. Это эксперимент, который позволяет сравнить две версии чего-либо, чтобы проверить гипотезы и определить, какая версия лучше. Должны ли кнопки быть черными или белыми, какая навигация лучше, какой порядок прохождения регистрации меньше всего отпугивает пользователей? Продуктовый дизайнер из Сан-Франциско Лиза Шу рассказывает о простой последовательности шагов, которые помогут провести базовое тестирование.

Кому нужно A/B-тестирование

— Продакт-менеджеры могут тестировать изменения ценовых моделей, направленные на повышение доходов, или оптимизацию части воронки продаж для увеличения конверсии.

— Маркетологи могут тестировать изображения, призывы к действию (call-to-action) или практически любые другие элементы маркетинговой кампании или рекламы с точки зрения улучшения метрик.

— Продуктовые дизайнеры могут тестировать дизайнерские решения (например, цвет кнопки оформления заказа) или использовать результаты тестирования для того, чтобы перед внедрением определить, будет ли удобно пользоваться новой функцией.

Вот шесть шагов, которые нужно пройти, чтобы провести тестирование. В некоторые из пунктов включены примеры тестирования страницы регистрации выдуманного стартапа.

1. Определите цели 

Определите основные бизнес-задачи вашей компании и убедитесь, что цели A/B-тестирования с ними совпадают.

Пример: Допустим, вы менеджер продукта в «компании X» на стадии стартапа. Руководству нужно добиться роста количества пользователей. В частности, компания стремится к росту количества активных пользователей (метрика DAU), определяемых как среднее количество зарегистрированных пользователей сайта в день за последние 30 дней. Вы предполагаете, что этого можно добиться либо путем улучшения показателей удержания (процент пользователей, возвращающихся для повторного использования продукта), либо путем увеличения числа новых регистрирующихся пользователей.

В процессе исследования воронки вы замечаете, что 60% пользователей уходят до завершения регистрации. Это означает, что можно повысить количество регистраций, изменив страницу регистрации, что, в свою очередь, должно помочь увеличить количество активных пользователей.

2. Определите метрику 

Затем вам нужно определить метрику, на которую вы будете смотреть, чтобы понять, является ли новая версия сайта более успешной, чем изначальная. Обычно в качестве такой метрики берут коэффициент конверсии, но можно выбрать и промежуточную метрику вроде показателя кликабельности (CTR).

Пример: В нашем примере в качестве метрики вы выбираете долю зарегистрированных пользователей (registration rate), определяемую как количество новых пользователей, которые регистрируются, поделенное на общее количество новых посетителей сайта.

3. Разработайте гипотезу 

Затем нужно разработать гипотезу о том, что именно поменяется, и, соответственно, что вы хотите проверить. Нужно понять, каких результатов вы ожидаете и какие у них могут быть обоснования.

Пример: Допустим, на текущей странице регистрации есть баннер и форма регистрации. Есть несколько пунктов, которые вы можете протестировать: поля формы, позиционирование, размер текста, но баннер на главной странице визуально наиболее заметен, поэтому сначала надо узнать, увеличится ли доля регистраций, если изменить изображение на нём.

Общая гипотеза заключается в следующем: «Если изменить главную страницу регистрации, то больше новых пользователей будут регистрироваться внутри продукта, потому что новое изображение лучше передает его ценности».

Нужно определить две гипотезы, которые помогут понять, является ли наблюдаемая разница между версией A (изначальной) и версией B (новой, которую вы хотите проверить) случайностью или результатом изменений, которые вы произвели.

— Нулевая гипотеза предполагает, что результаты, А и В на самом деле не отличаются и что наблюдаемые различия случайны. Мы надеемся опровергнуть эту гипотезу.

— Альтернативная гипотеза — это гипотеза о том, что B отличается от A, и вы хотите сделать вывод об её истинности.

Решите, будет ли это односторонний или двусторонний тест. Односторонний тест позволяет обнаружить изменение в одном направлении, в то время как двусторонний тест позволяет обнаружить изменение по двум направлениям (как положительное, так и отрицательное).   

4. Подготовьте эксперимент 

Для того, чтобы тест выдавал корректные результаты сделайте следующее:

— Создайте новую версию (B), отражающую изменения, которые вы хотите протестировать.

— Определите контрольную и экспериментальную группы. Каких пользователей вы хотите протестировать: всех пользователей на всех платформах или только пользователей из одной страны? Определите группу испытуемых, отобрав их по типам пользователей, платформе, географическим показателям и т. п. Затем определите, какой процент исследуемой группы составляет контрольная группа (группа, видящая версию A), а какой процент — экспериментальная группа (группа, видящая версию B). Обычно эти группы одинакового размера.

— Убедитесь, что пользователи будут видеть версии A и B в случайном порядке. Это значит, у каждого пользователя будет равный шанс получить ту или иную версию.

— Определите уровень статистической значимости (α). Это уровень риска, который вы принимаете при ошибках первого рода (отклонение нулевой гипотезы, если она верна), обычно α = 0. 05. Это означает, что в 5% случаев вы будете обнаруживать разницу между A и B, которая на самом деле обусловлена случайностью. Чем ниже выбранный вами уровень значимости, тем ниже риск того, что вы обнаружите разницу, вызванную случайностью.

— Определите минимальный размер выборки. Калькуляторы есть здесь и здесь, они рассчитывают размер выборки, необходимый для каждой версии. На размер выборки влияют разные параметры и ваши предпочтения. Наличие достаточно большого размера выборки важно для обеспечения статистически значимых результатов.

— Определите временные рамки. Возьмите общий размер выборки, необходимый вам для тестирования каждой версии, и разделите его на ваш ежедневный трафик, так вы получите количество дней, необходимое для проведения теста. Как правило, это одна или две недели.

Пример: На существующем сайте в разделе регистрации мы изменим главную страницу — это и будет нашей версией B. Мы решаем, что в эксперименте будут участвовать только новые пользователи, заходящие на страницу регистрации. Мы также обеспечиваем случайную выборку, то есть каждый пользователь будет иметь равные шансы получить A или B, распределенные случайным образом.

Важно определить временные рамки. Допустим, ежедневно на нашу страницу регистрации в среднем приходит трафик от 10 000 новых пользователей, это означает, что только 5000 пользователей могут увидеть каждую версию. Тогда минимальный размер выборки составляет около 100 000 просмотров каждой версии. 100 000/ 5000 = 20 дней — столько должен продлиться эксперимент.

5. Проведите эксперимент 

Помните о важных шагах, которые необходимо выполнить:

— Обсудите параметры эксперимента с исполнителями.

— Выполните запрос на тестовой закрытой площадке, если она у вас есть. Это поможет проверить данные. Если ее нет, проверьте данные, полученные в первый день эксперимента.

— В самом начале проведения тестирования проверьте, действительно ли оно работает.

— И, наконец, не смотрите на результаты! Преждевременный просмотр результатов может испортить статистическую значимость. Почему? Читайте здесь. 

6. Анализируйте результаты. Наконец-то самое интересное 

Вам нужно получить данные и рассчитать значения выбранной ранее метрики успеха для обеих версий (A и B) и разницу между этими значениями. Если не было никакой разницы в целом, вы также можете сегментировать выборку по платформам, типам источников, географическим параметрам и т. п., если это применимо. Вы можете обнаружить, что версия B работает лучше или хуже для определенных сегментов.

Проверьте статистическую значимость. Статистическая теория, лежащая в основе этого подхода, объясняется здесь, но основная идея в том, чтобы выяснить, была ли разница в результатах между A и B связана с изменениями или это результат случайности или естественных изменений. Это определяется путем сравнения тестовых статистических данных (и полученного p-значения) с вашим уровнем значимости.

Если p-значение меньше уровня значимости, то можно отвергнуть нулевую гипотезу, имея доказательства для альтернативы.

Если p-значение больше или равно уровню значимости, мы не можем отвергнуть нулевую гипотезу о том, что A и B не отличаются друг от друга.

A/B-тестирование может дать следующие результаты:

— Контрольная версия, А выигрывает или между версиями нет разницы. Если исключить причины, которые могут привести к недействительному тестированию, то проигрыш новой версии может быть вызван, например, плохим сообщением и брендингом конкурентного предложения или плохим клиентским опытом.

В этом сценарии вы можете углубиться в данные или провести исследование пользователей, чтобы понять, почему новая версия не работает так, как ожидалось. Это, в свою очередь, поможет собрать информацию для следующих тестов.

— Версия B выигрывает. A/B-тест подтвердил вашу гипотезу о лучшей производительности версии B по сравнению с версией A. Отлично! Опубликовав результаты, вы можете провести эксперимент на всей аудитории и получить новые результаты.

Заключение

Независимо от того, был ли ваш тест успешным или нет, относитесь к каждому эксперименту как к возможности для обучения. Используйте то, чему вы научились, для выработки вашей следующей гипотезы. Вы можете, например, использовать предыдущий тест или сконцентрироваться на другой области, требующей оптимизации. Возможности бесконечны.

A/B тест — это просто / Хабр

A/B тестирование — это мощный маркетинговый инструмент для повышения эффективности работы вашего интернет-ресурса. С помощью A/B тестов повышают конверсию посадочных страниц, подбирают оптимальные заголовки объявлений в рекламных сетях, улучшают качество поиска.

Мне часто приходится сталкиваться с задачами организации A/B тестирования в различных интернет-проектах. В этой статье хочу поделиться необходимыми базовыми знаниями для проведения тестов и анализа результатов.

Зачем нужны А/B тесты?

Итак, представим ситуацию, наш проект запущен в жизнь, на нем собирается трафик, пользователи активно используют ресурс. И в один прекрасный день мы решили что-то поменять, например, разместить всплывающий виджет для удобства подписки на новости.

Наше решение — это интуитивное предположение о том, что пользователям ресурса станет проще подписываться на новые материалы, мы ожидаем повышения числа подписчиков.

Наши предположения и гипотезы строятся на основе личного опыта и наших взглядов, которые совсем не обязательно совпадают со взглядами аудитории нашего ресурса. Другими словами, наше предположение вовсе не означает, что после внесения изменений мы получим желаемый эффект. Для проверки таких гипотез мы и проводим A/B тесты.

Как проводим тесты?

Идея A/B тестирования очень проста. Пользователи ресурса случайным образом делятся на сегменты. Один из сегментов остается без изменений — это контрольный сегмент “A”, на основе данных по этому сегменту мы будем оценивать эффект от вносимых изменений. Пользователям из сегмента “B” показываем измененную версию ресурса.

Чтобы получить статистически значимый результат, очень важно исключить влияние сегментов друг на друга, т. е. пользователь должен быть отнесен строго к одному сегменту. Это можно сделать, например, записав метку сегмента в cookies браузера.

Для снижения влияния внешних факторов, таких как рекламные кампании, день недели, погода или сезонность, замеры в сегментах важно делать параллельно, т.е. в один и тот же период времени.

Кроме того, очень важно исключить и внутренние факторы, которые также могут существенно исказить результаты теста. Таким факторами могут быть действия операторов call-центра, служба поддержки, работа редакции, разработчики или администраторы ресурса. В Google Analytics для этого можно воспользоваться фильтрами.

Число пользователей в сегментах не всегда удается сделать равным, в связи с этим метрики, как правило, выбираются относительные, т.е. без привязки к абсолютным значениям аудитории в сегменте. Нормирование осуществляется либо на число посетителей, либо на число просмотров страниц. Например, такими метриками могут быть средний чек или CTR ссылки.

Одной из причин делить аудиторию непропорционально может быть существенное изменение в интерфейсе. Например, полное обновление устаревшего дизайна сайта, изменение системы навигации или добавление всплывающей формы для сбора контактной информации. Такие изменения могут привести как к положительным, так и к отрицательным эффектам в работе ресурса.

Если есть опасение, что изменение может иметь сильное негативное влияние, например, привести к резкому оттоку аудитории, то, на первом этапе, имеет смысл тестовый сегмент делать не очень большим. В случае отсутствия негативного эффекта, размер тестового сегмента можно постепенно увеличить.

Что улучшаем?

Если вы собираетесь провести A/B тестирование на своем ресурсе, то наверняка у вашего проекта уже сформированы основные показатели, которые необходимо улучшить. Если таких показателей еще нет, тогда самое время о них задуматься.

Показатели прежде всего определяются целями проекта. Ниже приведу несколько популярных метрик, которые используются в интернет-проектах.

Конверсия

Конверсия вычисляется как доля от общего числа посетителей, совершивших какое-либо действие. Действием может быть заполнение формы на посадочной странице, совершение покупки в интернет-магазине, регистрация, подписка на новости, клик на ссылку или блок.

Экономические метрики

Как правило, эти метрики применимы для интернет-магазинов: величина среднего чека, объем выручки, отнесенный на число посетителей

интернет-магазина.

Поведенческие факторы

К поведенческим факторам относят оценку заинтересованности посетителей в ресурсе. Ключевыми метриками являются: глубина просмотра страниц — число просмотренных страниц, отнесенное к числу посетителей на сайте, средняя продолжительность сессии, показатель отказов — доля пользователей, покинувших сайт сразу после первого захода, коэффициент удержания (можно считать, как 1 минус % новых пользователей).

Одного показателя не всегда достаточно для оценки эффекта от вносимых изменений. Например, после изменений на сайте интернет-магазина средний чек может уменьшиться, но общая выручка вырасти за счет повышения конверсии посетителя в покупателя. В связи с этим, важно контролировать несколько ключевых показателей.

Анализ результатов

Отлично, ключевые показатели определены, тест запущен и мы получили первые данные. В этот момент, особенно если данные соответствуют нашим ожиданиям, возникает соблазн сделать поспешные выводы о результатах тестирования.

Торопиться не стоит, значения наших ключевых показателей могут меняться день ото дня — это значит, что мы имеем дело со случайными величинами. Для сравнения случайных величин оценивают средние значения, а для оценки среднего значения требуется некоторое время, чтобы накопить историю.

Эффект от внесения изменения определяют как разность между средними значениями ключевого показателя в сегментах. Тут возникает следующий вопрос, насколько мы уверены в достоверности полученного результата? Если мы еще раз проведем тест, то какова вероятность того, что мы сможем повторить результат?

Ниже на картинках приведены примеры распределения значений показателя в сегментах.

Графики распределения характеризуют частоту появления того или иного значения случайной величины в выборке. В данном случае все значения распределены вокруг среднего.

На обеих картинках средние значения показателя в соответствующих сегментах одинаковы, картинки отличаются только разбросом значений.

Данный пример хорошо иллюстрирует, что разности средних значений недостаточно для того, чтобы считать результат достоверным, необходимо также оценить площадь пересечения распределений.

Чем меньше пересечение, тем с большей уверенностью мы можем сказать, что эффект действительно значим. Эта “уверенность” в статистике называется значимостью результата.

Как правило, для принятия положительного решения об эффективности изменений уровень значимости выбирают равным 90%, 95% или 99%.

Пересечение распределений при этом равно соответственно 10%, 5% или 1%. При невысоком уровне значимости существует опасность сделать ошибочные выводы об эффекте, полученном в результате изменения.

Несмотря на важность этой характеристики, в отчетах по A/B тестам, к сожалению, часто забывают указать уровень значимости, при котором был получен результат.

Кстати, на практике примерно 8 из 10 A/B тестов не являются статистически значимыми.

Стоит отметить, что чем больше объем трафика в сегментах, тем меньше разброс среднесуточных значений показателя. При небольшом трафике из-за большего разброса значений случайной величины потребуется больше времени для проведения эксперимента, но в любом случае это лучше, чем вовсе не проводить эксперимент.

Оценить значимость результатов

Для сравнения случайных величин математики придумали целый раздел под названием проверка статистических гипотез. Гипотез всего две: “нулевая” и “альтернативная”.

Нулевая гипотеза предполагает, что разница между средними значениями показателя в сегментах незначительна. Альтернативная гипотеза предполагает наличие существенной разницы между средними значениями показателя в сегментах.

Для проверки гипотез существует несколько статистических тестов. Тесты зависят от характера измеряемого показателя. В общем случае, если мы считаем среднесуточные значения, можно воспользоваться тестом Стьюдента. Этот тест хорошо зарекомендовал себя для небольших объемов данных, т.к. учитывает размер выборки при оценке значимости.

В качестве примера приведу сравнение средней длительности сессии в сегментах на одном из ресурсов, для которых я проводил эксперимент: studentttest.xls.

Тест Стьюдента — универсален, его можно применять как для измерений конверсии, так и для таких количественных показателей как средний чек, средняя глубина просмотра или время, проведенное пользователем на сайте.

В случае, если вы измеряете только конверсию, то вы имеете дело с бинарной слуайной величиной, которая принимает только два значения: посетитель “сконвертировался” и “не сконвертировался”. Для оценки статистической значимости в этом случае можно воспользоваться он-лайн калькулятором.

Инструменты

Для организации теста необходим инструмент, позволяющий разметить аудиторию по сегментам и посчитать значения ключевых показателей отдельно в каждом сегменте.

Если ваши ресурсы позволяют, то такой инструмент можно реализовать самостоятельно на основе анализа логов действий пользователей. Если ресурсы ограничены, то стоит воспользоваться сторонним инструментом. Например, в Google Analytics есть возможность задавать пользовательские сегменты.

Существует ряд сервисов, которые позволяют полностью автоматизировать процесс тестирования, например, тотже Google Analytics Experiements, примеры других сервисов можно найти в обзоре.

А дальше?

В статье приведены базовые знания, необходимые для проведения A/B тестов и анализа результатов. Следующий шаг — это продуктовая аналитика. В завершении хочу поделиться ссылкой на отличную презентацию по продуктовой аналитике с примерами A/B тестирования от Курышева Евгения.

Откройте для себя выигрышные варианты с помощью A/B-тестирования

Веб-экспериментация Тестирование ВВО A/B-тестирование

Создавайте и проводите A/B-тестирование различных версий своего веб-сайта, чтобы постоянно находить наиболее эффективные версии, повышающие конверсию.

Начать бесплатную пробную версию Запросить демонстрацию

Настройте свои A/B-тесты именно так, как вы хотите

Тестирование VWO предоставляет вам мощные возможности для настройки ваших тестов именно так, как вы хотите, чтобы вы могли экспериментировать в масштабе.

Запустите несколько тестов одновременно

Запустите несколько тестов на своей странице с эксклюзивным распределением трафика для каждого из них, чтобы результаты ваших тестов не мешали друг другу.

Лазерный таргетинг ваших тестов

Запуск тестов на основе поведения посетителя на сайте, включая щелчок по элементу, время, проведенное на странице, прокрутку страницы и намерение выйти.

Мощный редактор для маркетологов и разработчиков

Визуальный редактор

Быстро вносите изменения в свои целевые страницы без написания кода с помощью визуального редактора VWO. Отредактируйте любой существующий элемент на своей веб-странице или добавьте новый контент. Получите рекомендации по копированию и сделайте элементы динамичными. С Визуальным редактором вам не нужно зависеть от доступности ИТ-команды, чтобы изменить страницы для A/B-тестирования.

Узнать больше

Редактор кода

Теперь ваша ИТ-команда может вносить сложные изменения с помощью HTML, CSS, JavaScript и jQuery в расширенном редакторе кода. Вы можете легко включать библиотеки JS/CSS и определять JS/CSS на уровне кампании для создания сложных и сложные A/B-тесты.

Запустите тесты с готовыми к использованию пользовательскими виджетами

Используйте готовые настраиваемые виджеты, встроенные в визуальный редактор. Быстро добавляйте и тестируйте баннеры, модальные окна, формы, таймеры и многое другое, чтобы определить, что приводит к улучшению ваших ключевых показателей. И все это без написания ни строчки кода.

Проверьте свои гипотезы

Начните A/B-тестирование, соединив свои тесты с определенной гипотезой и связав ее со всеми исследованиями, проведенными в процессе. Гипотезы содержат указание на ваши ожидания от теста. Соединяя тесты с гипотезами, вы сможете позже увидеть, соответствуют ли фактические результаты тестирования вашим ожиданиям.

Проанализируйте эффективность своей кампании

Обратите особое внимание на эффективность ваших A/B-тестов с помощью расширенных возможностей отчетности VWO.

SmartStats

SmartStats дает интеллектуальные результаты для принятия разумных бизнес-решений и сокращает время тестирования. Это байесовский статистический механизм, созданный для маркетологов, которым необходимо принимать решения на основе бизнес-реальности, а не для ученых, работающих в идеальных лабораторных условиях.

Улучшение и вероятность стать лучшим

Посмотрите, какое улучшение коэффициента конверсии принес вариант, и какова вероятность того, что он станет лучшим вариантом.

Диапазон коэффициента конверсии

Вместо того, чтобы сообщать количество конверсий в процентах, SmartStats вычисляет с вероятностью 99% точный диапазон, в котором находится ваш коэффициент конверсии.

Отслеживание влияния по всей воронке

Отслеживание нескольких показателей A/B-тестирования, чтобы измерить его влияние на всю воронку и принять обоснованные бизнес-решения.

Настраиваемые отчеты

Если вашим коллегам по обработке данных нужны дополнительные сведения, они могут их получить. Абсолютные потенциальные потери, графики кривой вероятности, подробные отчеты о расчетах и ​​многое другое.

Подробная сегментация

Нарезайте результаты теста, чтобы выявить скрытых победителей. Узнайте, сильно ли конверсия определенного сегмента ваших посетителей отличается от средней конверсии для конкретной цели или варианта.

Вы можете использовать 20 предварительно созданных сегментов VWO, таких как мобильный и настольный трафик или новые и вернувшиеся посетители, или использовать настраиваемые параметры, чтобы сравнить конверсию вошедших в систему посетителей и гостей или посетителей, которые видели рекламную акцию, и тех, кто этого не сделал. .

Соедините информацию о поведении с тестами

Подключенная платформа VWO предлагает уникальную возможность связывать информацию о фактическом поведении посетителей с данными и результатами тестов.

Интегрированные тепловые карты

VWO автоматически записывает тепловые карты и карты кликов для посетителей, становящихся частью ваших тестов. Наряду с данными о конверсии для вашего контроля и варианта вы можете визуально увидеть, какие части вашей целевой страницы были более интересны посетителям, которые совершили конверсию на варианте.

Записи посетителей

Хотите узнать, как различия в управлении и вариациях влияют на то, как посетители взаимодействуют с вашей целевой страницей? VWO позволяет фильтровать фактические записи посетителей, которые видели элемент управления, и сравнивать их с теми, кто видел изменение, чтобы выявить изменения в поведении.

(Требуется подписка на VWO Insights)

Проверьте, что видят ваши посетители

Предварительный просмотр и контроль качества контроля и вариантов ваших A/B-тестов, прежде чем показывать их своим посетителям.

Предварительный просмотр в реальном времени

Предварительный просмотр в реальном времени позволяет имитировать вариант, загружая вариант так, как он будет загружаться для реальных посетителей веб-сайта в их браузерах. Вы можете проверить варианты, ориентированные на уникальные наборы аудитории, и посмотреть, работает ли распределение трафика должным образом.

Кроссбраузерное/кросс-девайсное тестирование

Предварительный просмотр ваших вариантов на настольных компьютерах, мобильных устройствах, планшетах и ​​в различных типах веб-браузеров, чтобы гарантировать, что все ваши посетители получат наилучшие впечатления от вашего веб-сайта.

Предварительный просмотр скриншотов

Посмотреть статическую версию управления и вариации в разных браузерах. Вы можете сгруппировать эти скриншоты по вариантам или браузерам в зависимости от ваших предпочтений.

VWO Testing может предложить гораздо больше

Умные уведомления

Умные уведомления дают вам краткий обзор вашего теста. Вы можете увидеть, привело ли изменение к разумному решению, рекомендуемому действию для вашего теста и сколько времени вам нужно для запуска этого теста.

Кампании для конкретных устройств

Проведите тесты с посетителями, пришедшими с настольных компьютеров, мобильных устройств или планшетов.

Междоменное тестирование

Запускайте A/B-тестирование в разных доменах и собирайте все данные в одном тесте.

Планирование

VWO позволяет запланировать запуск тестовых кампаний A/B на более позднюю дату или время в соответствии с вашими уникальными предпочтениями.

Загрузка отчетов

Загрузка данных испытаний в формате .csv для автономного анализа. Поделитесь им со своими коллегами для углубленного анализа ваших тестов.

Интеграция со сторонними приложениями

VWO интегрируется с множеством сторонних приложений, включая Google Analytics, Kissmetrics, Demandware, Magento и другие. Полный список интеграций смотрите здесь.

Сегменты с лазерным таргетингом

Используйте сегментацию посетителей VWO, чтобы указать, какая группа посетителей увидит изменение. Вы можете выбирать из 20 предопределенных сегментов VWO, таких как новые и вернувшиеся посетители, параметры браузера и запроса, или создавать свои собственные пользовательские сегменты, используя сложные логические условия.

Постоянные цели

Вы можете выбрать цель из своего списка постоянных целей для измерения в тесте A/B. В дополнение к прямому влиянию A/B-тестирования на эффективность вашей цели, это также поможет вам понять, как серия A/B-тестов влияет на конверсии для конкретной цели.

Цели кампании

Хотите оптимизировать цель, специфичную для этого A/B-теста? Определите новую цель при создании A/B-теста, и VWO проанализирует, как ваш тест повлияет на выполнение этой цели.

Потрясающий! Ваша встреча подтверждена по телефону

Спасибо, что поделились своими данными.

Шаг 1/4

Привет 👋 Давайте запланируем вашу демонстрацию

Для начала, расскажите нам немного о себе

Имя

Недействительное Имя

Фамилия

Неверная Фамилия

Рабочий адрес электронной почты

Недействительный адрес электронной почты

Номер телефона

Недействительный номер телефона

VWO может отправлять соответствующие электронные письма, пока я не откажусь от подписки.

Продолжая, вы соглашаетесь с нашими Условиями и Политикой конфиденциальности

Хотя мы предоставим демоверсию, которая охватывает всю платформу VWO, поделитесь с нами некоторыми подробностями, чтобы

персонализировал демо для вас.

Выберите возможности, на которые вы хотели бы обратить внимание во время демонстрации.

A/B-тестирование Сплит-тестирование Опросы Многовариантное тестирование Тестирование многоруких бандитов Персонализация Анализ формы Анализ поведения посетителей Воронкообразный анализ Тестирование мобильных приложений Тестирование на стороне сервера Записи сеансов Тепловые карты Развертывание/развертывание Сегментация пользователей Управление функциями Управление данными клиентов

Что из этого похоже на вас?

Я новичок в использовании продуктов для оптимизации и экспериментов. Я использовал другие продукты для оптимизации и экспериментов. Я использовал VWO в прошлом и хорошо знаю пространство.

Пожалуйста, поделитесь примерами использования, целями или потребностями, которые вы пытаетесь решить.

, все готово для знакомства с демонстрацией VWO.

Я не могу дождаться встречи с вами по телефону

Менеджер по работе с клиентами

, спасибо, что поделились подробностями. Ваш специальный представитель VWO свяжется с вами в ближайшее время, чтобы назначить время для этой демонстрации.

Мы довольны и рады, что выбрали VWO. Мы получаем ROI от наших экспериментов.

Кристофер Чельберг CRO-менеджер

VWO очень помог нам в наших усилиях по оптимизации. Возможности тестирования безграничны, и это позволило нам легко определять, настраивать и запускать несколько тестов одновременно.

Елизавета Левитан Специалист по цифровой оптимизации

Мне, как руководителю проекта нашего экспериментального процесса, нравится, как функциональность VWO позволяет нам быстро приступить к работе, но также дает нам гибкость для более сложного тестирования.

Тара Роу Менеджер по маркетинговым технологиям

Вам не нужен опыт разработки веб-сайтов, чтобы VWO работал на вас. Команда поддержки VWO потрясающая

Элизабет Романски Менеджер по потребительскому маркетингу и аналитике

Нам доверяют тысячи ведущих брендов

Есть вопрос или индивидуальный запрос? Спросите здесь

Мы понимаем, что вы, возможно, не захотите просматривать весь сайт, чтобы получить ответы или узнать, предлагаем ли мы определенную функцию, поэтому мы упростили вам задачу

Имя: ^*

Неверное имя

Фамилия: ^*

Неверная фамилия

Рабочий адрес электронной почты: ^*

Неверный адрес электронной почты

Вопрос:

VWO может отправлять соответствующие электронные письма, пока я не откажусь от подписки.

Отправляя сообщение, вы соглашаетесь с нашими Условиями и Политикой конфиденциальности

Спасибо за ваш вопрос!

Менеджер по работе с клиентами VWO свяжется с вами в ближайшее время.

Решение SaaS для A/B-тестирования, используемое быстрорастущими компаниями — VWO

Проводите A/B-тесты, основанные на исследованиях, для ваших потенциальных клиентов и жизненного цикла пользователей, чтобы оптимизировать важные показатели: от бесплатной пробной версии до покупки и т. д.

Начать бесплатную пробную версию Запросить демонстрацию

Нам доверяют сотни быстрорастущих SaaS-компаний по всему миру

Создайте предсказуемый рост доходов для вашего бизнеса SaaS

Превратите больше посетителей в квалифицированных потенциальных клиентов, а платных пользователей в восторженных поклонников

Знайте, где ваши потенциальные клиенты и пользователи застревают

Встаньте прямо на их место

Используйте качественные исследования для глубокого погружения узнать, как потенциальные клиенты воспринимают ваш веб-сайт, и найти полезную информацию для улучшения их опыта.

Воспользуйтесь отзывами из первых рук

Соберите отзывы от посетителей вашего веб-сайта и пользователей приложений, используя масштабируемые опросы на странице, чтобы устранить препятствия на их пути.

Узнайте, как проводить качественные исследования пользователей с помощью VWO.

A/B-тестирование, чтобы узнать, что движет иглой конверсии

Усовершенствуйте позиционирование и обмен сообщениями вашего бренда

Оцените важнейшие элементы вашей маркетинговой стратегии, такие как позиционирование и обмен сообщениями, путем тестирования того, что работает, и отказа от принятия решений HiPPO.

Используйте данные для оптимизации воронки вашего веб-сайта

Ваши данные тестирования подобны золотой жиле. Используйте его для каждого решения, которое вы принимаете — от совершенствования вашего ценностного предложения до улучшения процесса адаптации.

Посмотрите, как работает A/B-тестирование в VWO

Глубоко экспериментируйте с вашими продуктами и приложениями

Создавайте программные продукты мирового класса

Включите эксперименты в свою продуктовую стратегию, чтобы создавать программные продукты, без которых ваши клиенты не могут жить, и заставить ваш продукт продавать себя.

Минимизируйте влияние на производительность даже в масштабе

Выполняйте важные тесты, которые глубоко проникают в ваши продукты с минимальным влиянием на производительность, реализуя их с использованием подхода на стороне сервера.

Узнайте, как вы можете экспериментировать внутри своего стека продуктов

Влияйте на существующий трафик, чтобы повысить количество конверсий

Мгновенное развертывание настраиваемых виджетов

Добавляйте панели приветствия, модальные окна, всплывающие окна и многое другое на свой веб-сайт, чтобы продвигать срочные предложения, делиться важными обновлениями и т. д. с нуля участие со стороны ИТ.

Посмотрите, как вы можете добавлять всплывающие окна и модальные окна

Верните упущенные возможности без перенацеливания рекламы

Обратитесь к упущенным потенциальным клиентам с помощью актуальных контекстных сообщений с помощью push-уведомлений, чтобы вернуть их в воронку продаж.

Подробнее о собственных каналах взаимодействия

Мы понимаем, что делает SaaS-бизнес успешным

Вот как мы можем помочь вам в достижении ваших целей

Ускорить лидогенерацию за счет оптимизации Visitor-to-MQL Rate

Получите полное представление о воронке вашего веб-сайта, чтобы выявить утечки и исправить все точки трения на пути ваших потенциальных клиентов.

Сократите время до получения первой ценности за счет усовершенствования адаптации пользователей

Поэкспериментируйте с шагами процесса адаптации и ускорьте процесс получения пользователями ценности от вашего продукта.

Протестируйте различные стратегии ценообразования, чтобы максимизировать доход

Плата за пользователя, по функциям или по уровням? Увеличьте доход, выяснив правильную структуру ценообразования для вашего SaaS.

Сократите число отказов от форм, исправив низко висящие плоды

Выясните, что вызывает отказ от ваших форм, запустите тесты, чтобы упростить их, и посмотрите, как ваши коэффициенты конверсии растут и падают.

Уверенное и эффективное предоставление новых продуктов/функций

Снижайте риски, связанные с запуском новых продуктов и функций, путем поэтапного развертывания функций с помощью поэтапного развертывания функций.

Создание собственного маркетингового канала из существующего трафика

Преобразование существующего трафика веб-сайта в маркетинговых подписчиков и использование его в качестве собственного канала распространения контента и маркетинга.

История успеха

Тщательное A/B-тестирование увеличивает количество регистраций на бесплатную пробную версию

на 12,5%

Teamleader — это SaaS-компания со штаб-квартирой в Генте, Бельгия, которая разрабатывает унифицированную платформу CRM, выставления счетов и планирования проектов для малого и среднего бизнеса. Хотя Teamleader в основном сосредоточен в Европе, он обслуживает более 40 000 клиентов по всему миру.

---

Их основная цель заключалась в том, чтобы увеличить количество бесплатных пробных подписок, генерируемых на регулярной основе.

Тест I

Тест: Добавление «Кредитная карта не требуется»

Гипотеза: Явное заявление пользователям о том, что им не нужно будет использовать свои кредитные карты, уменьшит трения

Победитель: Вариант

12,5% Улучшенные конверсии

Тест II

Тест: Оптимизация форм

Гипотеза: Изменение CTA, размера шрифта, количества полей формы и добавление знака звездочки для обязательных полей формы повысит производительность форм

Победитель: Вариант

9,3% Улучшение конверсии

Тест III

Тест: Знакомство с социальным доказательством

Гипотеза: Включение логотипов клиентов повысит доверие потенциальных клиентов

Победитель: Вариант II

12% Увеличение числа конверсий

Тест IV

Тест : Знакомство со значками в полях формы

Гипотеза: Добавление значков улучшит заполнение форм

Победитель: Вариант

13,1% Улучшенные конверсии

Скачать эту историю успеха

VWO позволил нам переориентироваться на оптимизацию опыта с новым объективом. Связность платформы позволила мне и моей команде очень легко наращивать наши усилия.

Рубен Тен Бринке

Координатор маркетинговых операций

Вот что делает VWO подходящей платформой оптимизации конверсии для вашего SaaS

Отмеченная наградами круглосуточная поддержка, которая поможет вам в вашем путешествии по оптимизации

Наслаждайтесь специализированной круглогодичной поддержкой технических экспертов, которые помогут устранить все препятствия.

Узнать больше

Несколько инструментов оптимизации конверсии на одной подключенной платформе

Обеспечьте согласованное определение ваших данных на всей платформе и забудьте о манипулировании несколькими автономными инструментами для вашего бизнеса SaaS.

Узнать больше

Совместная работа в команде для анализа идей и сбора идей для тестирования

Вся ваша команда может вносить свои идеи в центральный репозиторий, помогая вам разрабатывать лучшие идеи для экспериментов. Что еще? Отслеживайте их до завершения.

Узнать больше

Обеспокоенность всей вашей организации по поводу использования инструмента A/B-тестирования тщательно рассмотрена

Будет ли VWO подключаться к моим существующим инструментам и системам?

VWO обеспечивает беспроблемную интеграцию с вашим существующим технологическим стеком . Вы можете выбрать доступную готовую интеграцию с ведущими платформами веб-аналитики , электронной коммерции, CMS, аналитики продаж и ABM , среди прочих, или просто создать собственную интеграцию с помощью VWO Rest API .

Интеграция VWO со сторонним инструментом позволяет вам отправить данные тестирования VWO во внешний инструмент , а также позволяет использовать данные, предоставленные этими инструментами, для таргетинговых кампаний по тестированию ваших объектов.

Посмотреть все доступные интеграции

Как вы гарантируете, что код не замедлит мой сайт?

Смарт-код VWO тщательно создавался и претерпевал значительные изменения на протяжении многих лет. Всего один асинхронный код для запуска всех наших возможностей загружается параллельно с вашим веб-сайтом , тем самым сократив время загрузки страницы во время любой кампании.

Вы можете быть уверены, что даже при высокой нагрузке скорость вашего веб-сайта не будет иметь нулевое влияние, загружаясь, обеспечивая восхитительный опыт для ваших пользователей каждый раз.

Узнайте больше о безударной нагрузке

У меня недостаточно ресурсов или опыта для масштабирования моей экспериментальной программы. Как вы можете помочь?

Имея более 2000 кампаний в течение 18 000 часов оптимизации, мы предлагает собственный опыт через VWO Services , команду аналитиков-стратегов, дизайнеров UX, ориентированных на конверсию, и опытных создателей контента , чтобы создать высокоэффективную стратегию оптимизации для вашего бизнеса SaaS.

Мы выступаем в качестве надежного расширения вашей существующей команды и поддерживаем ваши проекты по оптимизации на протяжении всего вашего сотрудничества с нами.

Узнайте больше об услугах VWO

Я не уверен, могу ли я доверить данные о своих веб-ресурсах другому инструменту. Как вы можете меня успокоить?

Мы понимаем важность данных в современном постоянно развивающемся цифровом ландшафте и их значение для операций наших клиентов, поэтому обеспечение их конфиденциальности и соответствия требованиям имеет для нас первостепенное значение.

В VWO безопасность является главным приоритетом и лежит в основе того, как мы создаем наши продукты, политики и процессы с целью обеспечить высокую устойчивость к угрозам безопасности данных.

Узнайте больше о безопасности данных VWO и соответствии требованиям

Изучите наши ресурсы SaaS

Узнайте все тонкости оптимизации опыта для отрасли SaaS

Вебинар

Как команды разработчиков стимулируют рост с помощью экспериментов в приложениях

Смотреть сейчас

Блог

Поедание собственной тестовой версии — как оптимизировать доход от SaaS-бизнеса

Прочитать

Вебинар

Как оптимизировать хранение SaaS

Смотреть сейчас

Потрясающий! Ваша встреча подтверждена по телефону

Спасибо, что поделились своими данными.

Шаг 1/4

Привет 👋 Давайте запланируем вашу демонстрацию

Для начала, расскажите нам немного о себе

Имя

Недействительное Имя

Фамилия

Неверная Фамилия

Рабочий адрес электронной почты

Недействительный адрес электронной почты

Номер телефона

Недействительный номер телефона

VWO может отправлять соответствующие электронные письма, пока я не откажусь от подписки.

Продолжая, вы соглашаетесь с нашими Условиями и Политикой конфиденциальности

Хотя мы предоставим демоверсию, которая охватывает всю платформу VWO, поделитесь с нами некоторыми подробностями, чтобы

персонализировал демо для вас.

Выберите возможности, на которые вы хотели бы обратить внимание во время демонстрации.

A/B-тестирование Сплит-тестирование Опросы Многовариантное тестирование Тестирование многоруких бандитов Персонализация Анализ формы Анализ поведения посетителей Воронкообразный анализ Тестирование мобильных приложений Тестирование на стороне сервера Записи сеансов Тепловые карты Развертывание/развертывание Сегментация пользователей Управление функциями Управление данными клиентов

Что из этого похоже на вас?

Я новичок в использовании продуктов для оптимизации и экспериментов. Я использовал другие продукты для оптимизации и экспериментов. Я использовал VWO в прошлом и хорошо знаю пространство.

Пожалуйста, поделитесь примерами использования, целями или потребностями, которые вы пытаетесь решить.

, все готово для знакомства с демонстрацией VWO.

Я не могу дождаться встречи с вами по телефону

Менеджер по работе с клиентами

, спасибо, что поделились подробностями. Ваш специальный представитель VWO свяжется с вами в ближайшее время, чтобы назначить время для этой демонстрации.

Мы довольны и рады, что выбрали VWO. Мы получаем ROI от наших экспериментов.

Кристофер Чельберг CRO-менеджер

VWO очень помог нам в наших усилиях по оптимизации.