Что именно такое A/B эксперимент и зачем оно необходимо
A/B эксперимент представляет из себя метод сравнения нескольких а также разных версий веб-страницы, дизайна, копирайта, CTA-элемента, анкеты, email-сообщения, маркетингового креатива или иного веб объекта. Основная функция состоит в том этом, чтобы выяснить, какая вариант результативнее функционирует при фактической аудитории. Без опоры на предположений и субъективных мнений задействуется проверка в рамках живой группы пользователей, где первая доля видит вариант A, и вторая — вариант B.
Подобный метод дает возможность принимать действия с опорой на результатах данных, но не субъективных мнений либо единичных выводов. В аналитических публикациях, включая 1 win, нередко отмечается, будто A/B проверка наиболее полезно в тех случаях, где точечные изменения имеют шанс влиять на действия посетителей: клики, оформления профилей, заполнение форм, глубину просмотра, удержание, заказы, подписки либо прочие заданные шаги. Метод помогает проверить, на самом деле ли конкретно изменение усиливает 1win результат.
Каким образом функционирует A/B проверка
Логика А/Б проверки относительно прост. Вначале выбирается объект, который необходимо проверить. Это способен оказаться headline, оттенок кнопки, порядок блоков, текст сообщения, структура анкеты, изображение, цена, вариант предложения либо место целевого элемента. Затем создаются не менее пары версии: контрольный плюс измененный. После этого посещения разделяется между вариантами по до запуска заданным правилам.
Одна группа посетителей остается получать старую версию, тогда как тестовая получает измененную. Платформа собирает данные о реакциях каждой группы а также сопоставляет метрики. Если решение B показывает лучший эффект при значительном массиве наблюдений, эту версию получается внедрять. Если разницы не видно либо обновленная вариация показывает себя менее эффективно, правка не принимается. В таком подходе как раз состоит реальная значимость эксперимента: такой метод позволяет оценивать гипотезы до момента массового 1вин внедрения.
Почему нужно A/B эксперимент
A/B тестирование необходимо с целью сокращения неопределенности. На уровне онлайн платформах включая незначительная деталь имеет шанс влиять на восприятие экрана. Конкретный headline имеет шанс оказаться понятнее альтернативного, краткая заявка имеет шанс проходиться регулярнее длинной, и заметно более видимая CTA может повысить число кликов. При отсутствии проверки подобные решения часто выглядят гипотезами.
Метод дает возможность развивать продукт шаг за шагом. Вместо крупной реконструкции всего сайта а также сервиса допустимо проверять точечные элементы а также измерять фактический эффект. Такая логика снижает угрозу ошибочных правок, сокращает расход ресурсы плюс помогает формировать знания касательно реакциях аудитории. С течением накоплением тестов команда 1 win получает не совокупность суждений, а базу подтвержденных подходов.
Какие объекты допустимо сравнивать
Сравнивать можно почти что разный объект, что влияет по части поведение посетителя. Обычно в большинстве случаев тестируют заголовки, подзаголовки, призывы на действию, тексты элементов действия, формы регистрации, место блоков, изображения, страницы позиций, последовательность этапов, сортировки, меню, баннеры, подсказки, рассылки плюс промо объявления. Важно, чтобы указанный блок был связан с конкретной конкретной целью.
Если задача заключается в необходимости росте отправленных форм, правильно тестировать заявку, формулировку рядом с этого блока, количество полей плюс видимость CTA. Если важно усилить глубину сессии, следует тестировать навигацию, модули рекомендаций, внутрисайтовые ссылки плюс логику раздела. Если точнее соотношение 1win среди правкой а также целью, настолько полезнее итог тестирования.
Проверяемая идея в качестве база проверки
Любой корректный A/B тест стартует на основе проверяемой идеи. Предположение объясняет, какого типа решение рассматривается, почему это изменение имеет шанс сказаться в отношении результат а также какой именно показатель может поменяться. Например, допустимо допустить, будто упрощение анкеты регистрации сократит число незавершенных действий, поскольку что посетителю потребуется значительно меньше времени с целью завершения шага.
Хорошая гипотеза не обязана следует казаться очень размытой. Фраза вроде «улучшить раздел качественнее» не дает возможность зафиксировать эффект. Более ценный вариант: «если заменить длинный формулировку элемента действия на краткий а также точный, объем нажатий повысится, поскольку что именно ожидаемый результат будет понятнее». Эта гипотеза непосредственно 1вин указывает предмет эксперимента, логику а также критерий.
Контрольная а также измененная группы
В A/B эксперименте базовая аудитория просматривает старый вариант, а экспериментальная — измененный. Это разделение необходимо с целью корректного анализа. Если без контроля поменять страницу а также сравнить результаты до изменения и после, результат способен исказиться из-за сезонности, маркетинговой активности, смены источников трафика, событий, технических проблем а также других окружающих причин.
Параллельный запуск нескольких вариантов снижает влияние непредвиденных обстоятельств. Контрольная и тестовая выборки остаются в схожей обстановке: тот же а также тот идентичный срок, те же каналы трафика, близкие девайсы и единый контекст. Из-за этого различие в показателях с высокой 1 win повышенной степенью вероятности связано в первую очередь с корректировкой, и не не с внешними факторами.
Какого типа критерии задействуются при А/Б проверках
Метрика — представляет собой число, согласно которого оценивается эффект теста. Подбор критерия определяется на основе задачи эксперимента. Для страницы с размещенной заявкой важны отправки заявок, для торговой площадки — добавления к корзину и транзакции, в случае медиаресурса — длина просмотра а также период просмотра, ради приложения — создания аккаунтов, активации, retention плюс дальнейшие 1win действия.
Необходимо разграничивать ключевую плюс вспомогательные показатели. Основная отражает, зачем какого результата запускается тест. Вспомогательные помогают выявить побочные последствия. В частности, изменение элемента действия может повысить клики, при этом снизить ценность последующих шагов. Следовательно полезно анализировать не исключительно только на начальный шаг, а также еще на последующее поведение: окончание формы, возвраты, уходы, ошибки и общую значимость результата.
Математическая достоверность
Статистическая существенность показывает, насколько вероятно, что зафиксированная разница в паре вариантами не является оказывается случайной. Если один решение немного опережает другой по итогам нескольких малого числа визитов, такой результат еще не означает показывает выигрыш. На фоне небольшом объеме сведений результат может оперативно сдвинуться, когда 1вин аудитория окажется объемнее.
С целью корректного вывода необходимо нужное количество данных. Чем меньше планируемая отличие между версиями, тем самым объемнее данных необходимо собрать. Когда корректировка должна увеличить результат лишь на пару %, эксперименту будет необходимо больше срока и посещений. Расчетная достоверность помогает не делать выносить быстрые решения по результатах случайных колебаний.
Объем аудитории плюс срок проверки
Масштаб аудитории влияет по части качество результата. В случае если проверка видит очень мало посетителей, выводы могут оказаться неточными. Например, несколько новых нажатий в конкретной выборке имеют шанс показываться как увеличение, однако на большем масштабе окажутся обычной колебанием. Из-за этого перед запуском полезно понимать, какой объем пользователей 1 win а также событий нужно для подтверждения предположения.
Продолжительность эксперимента дополнительно получает значение. Слишком сжатый тест может не учитывать отражать отличия в паре будними плюс выходными периодами, дневной и поздней активностью, отличающимися каналами посещений. Как правило эксперимент должен включать целый цикл активности посетителей. Но при этом слишком долгий тест также нежелателен, в случае если внешние обстоятельства могут существенно измениться.
По какой причине опасно менять тест по ходу процесс запуска
Одна в числе распространенных ошибок — добавлять изменения внутрь эксперимент после момента начала. В случае если по ходу середине проверки поменять текст, аудиторию, оформление, условия вывода а также задачу, показатели станут неоднородными. Тогда окажется трудно выяснить, что конкретно повлияло по части результат. Проверка утратит прозрачность, а результаты окажутся сомнительными 1win.
До момента начала необходимо определить гипотезу, варианты, показатели, распределение выборки и условия завершения. После старта желательно не менять условия при отсутствии серьезной причины. В случае если обнаружена неточность на уровне конфигурации а также служебный сбой, правильнее остановить тест, починить ошибку а также запустить новый проверку, чем пробовать интерпретировать некорректные показатели.
Одновременное тестирование разных изменений
Иногда возникает желание протестировать одновременно группу правок: обновленный headline, другую кнопку действия, укороченную анкету и измененный расположение элементов. Такой метод может дать суммарный показатель, но не покажет, какой именно точно элемент сказался в отношении метрику. Если новая вариация выиграла, останется неочевидно, какой элемент повлияло сильнее прочего.
Ради чистой проверки чаще всего корректируют один существенный фактор на 1вин один этап. В случае если требуется сопоставить многие сочетаний, задействуется многовариантное тестирование. Такой метод многоуровневее, предполагает значительного объема посещений а также внимательной расшифровки. Ради большинства сценариев A/B проверка на основе конкретной понятной проверкой дает гораздо более понятный плюс полезный итог.
Сценарии сплит проверки на уровне интерфейсе
Внутри дизайнах А/Б эксперимент часто применяется ради оптимизации доступности шагов. В частности, получается проверить две вариации анкеты: длинную с полным множеством полей а также упрощенную с сокращенным числом сведений. В случае если короткая заявка повышает количество завершенных оформлений профиля без одновременного ухудшения качества форм, такую форму можно считать намного более эффективной.
Другой случай — тестирование формулировки CTA. Нейтральная надпись имеет шанс оказаться не такой понятной, чем конкретное название шага. Дополнительно проверяют место элементов действия, последовательность смысловых секций, дизайн 1 win hint-элементов, наличие индикатора прогресса, способ вывода сбоев плюс объем этапов в сценарии. Отдельный подобный фактор влияет по части то, в какой степени удобно выполнить целевое шаг.
сплит эксперимент на уровне содержании
В контенте эксперимент дает возможность понять, какие headline-блоки, анонсы, построения плюс форматы эффективнее привлекают интерес. Можно проверять отличающиеся вступления, размер текста, логику доводов, присутствие перечней, подачу элементов, описание преимуществ или манеру объяснения непростой задачи. Вместе с таком подходе важно оценивать не только нажатия, однако и последующее взаимодействие.
Headline способен повысить число нажатий, но когда содержание не будет отвечает интересам, увеличится доля отказов. Из-за этого текстовые проверки нужны чтобы учитывать ценность контакта: период чтения, глубину страницы, переходы на уровне сайта, возвращения а также совершение заданных событий. Сильный итог — представляет собой не только лишь привлечение клика, вместо этого соответствие ожидания плюс содержания.
А/Б проверка внутри email-рассылках
На уровне почтовых рассылках обычно сравнивают subject-строки писем, подпись автора, начальные фразы, время отправки, объем email, расположение CTA-элементов а также формулировки предложений. Часть получателей получает первую вариацию письма, второй сегмент — вторую. Вслед за этого сопоставляются open rate, клики, отписки, претензии а также последующие действия в пределах ресурсе.
Важно не сводить анализ метрикой открытий. Subject-строка рассылки может стать выразительной а также привлекать реакцию, при этом когда формулировка не будет совпадает содержанию, переходы и уверенность могут ослабнуть. Из-за этого качественный email-тест анализирует цельную цепочку: просмотр, нажатие, поведение сразу после нажатия а также ответ получателей касательно письмо.
