Что такое A/B-тестирование (сплит-тест) и как его проводить
Увеличивать продажи своего магазина можно несколькими способами. Один из которых, это увеличение трафика, другой – увеличение конверсии. Для бизнеса оба этих показателя очень важны, т.к. наличие большого трафика в магазине, это далеко не показатель больших продаж. Допустим, вы привлекаете трафика на сайт 1000 человек, ваша конверсия в продажи составляет 1%. Т.е. вы получаете 10 продаж с этой 1000 посетителей. А что, если ваша конверсия в продажи будет 3%, вы в этом случае продадите свой товар или услугу 30 клиентам. Иными словами, при тех же рекламных вложениях вы имеете в 3 раза больше продаж. И поверьте, эти цифры взяты не из головы, для красивого примера. Сегодня существует очень много магазинов, имеющих очень низкую конверсию в продажи, которую можно увеличить (порой в разы), не прибегая к большим денежным затратам. А чтобы ваши действия действительно приводили к росту показателей, а не к их уменьшению, необходимо проводить A/B тестирование (сплит-тест).
Суть A/B тестирования в том, что сравниваются показатели двух вариантов. Как правило, варианта текущего и нового варианта. К примеру, это может быть кнопка «в корзину». В одном случае зеленого цвета, в другом случае красного.
Иными словами, одной половине ваших посетителей показывается старый вариант – зеленый, второй половине новый вариант – красный. А дальше сравниваются показатели по обоим вариантам. Например, сколько добавлений в корзину в одном случае, сколько в другом. И вариант, который показал лучший результат, оставляют на сайте, показывая его уже всем 100% посетителей.
Вариантов может быть и более двух, хоть целый десяток. Такое тестирование называют A/B/n-тестированием. Тут важно соблюдать одно правило: изменения вариантов должны отличаться чем-то одним. Если вы тестируете цвет кнопки, то не изменяйте ее стиль, способ окраса (сплошная заливка одним цветом или градиент), или размер. Иначе, не будет понятно, что дает большую конверсию, цвет или все-таки размер.
Разновидностью A/B-тестирования, является многовариантное тестирование. Тут может отличаться множество элементов.
Например, 4 разных цвета кнопки, оформленные в 3 разных стилях, и с 2 вариантами надписи «в корзину» и «купить». Тогда у нас получается целых 24 варианта. Но для такого тестирования, нужна достаточно большая аудитория.
Само тестирование стоит производить не менее одной недели, а лучше не менее 2 недель. Т.к. поведения в разные дни недели, у пользователей может отличаться.
Инструменты для A/B-тестирования
Сегодня на рынке много разных систем, которые помогают делать сплит-тестирование у себя на сайте. Один из них у вас уже есть, если вы пользуетесь Google Analytics. Называется он Content Experiments (старое название – Google Website Optimizer). Найти его можно в основном меню, по пути «Поведение -> Экперименты». Этот инструмент является бесплатным.
Но существуют и другие сервисы, позволяющие делать сплит-тестирование. Например, такие – Abtest, RealROI, Visual Website Optimizer, Unbounce, Convert, Optimizely, а также многие другие. Какие-то их них платные, какие-то бесплатные… тут на любой вкус и кошелек, как говорится.
Где еще можно применять A/B-тест?
На самом деле, A/B-тестирование не заканчивается на сайте. Его можно применять во многих бизнес-процессах компании. Одно из таких применений используется в e-mail рассылках:
Мне даже приходилось работать с компаниями, которые тестировали так свои скрипты продаж, выявляя, какие фразы работают с клиентами лучше. Тут главное не переборщить и не доводить до абсурда. Все A/B-тестами не замерить, да и в этом нет необходимости.
Похожие записи:
Сергей Сальников
Основатель и экс-директор крупного интернет-гипермаркета с оборотом несколько миллиардов рублей. Блогер, бизнес-наставник, автор книги – “Успешный интернет-магазин с нуля. Пошаговое руководство”. Опыт в онлайн-бизнесе и маркетинге более 12 лет.
A/B-тестирование: как правильно
Наталья Кирик , руководитель контент-студии WordFactory
За 7 лет работы контент-студии WordFactory я так и не научилась не обращать внимания на надписи “экспрессо” у входа в кофейню и спокойно реагировать на фразы типа “Получила ваш текст, дала почитать девочкам, они сказали, что он какой-то не продающий”. Обычно в этот момент я делаю глубокий вдох, захлопываю крышку ноутбука, иду на полчаса подышать свежим воздухом и выпить чашечку кофе. Но теперь просто буду давать ссылку на авторитетную статью, в которой речь пойдет о единственном способе убедиться, “продающий” текст или нет, — проверить его эффективность на практике, в частности, правильно сделать A/B-тестирование. Разобраться в вопросе нам помогут эксперты:
Сергей Гудков , специалист по разработке и продвижению сайтов (более 160 сайтов и 250 сплит-тестов), руководитель Сonversion42
Андрей Осипов , сертифицированный тренер Google, практикующий веб-аналитик, автор блога «Веб-аналитика и результат»
Мы часто получаем запросы на тексты для А/В-тестирования. Для каких целей есть смысл его проводить?
А/В-тест можно проводить практически для любых изменений на сайте. Ведь тест – это возможность достоверно узнать, насколько они эффективны.
Если у вас страница с описанием услуги, то основной продающий контент – это именно текст. Посетители на основании текста принимают решение оставить заявку или нет. В данном случае текст является основным объектом тестирования:
- какие характеристики указывать в тексте, а какие нет;
- какие призывы использовать в тексте;
- в каком стиле должен быть написан текст и т.д.
Запрос «текст для А/В-тестирования» звучит не очень. Лучше заказывать просто новый, более продающий текст. А измерять продающие характеристики текста можно с помощью тестирования.
A/B-тестирование для сайтов: нужно тестировать текст, дизайн, страницу в целом, «продающесть» текста или страницы?
Тестировать можно что угодно.
Если вы думаете, что кнопка «Купить» незаметна, тестируйте только изменение кнопки. Если вы сделали новый дизайн страницы, можно протестировать разницу между двумя дизайнами.
Иногда в тесте сравнивают два сайта. Это очень спорное занятие – если вам интересно, предлагаем обсудить этот вопрос на вебинаре более конкретно.
Можно тестировать и по одному элементу за раз, и сразу целые страницы. От чего это зависит? Всё очень просто. Если у вас есть 10/30/100 мелких изменений, и вы уверены, что каждое из них увеличит конверсию, совмещайте это всё в один тест. Если запускать их по отдельности, то делать даже 30 тестов – это может быть очень долго и не слишком эффективно. И наоборот. Если есть одно важное изменение, и вы сомневаетесь насчет реакции посетителей сайта на него, запускайте один тест на одно изменение.
Какие данные (максимум) можно получить при А/В-тестировании?
Смысл А/В-тестов крайне прост: делим посетителей на две группы – одной из них показываем вариант А, другой – вариант В.
Основным результатом теста считается разница между поведением пользователей. Например, мы хотим узнать, как изменится конверсия интернет-магазина.
Также при интеграции А/В-теста с системами веб-аналитики, в частности с Google Analytics, можно увидеть разницу в поведении по всем параметрам: глубина и время посещения, посещение конкретных страниц, показатели отказов, достижение всех целей и т.д.
Какие сервисы могут помочь правильно провести A/B-тест?
Правильность запуска всегда зависит от вас. Сервисы – это инструмент. Как молоток. Если вы умеете им пользоваться, то у вас всё получится. ☺
Самые распространённые сервисы для запуска А/В-тестов:
Для большинства потребностей хватает Google Analytics. Мы сами его часто используем и вам рекомендуем.
Сколько элементов можно тестировать за один раз? Правильно ли сравнивать 2 текста, в которых отличается более 1–2 элементов?
Да, можно. Самое главное, нужно понимать, как эти элементы повлияют на конверсию и почему. У вас должна быть рабочая гипотеза.
Когда вы проводите очень-очень много тестов, бывают моменты, когда идей и гипотез нет. Такой себе провал. В такие моменты можно тестировать по принципу «А давайте сделаем и поглядим… Интересно же». ☺
В А/В-тестировании самое ценное – это время и объем трафика. Иными словами, вы можете провести ограниченное количество тестов в ограниченное время. Поэтому простой сайта без теста – это растрата бесценного ресурса.
Какие условия должны соблюдаться для правильного А/В-тестирования? Какой минимум просмотров/визитов/уников?
Чтобы тест получился хорошим, должно соблюдаться достаточно много условий. Назовем основные из них:
- Должен быть целевой показатель, например, общая конверсия интернет-магазина или лендинга, показатель отказов какой-то группы страниц, кликабельность кнопки «Купить» и т.д.
- Тест должен завершиться победой одного из вариантов со статистической достоверностью. Это означает, что данный вариант с очень большой вероятностью действительно лучше.
- Тест должен продолжаться
2 цикла принятия решения о покупке. Например, известно, что девушки выбирают украшения около недели. Значит, минимальный срок теста составит 2 недели. В целом мы рекомендуем держать тесты от 1 до 3 недель.
Вопрос «А сколько надо трафика?» не совсем корректный. Длительность теста зависит от количества трафика и дельты целевого показателя. Например, тест с увеличением конверсии с 1% до 2% завершится быстрее, чем тест, где рост будет с 1% до 1,2%. Также тест на сайте с посещаемостью 1000 человек в сутки будет идти дольше, чем на сайте с 5000 посетителей.
Как интерпретировать полученные результаты для дальнейшей проверки гипотез?
Интерпретация результатов довольно проста. Выигравший вариант надо внедрить. ☺
В любом случае, независимо от результатов теста, вы обязаны оценить поведение людей на новом варианте. Это даст вам новые идеи для новых гипотез.
Какие главные ошибки допускаются при А/В-тестировании?
Ошибок много. ТОП-3 из них:
- Тесты заканчивают раньше достижения статистической достоверности. Это может очень дорого стоить бизнесу. Внедряя изменения после таких тестов, вы не знаете, сделали вы лучше или хуже.
- Тестируются необоснованные идеи, подсказанные уборщицей из соседнего офиса. По сути, впустую тратятся бесценное время сайта и ресурсы компании на подготовку и реализацию теста.
- Не отслеживаются показатели во время теста. Часто бывает, что при запуске программисты ошиблись, и одна вариация работает с ошибкой. Если не контролировать тест, то узнать об этом можно через недели 2–3. Это пустая трата времени и ресурсов.
Сплит-тестирование: от A до B
Сплит-тестирование – это метод, который используется для определения наиболее эффективной веб-страницы посредством сравнения контрольного образца с равнозначными вариациями.
Безусловно, все, кто связан с созданием РК, понимают необходимость и важность проведения сплит-тестирований, но страх потерять много времени и денег иногда выходит на первый план и тестирования откладываются в долгий ящик, запущенные кампании работают не эффективно, бизнес страдает и в силу вступает правило: скупой платит дважды.
Сплит-тестирование может увеличить прибыль в 2 раза?
A/B-тестирование может стать отправной точкой для значимых перемен, которые будут влиять на качественные показатели и метрики сайта. Даже незначительные изменения могут увеличить конверсию, количество лидов и размеры профита в несколько раз. То, что вы получите в итоге, после проведения вдумчивых сплитов, в разы превзойдет затраты на него.
Для того, чтобы приступить к сплит-тестированию необходимо определиться с основными компонентами тестирования. Выбор тестируемого элемента зависит от целей рекламной кампании и показателей аналитики. В случае, если конкретной цели нет, тесты могут продемонстрировать не достоверные результаты и четкого понимания о том, что именно повлияло на оптимизацию конверсии, не будет.
Прежде, чем запускать тестирование нужно ответить себе на ряд вопросов, которые помогут определиться с основными «болевыми точками»:
- Легко ли найти ваш ресурс в поиске?
- На сколько прост и понятен в использовании ваш сайт?
- Решает ли лендинг основные запросы-проблемы потенциальных покупателей?
- Пользователи понимают, что они получат в результате (товар/польза/эмоции)?
- На сколько очевиден и удобен переход покупателя к покупке?
Честные ответы на эти вопросы определят слабые места и помогут сфокусироваться на тестировании конкретных гипотез и изменений. Результат часто кроется в мелочах, не упускайте их из виду.)
Предметом сплит-тестирования чаще всего становятся:
Меняйте один элемент в рамках одного теста. Тестирования помогут подобрать удачные цвета кнопок призыва к действию, лучшие варианты текстов и заголовков, оптимальные дизайны страниц и привлекательную цветовую гамму – панацея от низких конверсий и неэффективных рекламных кампаний. Но то, что сработало однажды, не должно работать со всем. Го тестить!
Какие сервисы для тестирований предоставляют полезную информацию?
- Optimizely – сервис, разработанный иностранными коллегами, с HTML-кодами тестируемых элементов работать здесь не придется, но вот заплатить за такую роскошь – да. Стоимость подписки колеблется от 20 до 400$ в месяц. Сервис дает возможность тестировать не только десктопные версии лендингов, но и мобильные, включает сегментацию результатов и более 15 критериев таргетинга.
- ABTest.ru – это отечественный аналог, который находится под контролем Optimizely и похож с ним по возможностям. Данный сервис прост в управлении, минимальная стоимость подписки – 525 рублей, максимальная – 3000 рублей. Стоимость зависит от сроков использования и выбранного вами тарифа.
- Abtasty.com – топовый зарубежный сервис, удобный интерфейс, простой редактор, большой простор для настройки параметров, стоимость подписки от 40 до 220 евро.
Публиковать пошаговый алгоритм действий мы не будем, такой информации в сети – навалом. В случае, если вы никогда не делали сплит-тестов – внимательно ознакомьтесь с инструкциями на выбранных вами ресурсах и приступайте.
Все познается в сравнении: сплит-тестирования разных ПП
Выбирая партнерку для дальнейшей работы, хочется удачно попасть в цель и не прогадать. Обезопасить себя можно с помощью сплит-тестирований. Сравнивая результаты тестов промо разных ПП, вы сталкиваетесь с тем, что полученные показатели сильно разнятся, какие-то креативы оказываются космически конвертящими, какие-то – нет. Чтобы получить объективные данные, необходимо соблюдать ряд условий:
- Выбирайте одинаковый период слива. Товарка – местами сезонная история. В ноябре в топе средства адалт-тематики, а летом – на всех ГЕО лидируют похудалки. Сравнивать показатели за периоды с полугодовым интервалом – не объективно. Такой подход априори не может дать корректного представления о ситуации. Для получения максимально точных данных кроме одинакового периода слива, учитывайте время старта кампаний и постарайтесь запустить их в одинаковое время, чтобы быть уверенным в истинности получаемых данных.
- Ориентируйтесь на одинаковые ГЕО. Менталитет, традиции и устои, отношения с религией в различных странах мира сильно отличаются. Особенности каждого ГЕО и ЦА – это настоящая аналитическая работа, которая имеет большое значение в пути к высокому профиту. То, что хорошо заходит на Италию – может никогда не зайти на Азию по причинам, которые могут не зависеть от качества ваших промо-материалов, каждое ГЕО – уникально. Проводя сплит-тестирования в поисках «истины», нужно понимать это и брать за основу одинаковое географическое положение потенциальных покупателей.
- Выбирайте одинаковые источники. Равенство не рождает войну. Соблюдение одинаковых условий для всех лендингов и офферов демонстрируют реальную картину. Как и в случае с ГЕО – разные источники срабатывают по-разному. С «адалтом» хорошо сочетаются тизерные сети, а «красота и здоровье» беспроигрышно заходят в соц.сетях. Не стригите всех под одну гребёнку. Результаты, которые демонстрирует оффер, слитый с ФБ и оффер, слитый с тизерки, будут сильно отличаться. Определитесь, какой результат для вас важнее в первую очередь: как поведет себя оффер или какой источник окажется более конвертящим.
- Анализируйте одинаковые по объему кампании. Скажем вы собрались затестить 2 разных оффера «красота и здоровье» на Италию в ФБ – честно обеспечьте одинаковые средства и одному, и второму – на рекламные компании. Слив на один оффер 100$, а на другой – 200, вы никогда не узнаете реальную эффективность первого.
Соблюдая одинаковые условия, вы получите информацию о реальном положении вещей, что поможет определиться с ПП и успешными офферами. Постановка объектов тестирования на одну ступень обеспечит вам твердую уверенность в том, на что лить и какая ПП для вас более удобная.
Сплит-тестирование разных офферов: сравнение побуждает к соревнованию
Когда с ПП все ясно и вы остановились на Leadbit, но не смогли из всего многообразия офферов выбрать, на что лить – запускайте тесты. Кроме вышеуказанных рекомендаций для получения информации об оффере и предоставляемых промо-материалах, есть еще несколько пунктов, которые точно помогут вам не ударить в грязь лицом и стать обладателем надежного профита.
Всегда есть к какому результату стремиться и стабильные тесты разных офферов даже внутри одной ПП – это хорошая практика для тех, кто не привык останавливаться на достигнутом. Добиваться высокой конверсии можно до бесконечности – нет предела совершенству.
Условия, указанные выше, которые мы определили для тестов промо разных ПП, так же актуальны и для разных офферов внутри одной партнёрки. Но кроме этого списка есть еще ряд пунктов, которые необходимо соблюдать, когда речь заходит о выборе конкретного товара.
- Не лидами едиными жив человек. Количество лидов – важная информация, но это поверхностный уровень аналитики, на котором останавливается большинство новичков. Сравнивайте всё, что можете сравнить. Здесь вам понадобятся и стоимость клика, и уровень дохода за клик с одного оффера, чтобы ваше представление о товаре было более полным.
- В каком состоянии Джин, если он без труда покидает кувшин? Важно, чтобы тематика офферов совпадала, большое значение в сравнительной характеристике имеет их «агрегатное состояние». Если в качестве одного из офферов вы выбрали спрей, второе средство тоже должно быть спреем. Так вы исключите возможность неверного определения профитности конкретного оффера.
- 5 o’clock tea. Тестируйте лендинги в одинаковое время. Дав одному из офферов возможность прокрутится вечером и забрать все возможные лиды, а другой – кинуть на амбразуру утром – это несправедливо. Честность, в первую очередь, с собой и объективность должны проявляться во всем.
- Таргетируйся по полной. Не только разное время тестов может повлиять на результат, но и параметры, которые вы задаете для таргета. Возраст, пол и ГЕО целевой аудитории должны быть одинаковыми, тогда шансы получить объективную статистику в разы увеличиваются.
Сплит-тестирование – это прикладной метод, который на практике дает возможность оценить эффективность веб-страниц. Этот метод мотивирует вас не стоять на месте и постоянно совершенствовать свой результат, улучшая различные метрики.
Подходите к тестам с умом и помните о том, что субъективность отражается на вашем профите. Чем честнее вы будете относиться к офферам, промо или разным ПП в момент запуска тестов, тем точнее будут полученные вами данные, что неизбежно приведет к успеху.
Как проводить А/Б-тестирование: правила и рекомендации
А/Б-тест или сплит-тест — это наиболее распространенный тип маркетинговых тестов, которые проводятся для повышения оптимизации конверсии. Он позволяет протестировать различные элементы на сайте, в объявлениях, настройках кампаний, рассылках и сравнивать эффективность до и после изменений.
Для запуска A/Б-теста необходимо создать две версии одного элемента, например посадочной страницы или объявления, с изменением одной переменной. Затем нужно показать эти версии двум одинаковым по размеру аудиториям и после набора данных проанализировать, какая версия сработала лучше.
Например, нужно узнать, как отразится на конверсии страницы перемещение кнопки с призывом к действию из боковой панели в верхнюю часть страницы. Чтобы это сделать, нужно создать альтернативную страницу, на которой кнопка с CTA будет находиться вверху страницы. Существующий вариант с кнопкой сбоку — это контрольная версия, или «А». Версия «Б» с кнопкой вверху является претендентом.
Затем нужно привести на каждый из вариантов определенный процент посетителей сайта, а после накопления данных сравнить их.
Что можно тестировать
Практически любой контент и настройки:
- посадочные страницы и их элементы. В этом материале вы найдете 46 идей для тестов на посадочной странице;
- объявления. Что именно — читайте в материале Константина Найчукова;
- стратегии и подходы к управлению ставками;
- элементы еmail-рассылок.
Теперь поговорим о том, как правильно проводить сплит-тесты.
Перед тестированием
1. Выберите одну переменную для проверки.
При оптимизации посадочных страниц или объявлений вы можете обнаружить, что есть несколько переменных, которые вы хотите протестировать. Но чтобы оценить, насколько эффективны те или иные изменения, нужно работать с одной «переменную» и измерить ее эффективность. При тестировании сразу двух элементов, например заголовка и изображения, вы не сможете достоверно определить, какой из них привел к изменению эффективности.
2. Определите цель.
Несмотря на то что нужно отслеживать ряд метрик для каждого теста, выберите основной показатель, на котором нужно сосредоточиться. Сделать это нужно до запуска теста. Фактически лучше определить главную метрику до настройки второго варианта. Можно описать гипотезу, указать, что, по вашему мнению, должно произойти после изменения посадочной страницы или объявления и после теста проанализировать результаты с точки зрения этой гипотезы.
Этот подход поможет настроить тест должным образом и получить репрезентативные результаты.
3. Определите контрольный вариант и претендента.
В тесте всегда есть несколько элементов:
- независимая переменная, она же контрольный вариант;
- зависимая переменная, или претендент.
В качестве первой, как правило, выступает рабочий вариант. Например, если вам интересно, повлияет ли добавление отзывов на целевой странице, то контрольным вариантом будет лендинг без отзывов. А претендентом будет вариант с отзывами.
4. Разделите аудиторию одинаково и случайным образом.
Как вы это сделаете, это зависит от используемого инструмента А/Б-тестирования.
Для тестов, в которых у специалиста больше контроля над аудиторией, например в случае email-рассылками, это можно сделать вручную.
5. Определите размер выборки (если применимо).
Как вы определите размер выборки, также будет зависеть от инструмента. Если вы тестируете электронные письма, имеет смысл отправить варианты на небольшую часть базы, чтобы после определения победителя отправить его на остальную часть подписчиков.
Если вы тестируете то, что не имеет конечной аудитории, например элементы на страницах сайта, то на размер выборки будет влиять длительность теста. Нужно будет позволить тесту поработать столько времени, сколько понадобиться, чтобы получить достаточно просмотров. В противном случае будет трудно достоверно определить, было ли статистически значимое различие между вариантами.
6. Определите, насколько достоверными должны быть результаты.
Когда вы выбрали целевую метрику, подумайте, насколько достоверными должны быть результаты, чтобы подтвердить победу одного варианта над другим. Статистическая значимость является важной частью сплит-тестирования.
Чем выше процент статистической достоверности, тем увереннее вы можете быть в результатах. В большинстве случаев будет достаточно 95-98%.
7. Запускайте одновременно один тест.
Проведение сразу нескольких тестов будет искажать результаты. Если специалист тестирует автоматическую стратегию в рекламной кампании и CTA на посадочной странице, то ему будет сложно определить, что именно привело к увеличению конверсий.
Во время теста
8. Используйте инструменты для сплит-тестирования.
Чтобы выполнить тест A/Б-тест на сайте, скорее всего, понадобится специальный инструмент, например Google Optimize.
9. Тестируйте оба варианта одновременно.
Время, будь то время суток, день недели или месяц, оказывает значительное влияние на результаты практически любой рекламной кампании. Если запустить версию «A» в течение одного месяца, а версию «Б» через месяц, то будет сложно определить, что повлияло на эффективность: другой дизайн или другой месяц?
При запуске сплит-тестов оба варианта должны работать в одно время, иначе есть вероятность, что на результат повлияют сторонние факторы.
10. Дайте A/Б-тесту достаточно времени для сбора данных.
Чтобы получить существенный размер выборки, необходимо дать поработать тесту достаточно времени. В противном случае будет трудно определить, была ли статистически значимая разница между этими двумя вариантами.
Сколько времени нужно? В большинстве случаев это зависит от количества трафика на сайте: его должно быть достаточно для получения результатов со статистической значимостью. Поэтому не стоит искусственно ограничивать время.
11. Получите отзывы от реальных пользователей.
А/Б-тестирование опирается на количественные данные, но специалисту не всегда понятно, почему люди поступают определенным образом, а не иначе. Поэтому иногда полезно задавать вопросы реальным пользователям.
Один из лучших способов рассказать людям о своих мнениях — это опросы. Можно добавить на страницу вопрос, почему пользователи не нажимают на определенный CTA. Или на страницах с благодарностью спрашивать, почему они нажали кнопку или заполнили форму.
После теста
12. Сосредоточьтесь на цели.
При анализе результатов и просмотре разных показателей эффективности важно удерживать внимание на главной целевой метрике.
Например, если вы тестируете CTA на странице и основной показатель — количество лидов, то не стоит уделять много внимания времени на сайте или глубине просмотра.
13. Измерьте достоверность результатов, используя специальный калькулятор.
Когда вы поймете, какой из вариантов сработал лучше, нужно определить, являются ли результаты статистически достоверными. Другими словами, достаточны ли они для внедрения изменений?
Таких калькуляторов достаточно в сети. Вот несколько:
14. Внедрите изменения.
Если результаты окажутся статистически значимыми, то у вас будет победитель. Завершите тест, отключив проигравший вариант.
Если ни один из вариантов не является однозначно победившим, скорее всего, переменная, которую вы тестировали, не повлияла на результаты, и вам придется пометить тест как неубедительный. В этом случае оставьте исходный вариант или выполните еще одну попытку.
15. Планируйте следующий А/Б-тест.
Возможно, что тест, который вы только что закончили, дал новый способ повысить эффективность продвижения. Но не стоит останавливаться на достигнутом.
Попробуйте провести сплит-тест для другого элемента той же страницы или кампании. Например, если вы только что протестировали заголовок на целевой странице, почему бы не сделать новый тест для текста? Или цветового оформления? Или изображения?
Источники:
http://sa1nikov.ru/ab-testirovanie-split-test-i-kak-ego-provodit/
http://wordfactory.ua/ab-testirovanie-kak-pravilno/
http://partnerkin.com/tribuna/blog_leadbit_shakes/split_testirovanie_ot_a_do_b
http://ppc.world/articles/kak-provodit-ab-testirovanie-pravila-i-rekomendacii/
http://ppc.world/articles/analitika-odnostranichnogo-sayta/
Загрузка...