Что такое A/B тестирование

В этой статье я на пальцах расскажу, как проводят тестирование, зачем это надо и какой результат можно получить с помощью бесплатного инструмента Google Analytics.
Если вы опытный интернет-маркетолог, то вы конечно же знаете, что такое A/B тестирование. И более того, скорее всего, сами уже проводили подобные исследования. Но как если же вы только-только начинаете погружаться в этот удивительный и многогранный мир аналитики, то вы уже наверняка слышали об этом инструменте.
Эксперементы от Google Analytics

Сегодня я предлагаю познакомиться с ним поближе, узнать зачем и как используют подобные тесты, сколько времени нужно на подготовку, запуск и анализ результатов. Несмотря на то, что инструментов для АБ тестирования достаточно много, как платных так и бесплатных, я предпочитаю работать с инструментом от Google Analytics. Во-первых, он бесплатный, во-вторых, у него уже есть статистика по вашему сайту, и в-третьих, он покрывает 98% всех нужд.
 

В чем суть A/B тестирования?

Давайте рассмотрим в самых общих чертах, как работает А/Б тестирование, и почему оно так называется. Допустим, у вас есть предположение, что кнопочки социальных сетей рядом с кнопкой Купить в вашем интернет-магазине снижают конверсию. Или вам кажется, что ваш логотип слишком маленький и пользователь его не увидит. Или еще какое-то предположение. Как быть?
С одной стороны, вы можете изменить текущую страницу, и отследить изменения в поведении. Но будет ли результат репрезентативен, ведь в разные дни трафик может быть разный, или какие другие факторы изменятся. Именно в таком случае и приходит на помощь A/B тестирование.
Система (в нашем случае это Google.Analytics) распределяет трафик (равномерно или согласно нашим настройкам) между различными вариантами. Т.е. разные пользователи в одно и то же время видят разные варианты вашей страницы (вариантов не обязательно может быть два):
Варианты для A/B-тестирования
При этом, браузер пользователя запоминает версию нашего эксперимента, и при возвращении он будет видеть только эту версию. Так что не стоит переживать, что пользователь запутается, т.к. будет видеть постоянно разную страницу.
Если же у вас очень большой трафик, вам совсем необязательно направлять его весь. Можно использовать только часть, а остальной будет направлен на обычную страницу, без изменений.
В результате, вы сможете оценить, какая из версий ваших страниц приносит больше конверсий:
Результаты А/Б тестирования
 

Как это все выглядит на практике

На самом деле, для запуска эксперимента по выявлению лучшего варианта страницы не нужно никаких особо сложных приготовлений. Для начала, вам нужно создать эти варианты и залить на сайт, чтоб они были доступны по прямой ссылки. При этом, другого способа попасть на эти страницы быть не должно (т.е. это страницы, на которые нельзя попасть ни с меню, ни с каталога, только по прямой ссылке). Например, вы хотите протестировать каталог site.com/catalog. Вы создаете еще одну или две страницы и называете их catalog-exp1 и catalog-exp2. При этом, сайт работает по-прежнему, и пользователи видят только страницу catalog.
Заходите в свой аккаунт Гугл Аналитикс, идете в раздел «Поведение», ссылка Эксперимент.
Важно! У вас должны быть настроены цели, по которым вы будите определять эффективность. В эксперименте доступны и общие показатели (отказы, время на сайте, просмотров на пользователя и т.д.). Но все равно оценивать (особенно для коммерческого проекта) нужно по более ощутимой цели, например, регистрация или заказ.
Итак, зашли на страницу эксперимента, нажали кнопку Новый эксперемент, придумали ему названия, выбрали % трафика, который участвует в тестировании. На втором шаге вы сперва указываете исходную страницу (наш catalog), который является базовый. И новые варианты: адреса страниц и названия. Давайте названия обдумано, не просто Вариант1, а например, для catalog-exp1 можно дать название «Большая картинка», а catalog-exp2 – Много отзывов. Главное, чтоб вам эти названия о чем-то говорили.
Добавление вариантов A/B-тестирование
 
После этого установите код на страницах (на исходной специальный код, что выдаст система, на экспериментальных обычный) , и все. О том, какой код куда вставлять достаточно подробно расписано на самой странице Гугла, так что не переживайте, в этом нет ничего сложного.
И все, можете наблюдать за посетителями, конверсиями, и общим увеличением вашей прибыли.
 

Когда эксперимент считается успешно законченным?

Для того, чтоб А/Б тестирование было успешно окончено, система должна набрать достаточное количество конверсий для каждого из вариантов. Причем, этот период должен быть растянут во времени, потому что бывают и такие ситуации:
Необычные результаты АБ-тестирования
Видите, как в последний день скакнул вариант 1? Хотя это самый проигрышный вид страницы, если бы я ориентировался по двум-трем дням, в которые попал этот пик, я бы смог сделать неверный вывод.
Обычно, сроки проведения A/B тестирования – 2 -3 недели. Минимальное количество конверсий по каждой из страниц – хотя бы 30-40. В идеале – от 100.
Конечно же, это все очень индивидуально, разные товары, разный трафик, разные цели. Обычно, Google сам определяет, когда завершать эксперимент и можно ли уже определить лучший вариант. Но вы всегда можете продлить, перезапустить или изменить параметры эксперимента.
 

Зачем нужно проводить А/Б тестирование?

По моим примерам, вы видите незначительный выигрыш одного варианта по сравнению с другим. Но будьте осторожны с подобными выводами. Рост конверсии всего на пол процента (скажем, было 1,3% стало 1,8%), означает, что с каждой 1000 посетителей вы будите получать не 13 а 18 новых клиентов, т.е. на 5 больше. А это почти 40%!
Поэтому, если вам не нравится уровень продаж вашего сайта, задумайтесь – стоит ли увеличивать бюджет на продвижение, или может стоит поработать с сайтом, провести его юзабилити-аудит, запустить несколько A/B тестов и при тех же затратах получать больше клиентов?
Если у вас есть вопросы по А/Б тестированию или юзабилити, свяжитесь со мной через форму связи, или просто напишите на admin@marketnotes.ru


25 марта 2015