Взгляд изнутри: процесс A/B тестирования в Wistia

by Andrew Capland on March 28, 2018
https://wistia.com/blog/approach-to-a-b-testing

 

За последние три года Wistia провела более 150 A/B тестирований, чтобы улучшить свою конверсию и метрики. Мы проделали тесты на всех стадиях воронки продукта, используя все возможные каналы связи с клиентами. Мы не только протестировали веб-сайты, контент, дизайн продукта, почтовые рассылки, но и проанализировали свои рабочие процессы и продажи.
Поначалу мы даже не понимали, что мы делаем. Мы ничего не знали о том, как выдвигать гипотезы и как оценивать результат. На первых ступенях мы допустили просто огромное количество ошибок. Однако, проведя тестирования, мы улучшили нашу конверсию и получили бесценный опыт.

Позже мы решили несколько разнообразить наш процесс: добавили больше данных и начали получать долгожданный результат. В основном мы экспериментировали с видеозаписями. Тем не менее, если вы хотите протестировать что-то еще, будь то веб-страницы, картинки или модели ценообразования — технология не будет особо отличаться. Помните, что A/B тестирование — очень кропотливый процесс.

Большинство маркетологов не ставят эксперименты
Я всегда мечтал работать в компании, которая была бы сфокусирована на тестировании и оптимизации. Я читал статьи знаменитых growth-хакеров, смотрел видео и даже проходил онлайн-курсы. Однако я никогда не проводил много тестов. Я стал замечать, что большинство маркетологов, к которым я прислушивался, говорят о том, почему они проводят А/В тесты, но не о том, как они это делают.
Как вы приоритезируете, фильтруете идеи, внедряете лучшие из них, или анализируете ошибки? Я был убежден, что найду ответы на эти вопросы. Ведь каждая команда маркетологов имеет те же самые проблемы, не так ли?

Однако, я ошибался, что маркетологи знают ответы.
Я был немного расстроен, но после понял, что очень многие маркетологи просто не имеют нужных инструментов для создания настоящей культуры A/B тестирования. 
С тех пор как мы начали учиться и улучшать процесс тестирования, мы начали писать о своих результатах в блогах. Рассказывая о том, что происходит “за кадром”, мы надеялись, что маркетологам будет чему поучиться на нашем опыте.

 


Курс «Growth Hacking: взлом роста с помощью системного тестирования гипотез в команде»
35 Growth Hacking механик за 2 дня для объединения отдела маркетинга и разработки вокруг роста бизнеса.

Отзывы участников:
— “Если ваша мечта — это кратный рост бизнеса, то без подобной информации, у вас ничего не выйдет”
— “Хотите расти – идите сюда”
— “За два дня вы поймете, как вам сделать из своего стартапа настоящий растущий бизнес”
— “Идите сразу, не задумываясь”
— “Рекомендую курс, чтобы понять и оценить состояние проекта, понять куда и как расти, и с помощью чего”

Программа курса Growth Hacking:
— Инструменты: поиск ценностного предложения Value Proposition Canvas, Lean Canvas, воронка AAARRRR, фреймворки генерации гипотез информирования, привлечения, активации, удержания, виральности и монетизации (The Hook Framework, Awareness Ladder, Viral Loop, Word of Mouth..).
— Данные: Soft и Hard данные, как измерять каждый вид гипотез, OMTM, NSM, Measurement Plan.
— Процессы: процесс тестирования гипотез по Growth Scrum, Growth Master, приоритезация и формулирование гипотез.
— Команда: Growth Team. Роли, обязанности, компетенции. Как собрать и управлять командой роста.

Новый набор каждый месяц. В группе не больше 20 человек. Два дня, очно, Москва.

Подробнее…


Три необходимых инструмента для A/B тестирования
Если вы хотите проводить тестирования и знаете, что “стимулирует” ваших клиентов, вот вам три инструмента, с которых я советую начать.

1. Список идей
Во-первых, создайте документ, чтобы отслеживать все возможные тесты и эксперименты. Каждую идею мы прогоняем через ICE score, а также фиксируем, кто предложил идею, почему она будет удачной и возможные преграды на пути ее реализации. Этот документ должен содержать три важные вкладки:

  • Отчет о сделанной работе: запись действий и результат

  • В процессе выполнения: контроль текущих тестов

  • Бэклог идей: вкладка, куда сотрудники вносят свои идеи

Этот лист мы рассматриваем как основную базу для всей нашей работы с A\B тестированием.

2. План действий
Следующий документ должен содержать ваш план действий: следующие эксперименты, время их проведения и сроки реализации.

Имея такую таблицу, вы сможете предотвратить проблемы на ранних стадиях эксперимента и оптимизировать работу команды.


3. Описание эксперимента
В последнем документе содержится вся информация об опыте.Этот файл должен содержать ваши гипотезы, то, чего вы хотите достичь, а также опыт, который вы вынесли.

Скачать форму тут

Старайтесь документировать ваши тесты. Имея записи по каждому эксперименту, вам будет легче фиксировать результат и формировать будущие планы.

Начало работы
Выявите слабые места в вашей продуктовой воронке. Обычно мы стараемся решить проблему “слабого звена” через опрос пользователей. К примеру, если у формы регистрации плохая конверсия, мы спрашиваем пользователя “Что остановило вас на пути создания аккаунта?”. Опросы действительно помогают отыскать неявные проблемы и налаживают контакт с клиентом.

Каждая идея должна быть оценена. Ведь вы не будете браться за то, что не принесет результата, не правда ли?

Оцените ваши идеи
Мы оцениваем идеи по ICE score Шона Эллиса, автора книги Hacking Growth . Этот метод действительно может сэкономить ваше время и силы. Вот примерный алгоритм:

1) Влияние: подумайте, как повлияет ваша идея на конверсию. Помните, что чем больше влияние, тем лучше результат вы получите.
2) Уверенность: эта идея действительно удачная, либо взята “с потолка”? Данная ступень зачастую самая трудная. Вам могут помочь данные из предыдущих экспериментов.
3) Усилие: займет ли эта идея пару часов или же растянется на несколько недель?



Каждую ступень мы оцениваем от 1 до 5, а затем выбираем самые оптимальные идеи.
В результате мы получаем список идей, которые с большей вероятностью улучшат нашу конверсию.


Проведите тест, задокументируйте его и обсудите
Повторюсь, документирование ваших опытов очень важно. Даже если эксперимент провальный, вы сможете вынести из него полезный опыт. Эти знания могут сгенерировать еще больше идей, о которых вы до этого даже не подозревали! Учась на своих ошибках, вы сможете принимать самые оптимальные решения, которые приведут вас к успеху. Ведь в этом и есть цель экспериментирования!

Приготовьтесь расти
Если вы только начали проводить опыты, то постарайтесь наладить процесс прямо со старта. Ваша цель — это процесс, в котором вы будете уверены на 100%. Такая тактика освободит ваше время для новых креативных идей. Начните ваш мозговой штурм сегодня и выдвигайте самые смелые задумки!

Будьте интересны другим. Поделитесь…
Share on Facebook
Facebook
Share on VK
VK
Tweet about this on Twitter
Twitter
Share on LinkedIn
Linkedin

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Наверх