Частота проведения экспериментов vs. Частота получения опыта

Я немного ошибался, продвигая “частоту проведения экспериментов” как инновационный показатель KPI (key performance indicator). Перед тем как объяснить причину, я поясню, почему я считал частоту проведения экспериментов — главным индикатор KPI. 

Финансовые KPI не должны использоваться для оценки нового бизнеса. Еще зарождающееся предприятие не может соперничать с уже устоявшимися компаниями. Именно поэтому нужно создать новую гибкую систему KPI, иначе корпорации не смогут оценить оправданность своих инвестиций.

Одна из причин провала нового бизнеса — когда неподтвержденные предположения сразу идут в работу. Методология бережливого стартапа (the lean startup) вдохновляет команды на тестирование своих предположений перед внедрением. Когда этот образ мышления уже захватывал бизнес-пространство, “частота проведения экспериментов” казалась хорошей альтернативой ROI (return on investment) для KPI. Но что же с ней не так?

Во-первых, этот термин может быть “обыгран” по-разному. Продуктовые команды могут заявить, что делая даже самую незначительную вещь — они уже проводят эксперимент. Во-вторых, у команды может не быть четкого понимания, как проводить эксперименты. Это значит, что частота экспериментов будет высока, а выхлоп — нулевой.

Работая над проектированием инновационной экосистемы в одной большой компании, я применял бережливый стартап как основу для всех продуктовых команд. Я обнаружил, что частота экспериментов, как показатель KPI, иногда может вводить в заблуждение.

Рассмотрим пример двух команд:

Из графиков понятно, что зеленая команда провела больше экспериментов, нежели оранжевая. Среднее число экспериментов в неделю у зеленой команды: 2.1 против 1.3 оранжевой. Если рассматривать частоту экспериментов как показатель KPI, то зеленая команда победила.

Однако заглянув глубже, я пришел к иному выводу. Увидев, сколько экспериментов привело к получению знаний и опыта, я осознал, как именно “частота экспериментов” может привести к неправильному выводу:

 

Как видно по рисунку, “частота получения опыта” у обеих команд — 0.75 выводов в неделю.

Целью продуктовых команд является получение инсайтов, основанных на данных, и как можно скорее. Поэтому “частота получения опыта” должна превалировать над “частотой экспериментов”, но не заменять ее.

Несмотря на то, что эксперименты обычно приводят к получению опыта, достичь 100% корреляции крайне трудно. Эксперименты без получения опыта могут происходить по разным причинам, однако, результат один — трата времени.

Изучив отношение частоты экспериментов к получению опыта, можно понять, какая именно помощь потребуется команде.

Соотношение меньше 1: эта команда проводит эксперименты на всех стадиях продуктовой воронки и получает опыт на каждом шаге. Если на какой-либо стадии эксперимент был проведен неверно, это может привести к ошибочным выводам.

Соотношение больше 1: в этом случае команде потребуется коуч, который подскажет, как проводить более качественные эксперименты. В худшем случае, они пытаются “обыграть” систему, получая высокий рейтинг “частоты экспериментов”.

Соотношение равно 1: самый оптимальный вариант. Частотой экспериментов равна количеству полученного опыта.

Набираясь опыта, команда проводит уже меньше экспериментов (т.е. частота начинает падать). Это связано со сложностью тестов и количеством времени на подготовку.

Измерение инноваций — это вопрос не только частоты и коэффициентов. Правильная стратегия при создании системы по измерению инноваций — это поменять задаваемые вопросы. Эти вопросы должны четко определять зрелость анализируемого проекта.

Оригинал

https://medium.com/the-corporate-startup/experiment-velocity-vs-learning-velocity-c59e9d30dd42

Будьте интересны другим. Поделитесь…
Share on Facebook
Facebook
Share on VK
VK
Tweet about this on Twitter
Twitter
Share on LinkedIn
Linkedin

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Наверх