Метрики как составить - Исправление недочетов и поиск решений вместе с Examum.ru

Дерево метрик — как построить, с чего начать?

Время на прочтение
3 мин

Количество просмотров 5.3K

Автор статьи: Кристина Курдюмова

product marketing manager (stream B2B) в Rutube

Самый популярный вопрос у моих учеников — «как построить дерево метрик и с чего начать?», а следом за ним — можно ли сформировать бэклог продукта без дерева метрик.

Дерево метрик — это декомпозированная цель компании.

Зачем строить дерево метрик?

помогает фокусироваться на ключевых метриках;
обнаружить точки роста;
помогает при приоритизации бэклога.

Допустим, цель компании — заработать 10 млн. (Revenue). Сложно сразу сказать, как можно повлиять экспериментом напрямую на цель компании. Поэтому необходимо декомпозировать, чтобы выявить «прокси» метрики. Прокси метрики наиболее чувствительны к экспериментам и

«Сложная рабочая система неизменно получается из простой рабочей системы.
Сложная система, разработанная с нуля, никогда не работает.
И никакие улучшения не заставят ее работать.
Начинать следует с простой рабочей системы»

— закон Голла, 1986

Разложим дерево метрик на примере пошагово.

Ставим ключевую метрику вашей компании, например Выручка (Revenue).
Определяем ключевую метрику вашего продукта, которая “бьет” в ключевую метрику вашей компании.
Раскладываем метрику Выручку на прокси метрики 1 уровня.

Например,

число активных пользователей
% платящих пользователей
частота покупок
средний чек

Каждую метрику 1 уровня раскладываем на подметрики 2 уровня.

Например,

число активных пользователей: % пользователей, прошедших онбординг и Retention 1, 7 или 30 дня (в зависимости от вашего продукта).
% платящих пользователей: все пользователи и платящие пользователи.
частота покупок: количество активных пользователей и количество покупок.
средний чек: среднее число товаров в заказе и средняя стоимость товара.

5. То же самое проделываем с каждым следующим уровнем. Каждую метрику 2 уровня раскладываем на подметрики 3 уровня.

средний чек: среднее число товаров в заказе и средняя стоимость товара;
среднее число товаров в заказе: среднее число товаров в избранном и среднее число товаров в корзине.

В итоге у вас получится примерно такая иерархия:

После декомпозиции необходимо узнать состояние метрик в настоящий момент, посчитать конверсии уровней. Как только вы подпишите метрики:

Вы увидите, над каким шагом или какой метрикой стоит поработать в первую очередь (где отток?)
Попробуйте прибавить к метрике +1% и посмотреть, как этот условный 1% может повлиять на вашу цель.

Конечно, стоит учитывать ещё некоторый коэффициент “плеча” изменения метрики — то есть если вы супер-сильно измените метрику IV-уровня, то это опередит по полезности слабое изменение метрики II-го уровня).

Изучить метрики I-го и II-го уровня, сфокусироваться на них и провести брейншторм, определить какие новые фичи могут забустить данные фокусные метрики — затем включить фичи в бэклог вашего продукта

Пошаговый план работы с деревом метрик:

Удобно визуализировать на MindMap (например, MindMeister, Mind42, Miro), либо на обычном листе, доске маркерной.

Напишите цель компании, поставьте ее во главу дерева.
Последовательно определяйте, на что раскладывается метрика выше? Как можно ее рассчитать? Добавляйте новые ответвления вашего дерева, определяя метрики.
Узнайте во внутренних отчетах или дашбордах компании значения метрик за последний месяц.
Проанализируйте дерево: выявите его слабые места (метрика или конверсия, которая ниже средних показателей в вашей компании). Определите максимальный потенциал метрики.
Сгенерируйте гипотезы, которые, по вашему мнению, вырастят метрику.
Приоритезируйте гипотезы.
Сделайте расчет импакта для ТОП 3 гипотез.

Немного про метрики.

Какие метрики могут быть в дереве метрик?

Ответ: любые.

Метрики можно разделить на такие группы:

маркетинговые (CPV, CTR, Open Rate и т.д.)
бизнес-метрики (LTV, GMV и т.д.)
продуктовые (RR, CR и т.д.)
метрики привлечения (CPI или Cost Per Install)
метрики удержания (Retention, LT и т.д.)
метрики допродажи (upsell, cross sell и т.д.)
метрики оттока (Retention rate и т.д.)
управленческие метрики
метрики для пресс-релизов
опережающие и запаздывающие метрики

Совершенно нормально, что метрики вашей компании могут быть иными. Их не стоит искать в интернете, а логически стараться понять, как данную метрику можно посчитать. На что она распадается?

Предупреждение от автора: дерево метрик — это инструмент визуализации. После его выполнения не стоит ожидать сразу роста метрик, потому что для этого нужны действия и эксперименты.

Статья подготовлена в преддверии старта курса «Продуктовая аналитика».

Источник

Я работаю CPO в компании с десятками тысяч заказов в день. Недавно стал плотно вовлекать коллег в продуктовые процессы. Оказалось, что не все знают, что такое GMV или конверсия, не говоря уже о более узких метриках, например, session duration или page depth. Расскажу поподробнее в этой статье про метрики и комплексы метрик.

Основное дерево метрик

GMV. Основная метрика для большинства сервисов. Расшифровывается как Gross merchandise volume или общий объём оборота товаров/услуг. Измеряется в рублях или любой другой валюте. Проще говоря — весь доход компании до вычета расходов. Как по шагам «очистить» эту метрику от налогов, зарплат, амортизации, комиссий и прочего, чтобы получить показатели чистого дохода, можно почитать тут.

GMV = LTV*PU

LTV. Lifetime value. Доход/прибыль, который приносит в среднем один пользователь за срок своей «жизни» в сервисе. Обычно компании считают LTV360, то есть доход с одного пользователя за год. А все, что получено больше, чем за этот срок, можно потом добавить нарастающим итогом на следующий. Во-первых, потому, что это удобно для расчета годовых планов. Во-вторых, это проще считать. В третьих, мало в каких сервисах люди живут больше года.

Обратите внимание: вам нужно четко понимать, что именно вы хотите измерять — доход или прибыль. Если вы маркетплейс, который живет на инвестициях и которому важен оборот как показатель роста, то измерять стоит доход на пользователя. Если вы сервис, который вышел на самоокупаемость, то в LTV стоит считать прибыль на клиента.

LTV = AOV*Retention

PU. Paying users. Количество пользователей, которые принесли доход.

PU = Traffic*C1.

AOV. Average order value, оно же средний чек. Если у вас есть большие выбросы в числовых рядах (например, 99% пользователей имеет средний чек 1 тыс ₽ и 1% имеет средний чек 20 тыс ₽), то значение среднего чека будет немного не информативным. В таком случае лучше пользоваться медианой чека.

Retention. Возвращаемость пользователей. Day N Retention показывает, какой процент пользователей вернулись к указанному дню. Допустим, если 1го Января в сервис пришло 100 пользователей и 50 из них вернулось на следующий день, а 3го Января из них вернулось 25, то Retention 2го дня будет равен 50%, а Retention 3го дня будет равен 25%. Эта метрика всегда считается по когортам. Все те пользователи, для которых вы замеряете Retention (или любую другую метрику) — это когорты. Например, Retention когорты 25го Января, или Retention когорты мобильных пользователей Ноября 2021 года.

Traffic — это количество пользователей, которые пришли на сервис: ввели ссылку в адресную строку браузера, из поисковика, из рекламы.

С1 — это conversion rate (конверсия) первой покупки. Например, если из 100 пришедших новых пользователей пятеро совершили покупку, то С1 = 5%.

C1 в расчете платящих пользователей нужно только для того, чтобы посчитать, сколько из тех, кто пришел, совершил первую покупку (то есть, стал платящим пользователем). В дальнейшем в продукте разумнее смотреть общую конверсию для всех покупок пользователя — и первых, и последующих. Давайте поговорим об этом поподробнее.

Конверсия

Конверсия — это переход из одного этапа в другой (в целевое действие).

Обычно самая главная конверсия — из сессии в покупку или подписку.

Но все шаги, которые проходит пользователь на сайте или в мобильном приложении, имеют свою конверсию. Обычно смотрят конверсию из каждого шага в следующий. Это называется воронка конверсий.

На графике часто можно увидеть то, что глазами в таблице воспринять сложно. В данном примере огромная просадка конверсии происходит на переходе из поиска в карточку товара. Значит, пользователь не может найти то, что ему нужно. Причин может быть много: неудобный поиск, плохой контент, неактуальный ассортимент, неверные ожидания пользователя от сервиса и тд. Найти и устранить их должен продакт.

Кроме того, мои продакты отдельно смотрят конверсии из всех страниц в покупку. Допустим, кто-то мог найти товар в дереве каталога, кто-то мог найти товар на главной в подборке акций, а кто-то мог найти его через поиск. У всех этих пользователей разная конверсия.

Воронок мы смотрим тоже несколько. Не все пользователи попадают на главную. Кто-то приходит из Гугла или Яндекса сразу на карточку, после чего переходит в корзину. А кто-то заходит на главную и пользуется поиском. А кто-то пользуется поиском, но добавляет товары из автоподсказок или поисковой выдачи и вообще не попадает на карточку товара потому, что потом сразу идет в корзину и оформляет.

Если у вас B2B2С сервис (например, маркетплейс), нужно отдельно смотреть воронку конверсий селлера. Сколько селлеров подали заявку, сколько из них вы рассмотрели, сколько из них вы одобрили, сколько из них выставили хотя бы 1 товар, сколько из них хотя бы 1 товар продали.

Там же можно посмотреть воронку товаров. Сколько товаров отправили на модерацию, сколько из них было одобрено, сколько из них посмотрели пользователи, сколько из них добавили в корзину, сколько из них купили.

Конверсию нужно смотреть по дням, неделям или месяцам. Чтобы видеть динамику роста или падения. Если есть просадка — нужно бежать проверять трафик, работоспособность микросервисов, последние релизы и тд.

Важно помнить, что общая конверсия — не панацея. Надо уметь ее смотреть под разными углами. На вебе и в мобилке она обычно отличается в несколько раз. На вебе с десктопа и на вебе с телефона конверсия тоже разная. Она отличается у разных сегментов пользователей. У новых и старых пользователей она разная.

Очень важно уметь находить просадки конверсий именно у тех типов пользователей, у которых они возникают. Общая конверсия показывает не более, чем среднюю температуру по больнице.

Другие общие метрики сервиса

Я и многие другие стейкхолдеры регулярно смотрим продуктовые показатели всей компании на общем дашборде (попозже будет целый раздел о дашбордах). Расскажу о таких общих показателях поподробнее.

Но сначала давайте остановимся на линиях тренда. Это линия, которая в сложном, волатильном графике покажет вам динамику роста.

В оранжевом графике линия тренда не очень важна — там и так видны колебания. А вот если бы в синем графике не было голубой линии, сложно было бы понять, есть какой-то рост в среднем или нету.

DAU/MAU. Daily active users и Monthly active users. Количество активных пользователей сервиса в день и в месяц. Очень важный показатель, который позволяет видеть динамику и просадки/пики.

Если у вас просадки, значит нужно начинать искать проблемы: может быть, проблемы с SEO, конкуренты выкатили крутую фичу или просто в силу внешних факторов (погода или праздничный день). Причин может быть много, главное уметь их найти. Рост же обычно бывает после рекламных кампаний.

Orders. Кол-во заказов. Или подписок, если у вас подписочные сервисы.

Old vs New. Соотношение новых и старых пользователей (обычно смотрят внутри графиков GMV и DAU/MAU). Еще можно на одном графике смотреть разные показатели новых и старых пользователей (именно показатели, а не их соотношение) — например, выводить средний чек старых и новых.

Session duration. Длительность сессии. Казалось бы, если сервис хорош, то для принятия решения пользователю не нужно много времени. И чем сессия короче, тем лучше: значит, человек смог быстро что-то выбрать и оплатить. Но обычно чем сессия длиннее, тем выше вероятность, что пользователь сконвертируется в целевое действие.

Page depth. Глубина просмотра страниц. То есть, количество страниц, которые пользователь просмотрел за сессию. Аналогично метрике выше: обычно, чем показатель больше, тем лучше.

Нужно уметь комбинированно смотреть подобные метрики. Например, Session duration осталась прежней, но page depth выросла. И конверсия упала. Значит, она упала потому, что пользователи просматривают больше страниц, чем обычно и не могут найти нужную им информацию. Скорее всего, недавно были релизы, один из которых нужно будет откатывать.

Кстати, кроме продуктовых метрик, в различных продуктовых инструментах смотрят данные по когортам (уже писал об этом в начале статьи) и вебвизор. Вебвизор — это возможность смотреть запись экрана пользователя. Можно отфильтровать сценарии по каким-то негативным признакам (например, долгий срок шага регистрации), посмотреть записи 5-10 человек и уже набросать гипотезы роста.

ARPU. Average revenue per user. Применяется для подписочных сервисов. Средняя сумма оплаты на пользователя. К вам пришло 100 пользователей. Из них 5 купило подписку за 100 ₽, а 5 за 200 ₽. ARPU будет (5*100 + 5*200)/100 = 15 ₽.

ARPPU. Average revenue per paying user. Применяется для подписочных сервисов. Средняя сумма оплаты на платящего пользователя. Если брать те же условия, что и выше, то получится 150 рублей. Потому, что делим не на 100 (то есть не на всех пользователей), а на 10 (то есть, заплативших).

Довольно полезным бывает умение мысленно комбинировать показатели разных графиков и искать причины ухудшений. Допустим, мы видим, что DAU не просел или даже вырос, конверсия не упала, а GMV не растет. Тогда стоит посмотреть, в первую очередь, средний чек. Наверное, вышла какая-то кампания или фича, которая его снижает.

Или трафик растет, средний чек прежний, а GMV падает. Скорее всего, просаживается конверсия. Тогда можно сделать предположение, что на сервис стал приходить менее качественный трафик, который хуже покупает.

Дашборды

Дашборды — это разделы (страницы) аналитической системы, на которых собраны графики по разным тематикам. Например, дашборд мобильного приложения, дашборд способов доставки, дашборд показателей контакт-центра и им подобные.

Обычно на дашборде очень хорошо смотреть одну тематику по разным срезам. Все то, что я описал (трафик, конверсия, кол-во заказов, DAU, GMV и тд) в разрезе городов, платформ, источников, способов доставки и тд.

Чтобы составить такой дашборд, надо понимать, на какие вопросы себе нужно ответить, чтобы понять, как хорошо функционирует определенная часть сервиса. И для каждого такого вопроса — график.

Специфичные для разных направлений метрики

Давайте рассмотрим примеры пары продуктовых команд, которые работают внутри выдуманной мной компании.

Команда А. Компания занимается продажей замороженной выпечки: пирогов, пирожков, пиццы. Компания решает расширить свой ассортимент, например, авторскими свежими тортами. Для этого собирают новую команду, которая себе заведет отдельный дашборд, на котором могут быть:

Конверсия относительно заказов заморозки на сайте
Движение тортов по воронке (из просмотра в покупку)
Доля заказов на сайте, в которых есть торты
Доля брошенных корзин с тортами относительно брошенных корзин с заморозкой
Дефектура
Эффективность тортов по категориям
Уровень цен по тортам, динамика выручки
Прямые заходы на страницы тортов из рекламы или поиска
Средний срок доставки тортов

Команда Б. Компания понимает, что покупатели хотят свежие торты как можно раньше, а их курьерская доставка через 2 дня не подходит. Приходит понимание, что нужны новые способы доставки: самовывоз из магазина и экспресс-доставка на велосипедах. Новая продуктовая команда начинает работу и заводит себе дашборд, на котором смотрит графики, на каждом из которых показатели для разных типов доставки:

Кол-во заказов
Конверсия
Выкупаемость (соотношение получивших заказ к сделавшим заказ)
Доля доставки вовремя
Срок доставки, побитый по этапам: от заказа до сборки, от сборки до забора курьером, от забора до доставки
Платформы, с которых делаются заказы
Средний чек

Скорее всего, по каждому из направлений доставки перед стартом работ была защита и есть плановые метрики. Поэтому команде нужно будет отслеживать еще для каждого способа план и факт. Как минимум, по количеству заказов или GMV.

Итак, мы можем сделать первый вывод: Есть отдельные продуктовые и бизнесовые метрики по компании, которые очень важны. Но у каждой команды есть еще отдельные дашборды с общими метриками по их направлению.

Но у каждой команды в работе может быть одна или даже несколько страниц сервиса. Про метрики этих страниц мы уже в целом поговорили. Но страницы состоят из разных элементов и кнопок. Поэтому мы делаем второй вывод: для разных элементов страниц нужно отслеживать свои метрики.

Метрики отдельных элементов страниц

В идеальном процессе после формулирования и расчета гипотезы, а затем проработки дизайн-макетов и проведения UX тестов макет попадает к продуктовому аналитику. Который дополняет карту ивентов. Пишет, какой ивент на каком элементе располагается. Ивент — это такое событие, которое передается в базу данных, когда пользователь выполняет действие. Чтобы знать, что пользователь, зашедший на страницу нажимал те или иные кнопки, переходил к тем или иным разделам, вводил данные, получал ошибки и тд. Эта карта ивентов попадает в разработку вместе с продуктовой постановкой, а потом по ивентам продуктовый аналитик может сделать различные выводы о пользовательском опыте.

Давайте рассмотрим несколько примеров

Пример 1. Карточка товара (страница конкретного тортика, на котором его фото, описание и тд, а так же возможность добавить его в корзину) во многих сервисах содержит раздел «Пользователи так же интересовались». Для простоты дадим разделу рабочее название «Аналоги».

Продакт, который отвечает за эту страницу и этот раздел, отдельно смотрит различные метрики, например:

Доля просмотров (не все промотают до этого раздела)
Доля переходов в раздел (если есть кнопка «посмотреть все аналоги», как часто ее нажимают?)
Конверсия в переход на карточку конкретного аналога
Конверсия в добавление аналога из списка аналогов в корзину
Конверсия такого аналога в покупку

Пример 2. Поиск на сайте или в приложении:

Клики в поисковую строку
Появление автоподсказок
Конверсия из автоподсказок
Доля использования фильтров
Конверсия при использовании фильтров
Доля использования сортировки
Конверсия при использовании сортировки
Переход на листинг поисковой выдачи
Конверсия из листинга в корзину
Конверсия из листинга в карточку товара

Пример 3. Так как тортики в нашем сервисе появились недавно, большинство пользователей до сих пор приходит только за заморозкой. И надо им сообщить о тортиках. Для этого маркетологи делают баннер, в котором пишут «У нас на сайте есть прекрасные тортики. Купи тортик сегодня и получи скидку 300 рублей». И кнопку — перейти в раздел тортиков. Команда под эту гипотезу создает небольшой дашборд:

Конверсия в переход
Конверсия в добавление в корзину после перехода
Изменение LTV
Изменение конверсии
Накопительный GMV от покупок тортиков, которые перешли по баннеру

Продакт команды уже предварительно посчитал, когда прорабатывал гипотезу: сколько человек перейдет, сколько из них купит. Насколько изменится средний чек, насколько вырастет прибыль. И, разумеется, Unit-экономику: потенциальный доход не должен превысить расходы на скидку. По крайней мере, если это заранее не заложил продакт или маркетолог. Осталось только проверить, что экономика по факту сходится. Или изменить условия.

Какие есть метирки, которые смотрят не так часто, но с которыми все сталкиваются

Frequency. Частотность покупок. Точнее, частотность выполнения целевых действий.

CTR. Click through rate. Конверсия из показа в клик (переход). 100 человек увидели баннер, 15 перешло. CTR = 15%

CSI, NPS и CES. Три метрики, которые показывают, насколько пользователь доволен.

CSI — это Custorer Satisfaction Indicator или индикатор пользовательской удовлетворенности. Знакомое многим «оцените наш сервис от 1 до 10».

NPS — Net Promotion Score. Готовность рекомендовать сервис. Все еще знакомое, но реже встречающееся «Насколько вы готовы рекомендовать наш сервис друзьям и близким от 1 до 10»

CES — Customer Effort Score. Одна из важнейших метрик, которую в России почему-то почти не используют. Коэффициент того, насколько сложно пользователю выполнить какой-то шаг в своем CJM (карте пользовательского пути). Например, при оформлении тортика первый раз может быть высокая конверсия, но при этом высокий коэффициент сложности. Почему так бывает? Потому, что у пользователя есть скидка на первый заказ и большая мотивация завершить заказ. Но завершить его трудно — неудобные элементы оформления, сложный выбор адреса и тд. Это — плохой продукт. В хорошем конверсия должна быть высокой, а CES — низким. Если вы знаете, почему его обычно не трекают, пишите в комменты.

CAC — Customer acquisition cost. Стоимость привлечения пользователя. Обычно стараются, чтобы CAC был ниже, чем LTV.

ROI. Return on investment. Показатель возврата инвестиций. Вкладываете деньги, например, в рекламу. Покупок становится больше. Смотрите, сколько заработали, вычитаете сумму вложений за рекламу.

Acquisition rate, Churn rate. Приток и отток пользователей. Churn rate (отток) обратно пропорционален показателю Retention. Приток должен быть выше оттока. Приток новых пользователей зависит, в основном, от маркетинга. Показатель оттока зависит, в основном, от качества и условий сервиса.

Reactivation Rate. Показатель реактивации. Пользователей, которые перестали пользоваться сервисом, можно вернуть. Как правило, маркетинговыми коммуникациями. Количество вернувшихся клиентов к количеству рассылок — это и есть Reactivation Rate.

Referal. Показатель реферальных клиентов. То есть, пользователей, которые пришли к вам по рекомендации других пользователей. Отслеживаются они по персональным промо-кодам, которые им дали друзья. Обычно и реферал, и референт получают бонусы. Как правило, компания в рамках реферальной программы тратит денег меньше, чем на CAC, а показатели таких пользователей часто выше: покупают чаще, дольше и на большие суммы.

Доля лояльных пользователей и метрики лояльных пользователей.

Есть множество специфичных метрик, которые употребляются редко и которые приводить в статье нет смысла, иначе она превратится в учебник. Например, AHT — Average handling time. Среднее время обработки вызова оператором в контакт-центре.

Комплексы метрик

Итак, мы поговорили о следующих штуках:

Метрики для различных элементов на страницах
Метрики разных направлений компании
Общие метрики компании

Пришло время двигаться к еще более крупному представлению — комплексам метрик. Это несколько показателей, которые с одного взгляда показывают состояние продукта в компании.

Таких комплексных метрик тоже бывает много. Наиболее часто встречающиеся — HEART (придумали в Google) и воронка AARRR (придумал основатель проекта 500 Startups Дэйв Макклюр).

HEART

Happiness (гигиенический минимум — метрики удовольствия)
Engagement (вовлечение — длительность сессий, глубина просмотра, частотность сессий и конверсии)
Adoption (переход к лояльности. Например, скачивание приложения)
Retention (возвращаемость)
Task success (доля удовлетворения потребностей пользователей. Кол-во клиентов, которые сделали то, что хотели)

AARRR

Aquisition (привлечение)
Activation (С1)
Retention (возвраты)
Referal (рекомендации)
Revenue (выручка)

Эпилог

Я рассказал вам об основных метриках. Не все из моей статьи может на 100% подходить вашей компании. Как только делаешь шаг влево или шаг вправо, то сразу появляется своя специфика. Уже надо считать не средний чек, а медиану чека. Уже надо считать не Classic Day N Retention, а Rolling Retention. Кому-то подходит LTV360, а кому-то нет. Кто-то считает «старым» клиентом того, который не первый раз на сайте, а кто-то того, кто уже раньше платил. А кому-то приходится маржу делить на NPS и умножать на реферальность, чтобы получить свою узкоспециализированную метрику.

Если вы только знакомитесь с метриками, то прочитав статью или пройдя Go Practice, не сможете полноценно построить и управлять системой метрик. Для этого должно пройти много времени, вы должны решить много кейсов и найти много ответов на совершенно разные вопросы. Но раз вы тут — значит, двигаетесь в верном направлении. Дерзайте и у вас все получится!

Спасибо за критику/дополнения Ростиславу Оголенко, главе продуктовой аналитики Здравсити.

Источник

Зачем нужна иерархия метрик?

помогает фокусироваться на важных метриках и обнаружить точки роста
помогает при приоритизации фичей

Когда у вас есть идея фичи удобно её “наложить” на иерархию метрик и понять на какую из метрик больше всего напрямую повлияет фича. Чем ближе данная метрика к “вершине” иерархии метрик (ключевой метрике вашего продукта) тем больше у этой фичи шансов быть успешной.

Алгоритм составления

Удобно визуализировать на MindMap(например, MindMeister, Mind42, Miro) или на листе/флипчарте

Определяем ключевую метрику вашей компании (например, “Выручка”)
Определяем какая ключевая метрика нашего продукта коммитит в ключевую метрику вашей компании (пусть также будет “Выручка”)
Задаём себе вопрос какие 3–5 основных метрик больше всего влияют на ключевую метрику вашего продукта (допустим, это будут “Средний чек”, “Частота покупок”, “Число пользователей” и “% платящих”) — это будут метрики I-го уровня
К каждой из метрик первого уровня задаём вопрос “Какие под-метрики сильнее всего влияют на данную метрику?” (допустим на “Средний чек” влияют “Средняя стоимость товаров” и “Среднее число товаров в заказе”) — это будут метрики II-го уровня
Теперь берём метрики II-го уровня и доходим до метрик III-го уровня и далее — в целом, разумно погрузится до IV-V уровня (в зависимости от размеров и сложности вашего продукта) — строим до того уровня пока это считаем разумным (и есть возможность влиять на метрики данного уровня)

В итоге у вас получится примерно такая иерархия (https://mm.tt/1369696540?t=LW7q1QV7uz):

Нюансы и детали

Как простой вариант для старта — я бы предложил вам брать “Выручку” как основную метрику продукта (если у вас нет каких-то иных вводных от руководства компании)
По-хорошему список подметрик должен быть настолько полным, чтобы только они могли повлиять на их “родительскую” метрику — таким образом “родительская” метрика полностью состоит и зависит от подметрик
Как элементы иерархии стоит включать именно измеримые метрики (а не фичи)
Иерархия строится сверху-вниз (от целей компании до метрик, связанных с отдельными фичами)
Иерархию метрик обычно составляют разово и обновляют не часто — только при сильных изменениях (раз в год, допустим)
Между элементами различных ветвей иерархии метрик вполне могут быть взаимовлияние — в таком случае их можно визуально соединить пунктиром (чтобы учитывать данный факт при принятии решений). Также подметрика может влиять на несколько родительских метрик — но подметрику всё равно стоит вписывать именно к той метрике, на которую она имеет наибольшее влияние

Что дальше с этим делать?

Взять свой бэклог и разложить фичи из него по метрикам из иерархии метрик — чем ближе в метрика к верхушке, тем больше шансов у фичи быть успешной (конечно, тут стоит учитывать ещё некоторый коэффициент “плеча” изменения метрики — то есть если вы супер-сильно измените метрику IV-уровня, то это опередит по полезности слабое изменение метрики II-го уровня)
Изучить метрики I-го и II-го уровня, сфокусироваться на них и провести брейншторм, определить какие новые фичи могут забустить данные фокусные метрики — затем включить фичи в бэклог вашего продукта

Частотные ошибки

Целеполагание: проверьте что как верхушку иерархии вы выбрали действительно самую важную метрику (подсказка — прочекайтесь с руководителем + по-дефолту можете взять метрику “Выручка продукта”). Действительно ли вы больше всего хотите именно “Число заказов”, а не “Общую выручку” или “% соотношения выручки на одного пользователя к цене его привлечения”?
Проверьте что каждый элемент вашей иерархии является измеримой метрикой (не надо вписывать в иерархию фичи). Иногда вы хотите выделить набор метрик (какую-то из ветвей) и пометить что она полностью в ответственности какого-то из направлений (Маркетинга, Поддержки, …) — это ОК, можно это сделать дополнительным визуальным выделением или подсветить эти элементы определённым цветом, чтобы проще ориентироваться по иерархии
Фокус на метрики, а не на фичи: когда будете соотносить идеи фичей и метрики — то стоит идеи фичей вписывать рядом (или в комментарии) с названием метрики на которую они влияют, но не как отдельный элемент иерархии
Проверьте что у вас в иерархии не зашкаливает число “ванильных метрик” — иначе вы рискуете погнаться накручивать их, упуская ключевые метрики продукта
Не стоит напрямую привязывать подметрику к нескольким “родительским” метрикам — иначе вам будет сложно принимать решения. В крайнем случае — одну связь сделайте основной, а другие обозначьте пунктиром. Конечно, одни метрики влияют на другие, но важно уметь держать фокус и выделять на какую из метрик происходит наибольшее влияние

Ответы на вопросы

На слайде про иерархию метрик было сказано, что фичи нужно ассоциировать с метрикой, и чем ближе эта метрика к глобальной, тем важнее фича. Можешь объяснить подробнее почему это так?

Ведь при построении иерархии мы стремимся разбить метрику на подметрики, из которых она состоит. Как в таком случае, можно повлиять на метрику из уровня 1, не повлияв ни на одну метрику из уровня 2?

Тут нюанс в том, что часто фича влияет сразу на несколько подметрик (допустим, и на “Среднее число товаров в Корзине”, и “Среднее число товаров в Избранном”) — тогда будет неправильно “привязывать” фичу к одной из подметрик и стоит остановиться на “родительской метрике ”метрике — “Среднее число товаров в заказе”.

Чаще всего чем ближе метрика к ключевой метрике продукта, тем больше шансов, что фича “зайдёт” (так как каждая ступенька от подметрики к метрике несёт некоторую вероятность ослабления влияния одной метрики на родительскую и соотвественно статистические потери). Если мы точно знаем что при запуске фича повлияет на нужную нам верхнеуровневую метрику — это здорово, так как не приходится надеяться что “запуск фичи повлияет на метрику уровня IV, а та повлияет на метрику уровня III, а та наконец-то повлияет на метрику уровня II”(тут всегда есть вероятность что на одном из этих этапов произойдёт потеря и влияние не будет настолько сильным как ожидалось).

Интересует вопрос по поводу фундаментальных фич. Если взять пример из лекции с просмотром видео, очень сложно сказать на какую метрику повлияет фича “реализация видео плеера”, без нее вся иерархия оказывается бессмысленной. Мой вопрос заключается в том, выносим ли мы такие “очевидные” задачи за скобки при таком подходе? Делим ли мы фичи на обязательные и необязательные?

Да, технические метрики тоже стоит обязательно включать в иерархию метрик, так как они напрямую влияют на выручку продукта. Например, есть метрика “Длительность просмотра видеозаписи” и на неё будет влиять “%видеозаписей без обрывов просмотра” — и вот на эту техническую метрику будет влиять фича “Качество видео-плеера”.

Не могу распутаться. У меня есть идея нового продукта = приложение для кормящих мам, где учет рутины, статьи, аудио с белым шумом и вот это вот все. Я якобы провел опрос (буду перепроводить на форумах, ибо понимание пришло после проведения), якобы подтвердил что проблема есть.

Дальше определил первую бизнес цель — 200К активных пользователей. Дальше попытался разбить на метрики, которые могут ее достичь. https://mm.tt/1353341843?t=4FWfHkjndv

Определил ключевые 3 и попробовал в них покреативить фичи. Что-то даже получилось.

НО. Я так и не понимаю, где тут планируется разработка самого приложения. Или это и есть при построении иерархии метрик, и я не правильно определяю метрики для нового приложения, которые влияют на запуск?

В данном случае, я бы предложил так:

Ключевая метрика продукта — “Выручка”
Метрики I-го уровня: “Число активных пользователей”, “% платящих”, “Выручка с пользователя за месяц”
“Число активных пользователей” разобьётся на метрики II-го уровня такие как “% людей проходящих онбординг” и Retention (зависит от типа продукта, допустим 7го и 30го дня)
В “% платящих”, например, попадёт метрика “Как часто пользователь видит оффер с покупкой”
В “Выручка с пользователя за месяц” попадут метрики связанные со стоимостью и количеством ваших услуг
Маркетинговые метрики воронки и стоимости привлечения можно (для упрощения схемы) вынести в отдельную иерархию-воронку (там ключевой метрикой будет стоимость привлечения CAC, и как подметрики попадут срезы по различным каналам привлечения, которые разобьются на подметрики стоимости привлечения по каналу и конверсии в установку/регистрацию) — скорее всего руководство компании будет просить от вас соблюсти баланс Выручки и приемлемого CAC

Если у вас ещё остались вопросы — приходите в личку @michailkarpov — подскажу нюансы и дополню данное объяснение 😃

Источник

#статьи

18 сен 2019
12

Что такое продуктовые метрики и зачем они нужны

Зачем придумали метрики, какие они бывают и как упростить работу с ними — объясняем весьма запутанную тему просто и на примерах.

vlada_maestro / shutterstock

Пишет про управление в Skillbox Media. Работала координатором проектов в Русском музее, писала для блога агентства CRM-маркетинга Out of Cloud.

Чтобы создать приложение или сервис, одной идеи мало. Нужно измерять и анализировать показатели, исследовать реакцию пользователей и дорабатывать продукт. Для этого и придумали метрики.

Что такое метрики.
Какие метрики бывают и от чего зависят.
Что такое Иерархия и Пирамида метрик.
Продуктовые и маркетинговые метрики: для чего нужны и в чём разница.
Продуктовые метрики: как и когда использовать.
Как упростить работу с метриками: фреймворки для исследований.

Метрика — это качественный или количественный показатель, который отражает ту или иную характеристику и уровень успешности продукта.

Количественные показатели проще отслеживать, поэтому они используются чаще. На основании этих чисел можно делать выводы о том, что вообще происходит: нужен ли такой продукт пользователям, насколько он им нравится, решает ли их проблему. Например, вы создали приложение, которое сообщает автомобилистам о ситуации на дорогах. Кажется, что идея хорошая, продукт нужный, а люди всё никак не хотят им пользоваться. Как понять, в чём проблема? Что-то не так с идеей, а может, вы ошиблись с аудиторией или продвижением?

Метрики помогают ответить на эти и другие вопросы. Главное — знать, какие из них, как и когда использовать. Понять это не всегда просто, потому что на любой вопрос можно найти несколько ответов, а каждый полученный показатель — понять по-разному.

Чтобы вам было проще сориентироваться, мы объясним основные понятия и термины, покажем, как выбирают и используют метрики в компаниях, и расскажем, куда бежать, если хочется разобраться в этой теме глубже.

Метрик много, их можно делить на разные категории. Например, бывают продуктовые, маркетинговые и бизнес-метрики.

А можно выделять тематические — по целям, которых они помогают достичь. Ниже — несколько примеров таких метрик.

Метрики привлечения пользователей

Они помогают понять, как и откуда в продукт приходят пользователи, сколько их всего, какие из них активные.

Примеры метрик:

MAU, monthly active users — количество активных пользователей в месяц.
Active Users — количество активных пользователей продукта.
RR, retention rate — коэффициент удержания пользователей.
CR, churn rate — коэффициент оттока пользователей.

Метрики использования продукта

Сюда входят все показатели, которые демонстрируют, как люди пользуются продуктом, какие есть сценарии.

Примеры метрик:

ER, engagement rate — коэффициент вовлечённости.
Sessions per user — количество сессий — как часто клиенты используют продукт.
Key user actions per session — количество ключевых действий за сессию — как часто совершают конкретное действие, которое для вас важно.

Метрики монетизации

Это показатели, которые дают понять, сколько вы зарабатываете на продукте.

Примеры метрик:

CAC, customer acquisition cost — стоимость привлечения клиента — сколько денег в среднем нужно потратить на рекламу и продвижение, чтобы привлечь одного пользователя.
GMV, gross merchandise volume — валовый объём торговых операций — сколько вы заработали на продаже продукта.
LTV, lifetime value — сколько денег приносит пользователь за время, что он пользуется продуктом, или за определённый выбранный срок.
ARPU — средняя прибыль от одного пользователя за определённый срок.
ARPPU — средняя прибыль от одного платящего пользователя за определённый срок.

Любые метрики — это просто числа, которые сами по себе не дают важной информации. Чтобы от них была польза, все показатели нужно смотреть в динамике. То есть надо выбрать определённый период и проанализировать, как изменилась метрика за это время, что происходило с другими показателями и в чём может быть причина.

Метрики должны зависеть от целей бизнеса. Прежде чем выбирать, какие показатели измерять, подумайте, чего хотите достичь.

Например: получить прибыль, привлечь инвестиции, добиться лояльности пользователей. Во всех этих случаях вам понадобятся разные метрики.

Важно не только, какие метрики выбрать, но и как использовать полученные показатели. Есть два основных подхода, на которые ориентируются в продуктовой разработке:

Data-driven подход

Cначала получают цифры, а потом на их основе принимают решения. Команда выбирает метрики и считает показатели. Полученные числа — первое, на что они посмотрят, решая, куда двигаться дальше.

Data-informed подход

Метрики только частично влияют на принятые решения. Показатели — это важно, но не главное. На них можно ориентироваться в одном случае и не учитывать в другом.

Иерархия и Пирамида метрик — это модели, которые помогают упорядочить показатели, определить зависимости между ними и лучше следить за изменениями.

Иерархия метрик — это древовидная структура или схема, во главе которой находится основная метрика продукта. Чтобы такую построить, нужно проанализировать данные и понять реальные зависимости между метриками. Например, подумать, что случится, если показатели будут слишком низкими или часто меняться, — насколько это повлияет на изначальную иерархию метрик.

Сергей Тихомиров определяет иерархию метрик как «формулу ценности продукта, выраженную в конкретных метриках». В блоге он объяснил, что это значит, на примере проекта LAF24.

Пирамида метрик — это, как и Иерархия метрик, инструмент для анализа показателей продукта. Чтобы правильно построить Пирамиду, нужно не только определить зависимости между метриками, но и классифицировать их по целям.

Елена Серёгина, аналитик и основатель DataLatte, определяет Пирамиду метрик как «иерархию и классификацию». В своём блоге на Medium она рассказала про обе модели и когда нужно и не нужно использовать Пирамиду метрик.

В компаниях Пирамиду и Иерархию метрик используют по-разному: вместе или отдельно друг от друга. Иногда их даже определяют как одну модель.

Например, в «Едадиле» используют модель Пирамиды метрик, но с древовидной структурой. В компании её строят для приложения в целом и отдельные пирамиды для функций, показатели по которым важно отслеживать.

Продуктовые метрики показывают, как работает и используется продукт. С их помощью можно понять, насколько ценят продукт сами пользователи, всё ли с ним хорошо или что-то не так.

Маркетинговые метрики показывают, как продукт продвигается на рынке. Поскольку это тоже относится к продукту, можно сказать, что маркетинговые метрики входят в состав продуктовых.

Маркетинговые метрики — объективные, легко измеримые, относятся к коммерции. Например, количество пользователей, которые зашли на сайт, — маркетинговая метрика.

В отличие от маркетинговых, продуктовые метрики сложно измерить. Не всегда понятно, от чего зависит счастье пользователя или как повлияет на людей определённая функция продукта, многих ли она затронет.

Например, когда в Apple захотели улучшить пользовательский опыт и решили отказаться от привычных USB-разъёмов и карт памяти в ноутбуках, сначала пользователи были недовольны. Им казалось, что продукт станет хуже, его будет неудобно использовать. То есть показатель «счастье пользователя» ухудшился.

Apple сознательно временно ухудшили восприятие своего продукта, потому что были уверены, что это пойдёт ему на пользу в долгосрочной перспективе. Так и случилось. Замена устаревших разъёмов на более современные USB-C и отказ от карт памяти сделали ноутбуки Apple более функциональными, а пользователи постепенно привыкли и оценили преимущества новых разъёмов.

Метрики помогают отличить субъективное от объективного и принимать решения, основываясь на реальных данных.

По сути, метрики — это просто цифры и данные, относящиеся к продуктам, источник информации о них. Метрики нужны для разных целей. Кто-то хочет проверить, как в целом идут дела, поэтому смотрит основные показатели. Кто-то хочет больше узнать о финансовых показателях или реакции пользователей — чтобы понять это, общих метрик будет недостаточно, нужно выбрать другие.

Вариантов использования метрик множество: они зависят от продукта, подхода, логики и даже фантазии продакт-менеджера или маркетолога. Сколько раз в год, как и в каких соотношениях измерять метрики — решают те, кто занимается продуктом.

Общая схема использования метрик:

измеряем количественные показатели, оцениваем (насколько это возможно) качественные показатели;
стараемся смотреть показатели не порознь, а во взаимосвязи, чтобы видеть цельную картину;
делаем это с некоторой периодичностью, чтобы понять динамику;
получив эту информацию, думаем, как её использовать: либо просто принимаем к сведению, либо же решаем что-то изменить, экспериментируем;
продолжаем анализировать метрики, чтобы и дальше понимать, что происходит.

Ниже мы собрали несколько примеров использования метрик.

Пример первый

Допустим, половина команды считает, что в интерфейсе приложения нужна красная кнопка, а половина — что зелёная. Чтобы получить реальные данные, а не принимать решение, основываясь только на предположениях команды, можно использовать сплит-тест: подготовить оба варианта, показать пользователям и понять, какая из кнопок реально решает задачу.

Пример второй

Вы создали мобильное приложение и хотите заняться его продвижением. С помощью метрик можно измерить результат какого-то действия и запланировать расходы. В таком случае метрика CAC или customer acquisition cost поможет понять, сколько стоит привлечь в приложение одного пользователя.

Чтобы правильно рассчитать этот показатель, нужно учитывать характеристики продукта и точно знать, кто и за что платит деньги. Например, в Dropbox пользователь покупает только PRO-версию продукта, а в Facebook* платит за рекламу, поэтому формула расчёта CAC будет отличаться.

Пример третий

Вы выпустили приложение, его скачивают, но вы хотите понять, сколько вам платит каждый постоянный пользователь. Для этого нужно рассчитать LTV, или Lifetime Value продукта с помощью одного из методов или калькулятора от Ingate.

При работе с метриками, как мы уже сказали, возникает много вопросов. Какие и когда выбирать, как измерять, как анализировать? А как понять, что метрики подходят продукту, и вы не будете считать и сравнивать показатели, которые не дают никакой информации — или дают, но совсем не ту, которую важно знать для развития продукта?

Чтобы упростить работу с метриками, в крупных компаниях, например, в Google, используют фреймворки для проведения исследований. Это готовые методы, которые помогают измерять и анализировать показатели продукта. Вот некоторые из них.

Фреймворк HEART (Happiness, Engagement, Adoption, Retention и Task Success) был создан в Google и используется чаще всего в digital-сфере. Позволяет отслеживать опыт пользователя (для него часто используется обозначение UX, User Experience) по определенным категориям: счастье, вовлечённость, принятие, удержание, успех (выполнения задач).

В него не входят конкретные метрики, поэтому их придётся продумывать индивидуально. Это неслучайно, потому что для различных продуктов важны разные показатели.


Happiness Счастье	Отношение пользователя к продукту. Примеры метрик: удовлетворение пользователя, лёгкость использования продукта и др.
Engagement Вовлечённость	Уровень заинтересованности в продукте. Начав пользоваться продуктом, пользователь продолжает это делать. Примеры метрик: частота визитов пользователя, длительность визитов и др.
Adoption Принятие	Использование продукта постепенно становится привычкой: клиент пользуется различными функциями продукта, ждёт выхода новых и рассказывает о них друзьям. Примеры метрик: сколько пользователей ставят новую версию программы, количество новых подписок и др.
Retention Удержание	Пользователь становится лояльным к продукту и возвращается к нему. Примеры метрик: количество повторных покупок, активность пользователя на протяжении некоторого времени и др.
Task Success Успех	Успех ключевых задач. Это технические показатели, такие как эффективность, производительность и количество ошибок. Примеры метрик: скорость загрузки фото на сайт, успешный поиск информации и др.

Чтобы узнать больше про HEART и понять, как он работает:

прочитайте, как фреймворк используют в Google (русская и английская версии);
посмотрите, как HEART применяют в «Альфа-банке».

Фреймворк PULSE (Page views, Uptime, Latency, Seven-day active users и Earnings) подходит для измерения и оценки показателей производительности. В отличие от HEART, он скорее про работу продукта, чем про пользовательский опыт, но, как и HEART, применяется в первую очередь в digital-сфере.

PULSE включает в себя конкретные показатели. С его помощью измеряют количество просмотров страниц, время безотказной работы сервиса, задержку в работе, количество активных пользователей, которые возвращаются на сайт в течение семи дней подряд, и заработанные деньги.

Больше информации о фреймворке PULSE:

в статье о разнице фреймворков PULSE и HEART;
в кейсе об измерении пользовательского опыта в интернет-магазине с применением PULSE и HEART.

AAARRR — маркетинговая воронка основных этапов взаимодействия клиента с продуктом. Она нужна, чтобы разделить работу с пользователем на этапы и отслеживать показатели на каждом из них. Таких этапов может быть шесть, если начать с Awareness, информирования, или пять, если с Acquisition, привлечения (в зависимости от этого используется аббревиатура AAARRR либо AARRR).

Маркетинговая воронка помогает оценить успешность привлечения клиентов и монетизацию.


Awareness Информирование	Знакомство клиента с продуктом: например, он пришёл на сайт.
Acquisition Привлечение	Клиенту стало интересно, и он оставил свои контакты.
Activation Активация	Клиент понял ценность продукта и стал им пользоваться.
Retention Удержание	Клиент постоянно пользуется продуктом.
Referral Виральность	Клиент делится информацией о продукте.
Revenue Доходность	Клиент платит за продукт.

Чтобы лучше понять, что такое AAARRR:

почитайте статью об эффективности маркетинговой воронки на примере Tinder;
почитайте материал о продвижении по методу AARRR.

Как мы уже писали выше, метрики — тема столь же непростая, сколь и важная. Мы дали общие ориентиры, которые помогут вам не заблудиться между продуктовыми и маркетинговыми показателями, Пирамидой метрик и фреймворками. Но чтобы уверенно ими пользоваться, нужно более глубокое погружение в тему, доступ к опыту практиков и помощь наставника. Получить такую поддержку можно на нашем курсе «Управление продуктом».

^* Решением суда запрещена «деятельность компании Meta Platforms Inc. по реализации продуктов — социальных сетей Facebook и Instagram на территории Российской Федерации по основаниям осуществления экстремистской деятельности.

Научитесь: Agile: Scrum и Kanban в работе над продуктом
Узнать больше

Источник

Содержание статьи:

Общие метрики
E-commerce
Мобильные приложения
Сайты с контентом
API
SaaS

Александр Емельянов, CPO Bioniq

«Метрики — это инструмент мониторинга и анализа развития и устойчивости продукта. Сами по себе, без контекста, они не имеют значения. Каждая метрика должна быть actionable, то есть показывать, как на ее основе мы можем улучшить продукт. Чем лучше вы знаете свой товар, услугу или сервис, тем более точный сет метрик сможете составить.

Многие бизнесы начинают работать не с той стороны. Они меряют DAU, MAU, другие простые метрики и пытаются что-то с ними сделать. Задача — перевернуть пирамиду и начать с sustainability продукта, то есть его возможности существовать, развиваться и расти».

Метрики, которые важны для всех

Консультант раздела: Александр Емельянов, CPO Bioniq

1. Customer Acquisition Cost (CAC) — стоимость привлечения клиента. Показывает, за какую сумму бизнес может привлечь одного пользователя, который будет использовать продукт.

Начинающие предприниматели иногда думают, что достаточно сделать продукт, и бизнес взлетит. На деле пользователей нужно закупать, то есть рекламировать им свой товар, услугу или сервис. В этот момент и возникает CAC, когда в рамках бюджета нужно максимизировать количество привлекаемых юзеров.

Как рассчитать: CAC = сумма потраченного рекламного бюджета на привлечение новых клиентов / количество привлечённых клиентов

2. Retention rate — коэффициент удержания. Метрика показывает, сколько пользователей продолжает использовать продукт через определённый период времени, и напрямую влияет на пожизненную ценность клиента (LTV).

Как рассчитать: Retention rate = количество активных пользователей на конец периода / количество активных пользователей на начало периода * 100%

Пример: пусть из 1000 юзеров, которых привлекла компания, в первый день были активны 500, а на седьмой день — 200. Чтобы найти коэффициент удержания седьмого дня, необходимо разделить 200 на 500 и умножить результат на 100%. Retention rate составит 40%.

3. Churn rate — коэффициент оттока. Метрика, обратная к retention rate, которая показывает отток клиентов.

Обычно кривая churn rate крутая в первый месяц и выравнивается к 4-5 месяцу. Этот момент называется выходом retention rate на плато. В первые месяцы пользователи, которые не увидели ценности в продукте или подписались по ошибке, отписываются чаще всего. После этого бизнес работает с теми клиентами, которых смог удержать. Задача компании — заработать на них столько, чтобы они окупили CAC 100% юзеров своей когорты.

Чтобы снижать churn rate, бизнесу нужно обеспечить клиентам как можно более качественный пользовательский опыт.

Как рассчитать: Churn rate = (1 — количество пользователей на конец периода / количество пользователей на начало периода) * 100%.

Пример: если в марте у вас было 100 платящих пользователей, а в апреле — 70, это означает, что месячный churn rate составил 30%.

4. Lifetime Value (LTV) — пожизненная ценность клиента. Показывает прибыль, которую клиент приносит за все время использования продукта.

Метрика даёт возможность проанализировать эффективность вложений. CAC должен всегда быть ниже, чем LTV, иначе бизнес будет впустую жечь деньги и не выживет. Например, если компания приводит пользователя за 1000 рублей, тот должен вернуть минимум такую же сумму без учета всех операционных затрат и стоимости самого продукта.

Как рассчитать: Методики подсчёта могут различаться, в том числе в зависимости от бизнес-модели. Например, для интернет-магазина LTV = средний чек * частота повторных покупок * срок жизни клиента. Для бизнеса на подписке можно использовать простую формулу: LTV = средняя выручка от клиента в месяц / churn rate.

Пример: допустим, в марте бизнес закупил 1000 пользователей с конверсией в платящего подписчика 10%, то есть получил когорту мартовских плательщиков размером в 100 человек. Предположим, что месячный churn rate этой когорты — 30% без выхода на плато.

Построив график retention, можно увидеть, что к следующему марту останется 1% платящих юзеров этой когорты. Перемножив помесячно количество удерживаемых платящих пользователей на сумму платежа и разделив на 100 (когорта на входе), мы получим средний LTV в 330 рублей.

5. Net Promoter Score (NPS) — индекс потребительской лояльности. Показывает, насколько охотно ваши клиенты готовы поделиться впечатлениями от продукта.

Пользователь со средними ожиданиями, получив хорошее впечатление, обязательно поделится мнением в соцсетях или при личном общении с друзьями и в результате приведёт новых клиентов. Если, к примеру, каждый платный юзер приводит ещё одного бесплатного, CAC сокращается в два раза.

С NPS коррелирует метрика Customer’s Referral Value (CRV) — количество денег, заработанных благодаря рекомендациям.

Как рассчитать: Пусть пользователи ответят, насколько по шкале от 0 до 10 они готовы рекомендовать ваш продукт, где 0 — ни за что не готовы, а 10 — обязательно порекомендуют. Ответы выявят три группы клиентов — критиков (от 0 до 6), нейтралов (7-8) и промоутеров (9-10). NPS = общее число промоутеров (%) — общее число критиков (%). Хорошим считается NPS более 50%.

6. Daily Active Users и Monthly Active User — количество уникальных пользователей, которые используют продукт, за день и за месяц, без учёта повторных сессий.

Опираться на эти метрики имеет смысл только в общем контексте. Например, если бизнес работает по модели subscription, важно, чтобы пользователи платили за подписку, а не заходили в продукт. Тем не менее, если юзер не пользуется продуктом, он не получает его ценность и в конечном счёте уйдет.

7. Session duration — метрика, которая показывает, сколько времени пользователь провёл в продукте.

Имеет смысл только в контексте конкретного бизнеса. Например, для Netflix время сессии важно: чем больше юзер смотрит контент, тем выше ценность подписки. Задача Uber, наоборот, сократить время сессии.

«Очень важно понимать, как метрики коррелируют между собой. Например, в дейтинг-продуктах есть profile quality — полнота заполнения профайла. Чем больше у пользователя фотографий и информации о себе, тем более успешным он будет на платформе (больше просмотров, лайков, метчей, свиданий). Поэтому необходимо сделать так, чтобы он уже в первый день качественно заполнил профиль. Но человеку хочется активности уже сейчас. Ему проще поставить одно фото и начинать свайпать. Казалось бы, метрика сиюминутной активности возрастает. Но если посмотреть стратегически, то с retention rate коррелирует именно profile quality».

Александр Емельянов, CPO Bioniq

E-commerce

Консультант раздела: Наталия Балдыгина, product owner KUPIVIP

«В электронной коммерции можно придумать множество метрик: визиты, глубина просмотра, время на сайте, процент пользователей, которые добавляют товары в корзину, и так далее. Но набор ключевых составляется в зависимости от стратегии и целей конкретного бизнеса. В любом случае, основной метрикой для большинства продуктов будет количество денег, которое он приносит».

1. Visits — количество сессий на сайте.

Хотя любой бизнес хочет, чтобы показатель визитов рос, сам по себе он вряд ли поможет в принятии продуктовых решений. Цель бизнеса — увеличить Visits to sale conversion — процент посетителей, совершивших покупку, то есть отношение заказов к визитам.

2. Orders — количество заказов за определенный период времени, и Average order value — средняя денежная стоимость одного заказа, «средний чек».

Обе метрики напрямую влияют на прибыльность компании. На метрики можно повлиять с помощью доработок продукта. Это могут быть как элементы промоактивностей, так и upsell на любом шаге пользовательского пути.

Как рассчитать: AOV = доход от заказов / количество заказов

3. Conversion Rate (коэффициент конверсии) — центральная метрика для e-commerce. Показывает долю визитов на сайт, закончившихся целевым действием, то есть покупкой.

Конверсии различаются в зависимости от направления бизнеса: так, для вертикали fashion e-commerce в неакционный период нормальным принято считать CR от 1%. В периоды активных ценовых акций этот показатель может увеличиваться кратно — до 2-3% и выше.

Как рассчитать: CR = количество посетителей, совершивших целевое действие / общее количество посетителей * 100%.

4. Repeat customers — процент посетителей, которые стали повторными клиентами, то есть сделали больше одного заказа.

Важно следить за тем, чтобы клиенты возвращались и становились постоянными. Во-первых, это окупает CAC, во-вторых, такие пользователи более лояльны к сервису и могут по привычке открывать именно ваше приложение или сайт в метро, дома, на работе, что может привести к покупке.

Как рассчитать: RС = количество клиентов, которые сделали более одного заказа / количество всех клиентов.

5. Shopping cart abandonment — количество пользователей, которые добавили товар в корзину, но не сделали заказ.

Помогает оптимизировать пользовательский путь клиента. При этом важно учитывать, что люди могут использовать корзину вместо избранного, поэтому если клиент добавил в неё несколько товаров, но пока не покупает их — это ещё не значит, что у него возникли UX-сложности. Возможно, он ждёт скидок или зарплаты.

6. Checkout abandonment rate — количество пользователей, заполнивших корзину, дошедших до оформления заказа, но не совершивших покупку.

На эту метрику стоит обращать особое внимание, если компания вносит изменения в чекаут. Возможно, что-то в процессе оформления заказа непонятно пользователю, из-за чего он не доходит до конца. Доработав продукт, необходимо измерить, помогло это снизить checkout abandonment rate или нет.

Мобильные приложения

Консультант раздела: Владимир Шабасон, сооснователь digital-бюро Self

«Успех мобильного приложения складывается из множества факторов, которые, к счастью, можно просчитать и спрогнозировать. Для этого существует большое количество метрик и показателей, которые важно мониторить, чтобы оперативно реагировать на негативные сигналы или же, наоборот, закреплять позитивный результат. Кроме того, в условиях нарастающей конкуренции нужно понимать, что именно привлекает клиентов в вашем приложении и как это можно улучшить».

1. Downloads — количество загрузок приложения.

Данные по загрузкам можно посмотреть в сторах. Если показатель неудовлетворительный или количество загрузок снижается — это сигнал к тому, чтобы пересмотреть маркетинговую кампанию, а если ее не было — начать её или же попробовать оптимизировать страницы приложения в Google Play и App Store. При этом количество скачиваний — не самоцель, намного важнее обратить внимание на количество пользователей, которые принесли бизнесу доход. Лучше получить 1000 качественных клиентов, чем миллион тех, кто скачает приложение и сразу его удалит.

2. Activations rate — процент пользователей, запустивших приложение после его установки.

Показатель эффективно применять для A/B-тестирования: это позволит быстро собрать обратную связь и внести в приложение корректировки. Отчеты по этой метрике также можно получить через Google Play и App Store.

Как рассчитать: Activations rate = количество активаций / количество загрузок * 100%

3. Sticky Factor (привязываемость) — метрика, определяющая, насколько часто люди возвращаются в приложение.

Чем ниже показатель, тем меньше пользователи приложения к нему «привязаны», и наоборот. Sticky Factor помогает оценить лояльность юзеров, а лояльные пользователи чаще других делают платежи.

Существуют усредненные нормы для показателя в зависимости от типа приложения: например, для социальных сетей это 50%, для игр — 10-18%, для остальных — 20%. Если показатель ниже 5%, стоит предпринять меры: например, запустить push-уведомления или дополнить приложение новыми функциями.

Как рассчитать: привязываемость = DAU / MAU * 100%

4. Uninstalls — количество пользователей, которые установили приложение, но по каким-то причинам не зарегистрировались в нём и им не пользуются.

Чем ниже этот показатель, тем больше ваша аудитория. Метрика важна прежде всего для выявления факторов, мешающих пользователям. Возможные причины роста uninstalls:

Не понравилось приложение — в этом случае важно правильно формировать ожидания, например, не указывать функции, которых в приложении нет, не давать слишком много рекламы.
Приложение уже не нужно — зачастую касается приложений, которые закрывают единоразовую задачу. Например, турист прилетел в другую страну, скачал местный навигатор, воспользовался им, а по возвращении на родину удалил. В данном случае снижение Uninstalls Rate нормально.
Личные мотивы и обстоятельства — например, у пользователя заканчивается память на устройстве.
Баги — технические неполадки при запуске нового приложения.
Сложная процедура регистрации. Самое очевидное решение — упростить процесс, добавить подсказки или инструкции.

5. Conversion Rate Install to Event — конверсия из установок в действие (различается в зависимости от приложения).

Почему важно: CR из установки в событие показывает, насколько услуга или продукт актуален и востребован. Также эта метрика хорошо отражает эффективность закупки по разным каналам: на ее примере можно сравнивать эффективность органики и платного привлечения.

Юрий Цой, менеджер по мобильному маркетингу ABBYY

«В ABBYY мы оперируем CR внутри мобильного приложения: смотрим, сколько процентов пользователей добавили первый документ и сколько из них оформили подписку. Например, если у нас было 1000 установок и 100 добавленных документов от уникальных пользователей, CR в добавление документа составит 10%. По такой логике можно построить маркетинговую воронку и примерно понять, на каком этапе “отваливается” часть аудитории и в чём может быть проблема: в продукте или в привлечении.

Аналогичным образом работает, например, маркетплейс и ценообразование в приложениях из других сфер: такси, каршеринг. Чем больше пользователей открыло приложение и чем меньше затем заказало услугу, тем ниже будет коэффициент и цена в будущем. И ровно наоборот: чем выше CR из показа цены в оформленный заказ, тем дороже будет стоить услуга».

Сайты с контентом

Консультант раздела: Александр Машков, маркетолог digital-агентства Gold Carrot

«У любого контентного сайта одна задача: нагнать как можно больше качественного трафика, а затем максимально эффективно его монетизировать. На каждом этапе есть важные метрики, за которыми стоит следить. Я разбиваю их на три условные группы:

Поведение — метрики, описывающие отношение пользователей с сайтом в целом.
Вовлечение — метрики, описывающие качество контента и его способность заинтересовать читателя.
Монетизация — метрики, описывающие финансовую успешность продукта».

Поведение

1. Page views (просмотры) — количество посещений определённой страницы на сайте. По количеству просмотров можно понять, какие темы привлекают больше пользователей.

Где искать:

Google Analytics — Поведение → Контент сайта → Все страницы;
Яндекс.Метрика — Стандартные отчёты → Содержание → Популярное.

2. Unique visitors (уникальные посетители) — общее количество посетителей, которые посмотрели определённую страницу на сайте (без учёта повторных сессий). Помогает определить охват аудитории.

Где искать:

Google Analytics — Аудитория → Обзор;
Яндекс.Метрика — Стандартные отчёты → Посещаемость.

3. Average page view duration (среднее время на странице) — время, которое пользователь в среднем проводит на одной странице сайта. Показывает, как пользователи взаимодействуют с контентом: внимательно его читают или просто просматривают. Если на одних страницах показатель больше, чем на других, значит, какие-то элементы контента больше интересуют посетителей.

Где искать:

Google Analytics — Поведение → Контент сайта → Все страницы;
Яндекс.Метрика — если подключена контентная аналитика, можно смотреть показатель «Время на материал» в разделе Контент → Материалы.

4. Page depth (глубина просмотра) — среднее количество страниц, которые пользователь посетил за сеанс. Показывает, насколько интересен контент в целом. Если показатель низкий, стоит поработать над перелинковкой контента, дизайном и навигацией.

Где искать:

Google Analytics — Аудитория → Обзор;
Яндекс.Метрика — Стандартные отчёты → Аудитория → Глубина просмотра.

5. Bounce rate (отказы) — процент пользователей, которые покинули сайт, просмотрев только страницу входа. Показывает проблемы с рециркуляцией — долей посетителей, которые потребили больше одной единицы контента. Если в блоге высокий показатель отказов может быть нормой (человек зашёл за конкретной информацией, получил её и ушёл), то для медиа это крайне плохой признак.

Где искать:

Google Analytics — Поведение → Контент сайта → Все страницы;
Яндекс.Метрика — Стандартные отчёты → Источники → Сводка.

Google Analytics считает сеанс отказом, если пользователь смотрел только одну страницу и не взаимодействовал с ней. Яндекс.Метрика же ориентируется на время, которое пользователь провёл на странице — если не прошло и 15 секунд, а пользователь уже ушёл, сеанс считается отказом. Для контентных сайтов более релевантен второй вариант.

6. New and repeat visitors (новые и вернувшиеся посетители) — процентное соотношение между новыми и вернувшимися посетителями. Контент должен не только привлекать новых пользователей, но и удерживать старых.

Где искать:

Google Analytics — Аудитория → Поведение → Новые и вернувшиеся;
Яндекс.Метрика — например, посмотреть разницу между посетителями и новыми посетителями на экране «Сводка».

Вовлечение

7. Лайки и шеры в соцсетях — показатели виральности контента, того, насколько он популярен у аудитории. Шеры важнее лайков, потому что они показывают, что кто-то не только счёл контент интересным, но и расширил охват.

Где искать:

использовать системы планирования публикаций в соцсетях, например, «Амплифера» или SEMrush, и смотреть количество лайков, репостов и шеров в отчётах;
сделать свои внутренние лайки (вроде «хлопков» на Medium), если на сайте большая активная аудитория;
установить или сделать свои кнопки шеринга со счётчиком (обычно кнопки обращаются к соцсети, чтобы узнать число шеров, но некоторые соцсети эту информацию уже не отдают, например, Twitter);

8. Упоминания — упоминания в соцсетях и медиа. Показывают, насколько контент качественный и как крепко ассоциируется с брендом. Нужно также обращать внимание на авторов упоминаний, настроение и контекст, чтобы отрабатывать негатив.

Где искать:

поиск в соцсетях;
сервис «Яндекс.Блоги»,
сервис «Оповещения Google».

9. Входящие запросы — предложения сотрудничества с медиапродуктом. Самый явный показатель качества контента независимо от того, приглашают ли вас написать новый материал, поделиться знаниями, дать интервью или сделать что-то ещё.

10. Комментарии пользователей. Помогают определить наиболее интересный контент — тот, который провоцирует дискуссию. Количество комментариев показывает вовлечённость аудитории лучше лайков и шеров, потому что если пользователь потратил время, чтобы написать комментарий, значит, контент его замотивировал.

Где искать: на сайте и в соцсетях.

11. Републикации — когда кто-то цитирует вас; ссылается на ваш контент как на источник или целиком перепечатывает его. Показывает качество публикуемого контента.

Где искать: в поисковиках.

Монетизация

12. Conversion Rate (конверсия) — процент пользователей, которые совершили полезное действие после взаимодействия с контентом: подписались, зарегистрировались, кликнули по баннеру и так далее.

Как рассчитать: чтобы измерить конверсию, нужно настроить цели в системе аналитики. Конверсия — это всегда «переход» из одного этапа в другой. Например, если нужна конверсия в подписку, необходимо разделить количество подписок за период на количество посетителей страницы (страниц) с формой подписки.

13. Cost Per Acquisition (цена привлечения) — деньги, которые вы тратите на привлечение одного лида. CAC характеризует стоимость привлечения клиента, а CPA, с другой стороны, стоимость получения определенной конверсии — к примеру, регистрации на сайте или активации аккаунта. Метрика помогает определить самые выгодные каналы продвижения.

Как рассчитать: CPA = (стоимость контента + затраты на публикацию и продвижение + технические расходы) / количество новых лидов

API

Консультант раздела: Дмитрий Антипов, менеджер продукта OMNICOMM

«Продуктовые метрики необходимо выбирать так, чтобы повысить ценность от использования сервиса для клиента. Для продуктов API клиентом является разработчик. Но важно помнить, что предоставляемые данные предназначены для конечного пользователя.

Выбор метрик зависит от задач бизнеса. Например, ключевая метрика в транзакционном бизнесе (онлайн-платежи) — скорость отклика. Для банковских переводов важна безопасность, в телематике — скорость сбора данных с транспортных средств и выгрузка отчетов. При разработке API нужно уточнить у заказчика, как планируется монетизировать API, и согласовать, какие метрики следует отслеживать в первую очередь.

Ключевые критерии любого качественного сервиса API — это скорость предоставления данных, простота интеграции для сторонних разработчиков и невысокая стоимость владения».

1. API calls — общее количество вызовов API за заданный период времени. Необходимо понимать количество вызовов по каждому методу для планирования нагрузки на инфраструктуру.

2. Failure rate — количество неудачных вызовов API. Метрика даёт понимание, насколько выросло число неудачных вызовов одного из микросервисов. Возможно, появился баг, или микросервис почему-то стал слишком популярным. На примере OMNICOMM: после добавления информации о температурном режиме в рефрижераторе пользователи из ритейла стали запрашивать метод «Состояние ТС» каждый час. Другой пример: после того, как службы, управляющие автопарком в аэропорту, подключились к API, количество вызовов метода «Местоположение ТС» кратно возросло.

Как рассчитать: Failure rate = количество неудачных вызовов / общее количество вызовов

3. Support tickets — количество обращений в службу поддержки, возникших в результате проблем с API. Обращения важно разделять на консультации и инциденты. Все ошибки на продуктовой площадке должны отлавливать автотесты и мониторинг. Количество багов, точнее, их отсутствие, также считается показателем бизнеса в целом и может быть использовано в KPI.

4. Response time — время ответа сервиса на запрос клиента. Изменения в сервисе могут ухудшить качество его работы. Кроме того, разработчик может написать неоптимальный запрос к базе данных или перегрузить микросервис.

Как рассчитать: разница между временем вызова и временем получения ответа. Эталонное время можно получить при нагрузочном тестировании.

5. Количество запросов в единицу времени. Слишком частый вызов метода может негативно отразиться на доступности сервиса для клиентов. Сторонние разработчики не всегда используют сервис оптимально. Также резкое возрастание этой метрики может сигнализировать о внешней атаке.

SaaS

Консультант раздела: Александр Сорокин, директор продукта в «Мегаплане»

«В SaaS свои особенности учёта метрик. Денежные метрики считаются немного иначе, чем в других продуктах. Это связано с тем, что клиент может заплатить сразу за большой период, а может платить каждый месяц понемногу. Учесть это можно через метрику MRR (Monthly Recurring Revenue).

Если клиент платит большими периодами, вам могут понадобиться собственные метрики активности, не связанные с деньгами напрямую. Глядя на них, вы сможете прогнозировать активации и отток и использовать их для экспериментов.

Классические retention rate и churn rate считаются по посещениям или оплатам, но можно измерять удержание и отток любого действия: выполнение задания, создание заметки, отправка сообщения. Главное — определить ключевые активности для вашего сервиса, которые коррелируют с общей выручкой и сроком жизни клиента».

Консультант раздела: Иван Мараховка, основатель WEEEK

«Хочу сразу развеять надежды: универсального набора метрик, который подходит всем SaaS-продуктам, нет. У каждого — свой уникальный набор, который можно определить на базе фреймворков HEART или PULSE. Конечно, в него могут входить метрики, которые отслеживают и в других продуктах (APRU, MAU и другие), но их важность для SaaS — большой вопрос. Но рассказать о “базовом наборе” метрик точно будет не лишним».

Денежные метрики

1. Average Revenue Per User (ARPU) — выручка на одного активного пользователя. Используется для оценки изменений в проекте и сравнения продуктов между собой — инвестор скорее выберет тот, где ARPU выше.

Как рассчитать: ARPU = Выручка / Активные пользователи

2. Average Revenue Per Paying User (ARPPU) — выручка на одного платящего пользователя. Хотя эта метрика отличается от ARPU всего на одну букву, разница принципиальна. Здесь в расчёт попадают не просто активные пользователи, а платящие пользователи за определённый период. ARPPU показывает, сколько готов заплатить лояльный клиент за использование продукта.

Как рассчитать: ARPPU = Выручка / Платящие пользователи

Примечание: формально ARPPU не привязан к длительности подписки. К примеру, если аккаунт вносит плату за два года, ARPPU этого месяца вместит её целиком. Из-за этого в случае SaaS показатель для ежемесячного пересчёта иногда называют ARPA (Average Revenue per Account per month).

3. Monthly Recurring Revenue (MRR) — регулярный ежемесячный доход или сумма, которую платят клиенты за месяц использования. Одна из самых важных метрик продуктов с ежемесячной подпиской. Помогает не только понимать, насколько хорошо растёт компания, но и предсказывать будущие доходы.

Как рассчитать: MRR = Количество клиентов * Средний доход с клиента в месяц

Подвиды MRR:

New MRR — доход от новых подписок;
Expansion MRR — доход от увеличения тарифов;
Contraction MRR — потери от сокращения тарифов;
Churn MRR — потери от оттока;
Reactivation MRR — доходы от тех, кто реактивировал подписку.

New Net MRR показывает темпы роста SaaS-базы подписок и не учитывает тех, кто продляется по тем же условиям, что и раньше.

Как рассчитать: Net New MRR = New MRR + Expansion MRR + Reactivation MRR — Contraction MRR — Churn MRR

4. Annual Recurring Revenue (ARR) — по аналогии с MRR, ARR – это регулярный ежегодный доход. Актуально для компаний, которые делают упор на годовую подписку.

Как рассчитать: ARR = MRR × 12

Метрики онбординга

5. Leads — количество пользователей, которые проявили интерес к продукту и оставили контактные данные, и Unique visitors to leads — процент посетителей, ставших лидами. Относительные метрики, которые позволяют выявить наиболее эффективные каналы трафика.

Как рассчитать: количество регистраций на сайте за период / количество уникальных посетителей сайта за период.

6. Unique visitors to subscription — процент посетителей, которые купили подписку. Метрика позволяет выявить наиболее конверсионные каналы трафика.

Как рассчитать: количество пользователей, купивших подписку за период / количество уникальных посетителей сайта за период. Можно смотреть на метрику в разрезе разных источников трафика.

7. Leads to subscription — доля пользователей, которые активировали платную подписку после пробного периода / после того, как оставили свои данные. На эту метрику влияет множество факторов и разные команды внутри компании. Например, продуктовая команда стремится её улучшить, добавляя в продукт полезные функции и донося ценность до пользователей.

Как рассчитать: чтобы сравнивать результаты разных периодов, можно подсчитать количество тех, кто сконвертировался в ограниченный отрезок времени.
Leads to subscription = количество клиентов, заплативших в первые N дней после регистрации / количество клиентов, которые начали пользоваться продуктом или оставили свои данные.

Метрики вовлечения

8. Actions per month — количество действий по отношению к продукту в месяц (в неделю, в день). Действия будут различаться в зависимости от функциональности продукта. Метрика позволит определять уровень вовлечённости пользователей, выделить лояльного клиента или выявить технические проблемы.

9. Active users — количество клиентов, которые активно используют продукт. Бизнес самостоятельно решает, что в его случае означает «активно». Метрика также поможет измерить вовлечённость пользователей, выстроить механизмы для повышения её уровня, а также предотвратить отписки.

На чем можно заработать в кризис? Опыт 100+ компаний, которые используют технологии в бизнесе, в проекте Dig(IT)al.

Фото на обложке: NicoElNino, Shutterstock

Источник