С момента запуска прошлой заметки об ИИзи прошло уже несколько месяцев. Да, получилось не так быстро, как хотелось бы, но ошибки разберём в конце. Сначала к сути и цифрам.
Сразу важный контекст: текущая воронка рассчитана на родителей, детей подключают позже. И это сильно меняет то, как надо читать метрики. Если смотреть на всё в лоб, можно сделать неправильные выводы.
Что у нас по пользователям и поведению
За период:
- 1675 пользователей запустили бота (старты).
- 1165 пользователей прошли регистрацию (первый переход в меню).
По ролям среди зарегистрировавшихся (1165):
- родители: 614 (≈53%)
- ученики: 287 (≈25%)
- student/parent (сдвоенные аккаунты): 264 (≈23%)
Про "домашки": мы нашли важную вещь. Дети часто не доводят ДЗ до формального "завершения" в боте, потому что на каком-то шаге уже понимают решение и уходят. Поэтому в текущей версии мы считаем прокси-метрикой "ценности" не "завершено", а "начато ДЗ" как "задача сделана с помощью бота" (по сути получили нужный инсайт).
Если смотреть на учеников (student + student/parent), их 551:
- хотя бы одно ДЗ начали ≈68%.
NPS по детям (только ученики):
- Из 227 оценок (спрашивается после 3 решённых задач, три смайлика: грустный, нейтральный и весёлый) 75% (170 детей) готовы нас порекомендовать друзьям, 19% (43) – нейтральны и 6% (14) – не готовы, что-то не так.
Retention по действиям (лог событий)
Мы отдельно выгрузили лог действий по тем, кто реально что-то делал в продукте: там 375 уникальных пользователей и 4438 действий.
Важно: это не вся база, а именно активные (1+ ДЗ). Поэтому это не "ретеншн от всех", а "как ведут себя те, кто начал пользоваться".
Что видно:
- В день старта (Day 0) действие совершили 70,4% пользователей из этого лога.
- Дальше продукт ведёт себя как инструмент "по необходимости", а не как ежедневная привычка: Day 1: 17,1% Day 7: 7,24% Day 14: 5,66% Day 30: 2,48%
Повторное использование в пределах 30 дней:
- 46,1% имеют 2+ активных дня
- 30,1% имеют 3+ активных дня
- 21,7% имеют 4+ активных дня
По типам действий контур "Решить ДЗ" сильно доминирует над режимом "Вопрос", то есть текущая "точка силы" продукта именно в домашках. По предметам лидирует математика и много запросов от пользователей на английский язык.
Про монетизацию и почему "абсолютная конверсия" нас обманывает
Мы изначально смотрели "абсолютную конверсию" в оплату подписки:
- оплата / все старты: если взять 29 уникальных платящих и 1675 стартов, то получится ≈1,73%, что, кстати, для MVP очень неплохо, тем более, при всех ошибках во время тестов.
Но дальше стало очевидно: как метрику монетизации – так считать не совсем корректно, потому что часть аккаунтов (детские) технически не может оплатить, они должны донести ценность до родителей.
Поэтому мы сверили по айдишникам оплату и роли. Получилось гораздо понятнее:
- Конверсия среди тех, кто вообще может оплатить (parent + student/parent) среди зарегистрировавшихся:
- аккаунты с возможностью оплаты: 878
- уникальных платящих: 29
- конверсия в оплату: 3,30%
- Самое показательное для нашей каскадной модели "платит родитель после ценности у ребёнка" – это "активный ребёнок". Мы отметили его как: аккаунт, у которого есть связанный relation, и среди связанных аккаунтов есть пользователь, который начал хотя бы одно ДЗ.
- аккаунты с возможностью оплаты с активным ребёнком: 316
- платящих среди них: 28
- конверсия в оплату: 8,86%
- А если смотреть только родителей (отдельные аккаунты, не сдвоенные):
- parents с активным ребёнком: 187
- платящих: 21
- конверсия в оплату: 11,23%
- Для сравнения, если активного ребёнка нет, оплата почти не происходит:
- конверсия порядка 0,18%.
То есть деньги появляются почти всегда там, где ребёнок действительно получил пользу. Это выглядит логично и в каком-то смысле "успокаивает": монетизация завязана на реальную ценность, а не на случайный "дожим".
Что из этого следует (и что делаем дальше)
- Интерес к продукту, очевидно, есть. Гипотеза подтверждена. Возможно, это можно было сказать и без цифр, но теперь уж точно. Сейчас видно – ценность у детей появляется быстро, и если ребёнок реально пользуется, родитель достаточно часто доходит до оплаты. Теперь нужно сделать так, чтобы таких "активных детей" становилось больше, и чтобы сценарий повторного использования был естественным.
- Мы всё больше уверены, что продукт "по необходимости", поэтому важнее не "ежедневный D1" (возврат на второй день/ежедневный возврат), а рост доли пользователей, которые делают 2+ учебных сессий (по факту 2+ обращений за решением) в неделю/месяц.
- Много людей потерялись на этапе регистрации (почти треть). Упростим максимально флоу, чтобы улучшить конверсию на этом этапе.
- Сократим тестовый период. Оставим только решение нескольких домашних заданий, без ограничений по времени, но с пушами в случае отсутствия действий.
- После доработок встроим ИИзи в одну из воронок Юкидс. Если там удастся добиться абсолютной конверсии в 2-3% на большом количестве пользователей, тогда будет принято решение о дальнейшем финансировании и развитии проекта. Если нет, то останется вот такой эксперимент.
- Надо понимать, что даже если на 2 этапе всё будет успешно, то в данном случае это будет означать лишь то, что мы научились конвертить пользователей при "условно 0 CAC", а чтобы экономика сходилась на платном трафике – придётся пересчитывать и тестировать снова.
Ошибки, или как делать не надо
- Во-первых, если это тест MVP, то тестировать надо действительно MVP. То есть упрощать всё, что можно. У нас же получилось, что на этапе переговоров возникли разногласия в видении. Юкидс хотели предусмотреть очень много вещей. Их можно понять, репутация, нежелание запускать "сырой/кривой" продукт на свою аудиторию. Но чем-то приходится жертвовать. В этот раз пожертвовали временем, получили опыт. Теперь откатываемся обратно, к упрощению.
- Давать тестовый период в 30 дней было ошибкой. По данным видно, что наибольший интерес и эффект понимания ценности возникает в первые дни. Оплату надо ставить в это же время. Конверсия должна вырасти.
Мысли
Сейчас мы сделали решение домашек, но это "верхний слой". Одновременно с нами таких проектов появилось много.
Ещё в самом начале, до разработки у нас была мысли, что домашние задания как сущность – постепенно будут уходить в прошлое. Ведь с развитием ИИ что ни придумывай, а всё равно соблазн списывать слишком велик. И дети будут этим пользоваться.
Если пофантазировать, то в будущем может организоваться система, при которой детям дают не домашние задания, имеющие конкретные решения, а нелинейные проекты или просто изучение темы с определённым перечнем того, что нужно понять/узнать. А вот на уроках, вместе с преподавателем, знания будут применяться и закрепляться на практике.
В таком случае, будут востребованы сервисы-репетиторы с точной информацией и различными методиками освоения материала "под капотом". Здесь очень понятная ценность и идеально заходит подписная модель.
Но пока домашки есть. Если проект продолжится, думаю, переориентируемся при необходимости.
В общем, как всегда, интересно. Продолжаем наблюдение.