Чему вы научитесь
- Связывать действия пользователя, продуктовые события, заказы и платежи в ShopFlow с конкретными бизнес-показателями
- Составлять план событий с обязательными свойствами, идентификаторами, временными метками и правилами регистрации
- Проверять полноту и правильность регистрации событий по реальным действиям и записям PostgreSQL
- Определять уровень детализации таблиц и бизнес-ключи, различать пользователей, сессии, события, заказы и попытки оплаты
- Писать аналитические SQL-запросы с JOIN, CTE, оконными функциями и агрегацией для восстановления пользовательского пути
- Находить размножение строк после JOIN и предотвращать завышение выручки и числа покупок
- Строить дерево продуктовых метрик и связывать конверсию, частоту покупок, средний чек и выручку
- Рассчитывать DAU, WAU и MAU с правильными временными окнами и учётом уникальных пользователей
- Считать конверсию, валовую выручку, возвраты, чистую выручку и средний чек по подтверждённым бизнес-операциям
- Согласовывать числитель, знаменатель, единицу измерения и период метрики, объяснять расхождения между отчётами
- Проектировать последовательную воронку от регистрации до оплаты с учётом порядка действий и конкретной корзины
- Рассчитывать потери между этапами воронки и находить причины просадки конверсии в отдельных сегментах
- Формировать когорты пользователей по первому действию и проверять корректность их состава
- Рассчитывать удержание D1, D7 и D30 по зрелым когортам, не принимать незавершённые окна за отток
- Анализировать неактивность, возвращение пользователей и реактивацию после длительного перерыва
- Строить поведенческие сегменты, проверять их пересечения и сравнивать конверсию сопоставимых групп
- Анализировать каналы привлечения и UTM-метки с явными правилами атрибуции и окнами наблюдения
- Обнаруживать эффект Симпсона и объяснять, как изменение состава аудитории влияет на агрегированную конверсию
- Находить повторно доставленные и пропущенные события и отличать их от самостоятельных бизнес-действий
- Исследовать поздно поступившие данные, связывать пользователя между сессиями и проверять целостность идентификаторов
- Сверять события покупок с заказами, платежами и возвратами независимыми SQL-запросами
- Создавать вопросы и продуктовые дашборды в Metabase и проверять их показатели по исходным данным PostgreSQL
- Разбирать аномалии на дашбордах и устанавливать, связаны ли они с изменением продукта, расчёта или качества событий
- Отличать наблюдаемую корреляцию от причинного эффекта продуктового изменения
- Формулировать гипотезу A/B-теста, основную метрику, защитные показатели и заранее заданные правила принятия решения
- Выбирать единицу рандомизации, целевую аудиторию и правила назначения пользователей в экспериментальные группы
- Оценивать необходимый размер выборки, минимально полезный эффект и длительность эксперимента с учётом зрелости данных
- Настраивать локальный GrowthBook и флаг двух вариантов оформления заказа, подключать назначение через Python SDK
- Проверять устойчивость назначения варианта и полноту регистрации фактических показов эксперимента
- Проводить контрольный A/A-тест и проверять исходные предположения о распределении пользователей и качестве данных
- Запускать воспроизводимый A/B-тест и рассчитывать абсолютный и относительный эффект на уровне пользователей
- Строить доверительные интервалы и сопоставлять результаты PostgreSQL с отчётами GrowthBook на одинаковых выборках
- Выявлять Sample Ratio Mismatch и ошибки учёта назначений и показов, которые искажают результат эксперимента
- Проверять влияние преждевременного просмотра результатов и множественных сравнений на риск ложных выводов
- Оценивать основную метрику вместе с ошибками оплаты, отменами и возвратами на завершённых окнах наблюдения
- Отличать статистическую значимость от практической пользы, оценивать ожидаемый бизнес-эффект и стоимость изменения
- Исследовать различия эффекта между заранее определёнными сегментами и ограничения таких сравнений
- Применять CUPED к предэкспериментальным данным и сравнивать точность оценки до и после корректировки
- Формулировать решение о продолжении исследования, отказе от изменения или ограниченном выпуске с критериями мониторинга и отката
- Самостоятельно расследовать расхождение продуктовых метрик, провести отдельный A/B-тест и защитить итоговую рекомендацию проверяемыми расчётами
О курсе
Курс для продуктовых и бизнес-аналитиков, менеджеров продукта и технических руководителей. На данных ShopFlow вы проверите качество событий, рассчитаете метрики, воронки и удержание с помощью SQL и PostgreSQL, построите отчёты в Metabase. Настроите A/B-тест в GrowthBook, проанализируете результаты в Python и подготовите итоговый кейс с обоснованным решением. Работы проверяет преподаватель, вопросы можно задавать в комментариях.
Для кого этот курс
— Продуктовые аналитики, которые хотят увереннее работать с событиями, транзакциями, воронками и удержанием пользователей, проверять достоверность метрик и самостоятельно анализировать A/B-тесты.
— Бизнес-аналитики, которые участвуют в развитии цифровых продуктов и хотят переводить бизнес-вопросы в измеримые показатели, согласовывать правила расчётов и проверять гипотезы на данных.
— Product Managers и Product Owners, которым нужно оценивать изменения продукта, выбирать основную и защитные метрики, разбираться в результатах экспериментов и принимать решения с учётом пользы и рисков.
— Engineering Managers и технические руководители, которые планируют изменения в продукте и хотят понимать качество событий и метрик, проверять результаты экспериментов вместе с командой и обосновывать ограниченный выпуск или откат.
— Data/BI-аналитики и аналитические инженеры, которые работают с SQL и отчётами и хотят разбираться в происхождении показателей, сегментации, когортном анализе, Metabase и статистической проверке продуктовых изменений.
— QA/AQA-инженеры, которые проверяют пользовательские сценарии, события аналитики и продуктовые эксперименты и хотят обнаруживать ошибки измерений, нарушенную рандомизацию и расхождения между отчётами и бизнес-данными.
Начальные требования
📚 Что нужно знать
- SQL: SELECT, WHERE, JOIN, GROUP BY и агрегатные функции.
- Python: читать и немного изменять код, запускать скрипты и работать с виртуальным окружением.
- Git и терминал: получать репозиторий, сохранять изменения и запускать локальные инструменты.
Продвинутая статистика заранее не требуется: необходимые методы для анализа A/B-тестов разбираются в курсе.
🧰 Что понадобится
- Python 3.12, Git и Docker Engine/Desktop с Compose для лаборатории ShopFlow.
- Аккаунт GitHub для доступа к закрытому учебному проекту и собственного форка.
- Не менее 5 ГиБ памяти, выделенной Docker, для одновременного запуска Metabase и GrowthBook.
Практика проходит на локальных сервисах и синтетических данных. Облачные аккаунты, платные API и реальные персональные данные не нужны.
Преподаватели курса
2 611
Как проходит обучение
📊 Продуктовое решение начинается с проверки метрики. Объяснения и вопросы чередуются с SQL-анализом данных учебного продукта ShopFlow.
- 🔎 Проверяете основу: находите пропущенные события, повторы и расхождения в расчётах.
- 🧪 Проводите эксперимент: настраиваете A/B-тест в GrowthBook и анализируете результат в Python.
- 📝 Формулируете вывод: готовите рекомендацию с расчётами и честными ограничениями данных.
Что вы получите
- Собственная рабочая копия учебного продукта ShopFlow с HTTP-приложением, PostgreSQL, синтетическими пользователями, заказами, платежами и событиями
- План продуктовых событий с проверками свойств, идентификаторов, временных меток и связи событий с бизнес-операциями
- Набор собственных SQL-запросов для анализа пользовательского пути, устранения ошибок JOIN и сверки данных разной детализации
- Дерево продуктовых метрик и зафиксированные правила расчёта активности, конверсии, выручки, возвратов и среднего чека
- Последовательные воронки с анализом потерь, когортные расчёты D1/D7/D30 и результаты исследования оттока и реактивации
- Расчёты сегментов и каналов привлечения с проверками атрибуции и влияния состава аудитории
- Результаты аудита качества данных с обнаруженными дубликатами, пропусками, задержками событий и расхождениями с платежами
- Продуктовый дашборд в Metabase с контрольными SQL-запросами и результатами расследования аномальных показателей
- План A/B-теста с гипотезой, основной и защитными метриками, единицей рандомизации, размером выборки и правилом остановки
- Настроенный учебный эксперимент в GrowthBook с вариантами оформления заказа, назначениями через Python SDK и проверками регистрации показов
- SQL- и Python-расчёты A/A- и A/B-тестов, доверительных интервалов, нарушений распределения, множественных проверок и CUPED
- Анализ практической пользы изменения, защитных показателей и ограничений данных с обоснованной рекомендацией о выпуске или продолжении исследования
- Итоговый аналитический кейс с расследованием расхождения метрик, независимым экспериментом, воспроизводимыми расчётами и техническим обоснованием продуктового решения
Нагрузка
4–5 часов в неделю