Чему вы научитесь
- Формулировать гипотезу и выбирать целевую, вспомогательные и контрольные метрики
- Рассчитывать размер выборки, MDE и длительность эксперимента
- Проверять дизайн эксперимента A/A-тестами и синтетическими A/B-тестами
- Оценивать эффект t-тестом и строить доверительные интервалы
- Применять бутстреп для медиан и квантилей и критерий Манна–Уитни
- Снижать дисперсию метрики стратификацией и CUPED
- Анализировать метрики-отношения дельта-методом и линеаризацией
- Применять поправки Бонферрони и Холма при проверке нескольких гипотез
- Находить ошибки в настройке сплит-системы
О курсе
Для кого этот курс
- Аналитикам данных и продуктовым аналитикам, которые проводят эксперименты или готовятся к собеседованию.
- Менеджерам продукта и маркетологам, которые заказывают A/B-тесты и принимают решения по их результатам.
- Тем, кто знает основы статистики и хочет применять её к экспериментам в продукте.
Начальные требования
- Основы статистики: среднее, дисперсия, нормальное распределение. Нужные понятия кратко повторяются в первом модуле.
- Microsoft Excel и базовые навыки работы с формулами.
Преподаватели курса
Как проходит обучение
Все темы курса разобраны на одном сквозном кейсе онлайн-сервиса с клиентами, заказами и рассылками. Одни и те же данные анализируются разными методами, и на них видно, как выбор метода меняет вывод эксперимента.
Каждая тема начинается с текстовой теории с формулами, примерами расчётов и пояснениями. После теории идут тесты и задачи на расчёт для закрепления материала. К каждому заданию есть пояснение с решением.
Для получения практического опыта в курсе предусмотрены 10 практикумов в Excel. В них вы рассчитываете размер выборки, проверяете группы до запуска, оцениваете эффект t-тестом, бутстрепом и CUPED, анализируете метрики-отношения и ищете ошибку в настройке сплит-системы. Файлы с данными и заготовками прикреплены к урокам, программировать не нужно.
Курс заканчивается итоговым экзаменом из 22 заданий по всем модулям.
Обучение проходит в удобном темпе: вы сами решаете, когда и сколько времени уделять урокам. Если что-то окажется непонятным, задайте вопрос в комментариях к шагу, преподаватель ответит и поможет разобраться.
Что вы получите
- Понимание полного цикла A/B-теста: от гипотезы и дизайна до решения о внедрении.
- Практику расчётов: 181 задание, к каждому есть пояснение с решением.
- 10 практикумов в Excel на данных онлайн-сервиса, которые можно использовать как шаблоны в работе.
- Калькулятор дизайна эксперимента в Excel: размер выборки, MDE и длительность.
- Подготовку к вопросам об A/B-тестах на собеседовании аналитика.
- Поддержку преподавателя: вопрос можно задать в комментариях к любому шагу.