Содержание курса
1. Введение
1 урок
110
110
0м
4
Закрытый
1.1
Как устроен курс?
↗
110
110
0м 27с
4
2. Продуктовые метрики
3 урока
237
107
130м
16
Открытый
2.1
Активные пользователи: DAU, WAU, MAU и «липкость» (Stickiness)
↗
109
50
20м 32с
7
Закрытый
2.2
Удержание пользователей (Retention Rate)
↗
60
42
21м 59с
4
Открытый
2.3
Воронка конверсии и продуктовые показатели воронки
↗
68
15
90м 53с
5
3. Дизайн эксперимента (A/B тестирование)
3 урока
139
60
90м
6
Закрытый
3.1
Гипотезы и проверка идей с помощью A/B-тестов
↗
54
25
29м 37с
1
Закрытый
3.2
Выбор метрик успеха и целей эксперимента
↗
47
25
35м 22с
3
Закрытый
3.3
Размер выборки и длительность эксперимента
↗
38
10
26м 43с
2
4. Статистические тесты и проверка значимости
3 урока
99
24
57м
1
Закрытый
4.1
Статистическая значимость и t-тест
↗
39
9
24м 20с
3
Закрытый
4.2
Непараметрические тесты: критерий Манна–Уитни и другие
↗
31
7
18м 7с
-2
Закрытый
4.3
Бутстрап и современные подходы к A/B-тестам
↗
29
8
15м 35с
0
5. Интерпретация результатов эксперимента
3 урока
75
26
37м
0
Закрытый
5.1
Оценка эффекта (uplift) и его значимость
↗
26
14
11м 6с
0
Закрытый
5.2
Доверительные интервалы и их использование
↗
25
12
13м 2с
0
Закрытый
5.3
Ошибки I и II рода, доверие к результатам теста
↗
24
0
13м 41с
0
6. Частые ошибки и подводные камни в A/B‑тестировании
4 урока
76
16
19м
-1
Закрытый
6.1
Преждевременное прекращение теста (Peeking)
↗
24
0
10м 13с
-1
Закрытый
6.2
Эффект переноса (Carryover effect)
↗
23
8
6м 15с
0
Закрытый
6.3
Пересекающиеся эксперименты и конкуренция эффектов
↗
27
7
3м 58с
0
Закрытый
6.4
Обратная связь
↗
2
1
-
0