Курс на Stepik
Обложка курса «A/B-тесты для аналитика: от дизайна до решения» на Stepik
2 490 ₽

A/B-тесты для аналитика: от дизайна до решения ★ 0.000

Открыть на
STEPIK.ORG

Курс по A/B-тестам для аналитика: от дизайна и расчёта мощности до решения о раскатке. Сплитование, SRM, критерии, ratio-метрики, CUPED, подглядывание и сетевые эффекты. 847 шагов с практикой.

Показатель Текущие показатели Рост
Значение 🏆 Рейтинг 3 дн 7 дн 30 дн
Количество учеников на курсе «A/B-тесты для аналитика: от дизайна до решения»Учеников на курсе 33
Сертификаты, выданные на курсе «A/B-тесты для аналитика: от дизайна до решения»Сертификатов выдано 1
Отзывы о курсе «A/B-тесты для аналитика: от дизайна до решения»Отзывов получено 0
Рейтинг курса «A/B-тесты для аналитика: от дизайна до решения»Рейтинг курса 0.000
Уроки в курсе «A/B-тесты для аналитика: от дизайна до решения»Количество уроков 110
Тесты в курсе «A/B-тесты для аналитика: от дизайна до решения»Количество квизов 377
Задачи с кодом в курсе «A/B-тесты для аналитика: от дизайна до решения»Количество задач с кодом 68
Время прохождения курса «A/B-тесты для аналитика: от дизайна до решения»Время прохождения курса —
Стоимость курса «A/B-тесты для аналитика: от дизайна до решения»Стоимость курса 2 490 ₽ —
Обновления курса «A/B-тесты для аналитика: от дизайна до решения»Обновления курса — —
Дата публикации курса «A/B-тесты для аналитика: от дизайна до решения»Дата публикации курса — ———
Последнее обновление курса «A/B-тесты для аналитика: от дизайна до решения»Последнее обновление — ———
Сложность normal — ———

Содержание курса

Разделы в курсе «A/B-тесты для аналитика: от дизайна до решения» 14 разделов Уроки в курсе «A/B-тесты для аналитика: от дизайна до решения» 110 уроков Тесты в курсе «A/B-тесты для аналитика: от дизайна до решения» 377 тестов Задачи в курсе «A/B-тесты для аналитика: от дизайна до решения» 68 задач Время прохождения курса «A/B-тесты для аналитика: от дизайна до решения» 4 ч. Последнее обновление курса «A/B-тесты для аналитика: от дизайна до решения» обн. 25 октября 2026

Введение: зачем нужны эксперименты

5 уроков
1. Что решает A/B-тест и почему без него больно ↗
2. Как устроен курс и что вы получите ↗
3. Словарь: контроль, тест, метрика, эффект ↗
4. Когда A/B-тест не нужен и даже вреден ↗
5. Продукт, на котором мы будем учиться ↗

Фундамент: причинность, ошибки, мощность, MDE

10 уроков
1. Причинный эффект и потенциальные исходы ↗
2. Рандомизация: почему она работает ↗
3. Выборочное среднее и стандартная ошибка ↗
4. Центральная предельная теорема на практике ↗
5. Нулевая и альтернативная гипотезы ↗
6. p-value: что это и чем оно НЕ является ↗
7. Ошибки первого и второго рода ↗
8. Мощность эксперимента ↗
9. MDE и формула размера выборки ↗
10. Доверительные интервалы и как их читать ↗

Дизайн эксперимента

10 уроков
1. От идеи к проверяемой гипотезе ↗
2. Выбор основной метрики и OEC ↗
3. Guardrail-метрики: что нельзя сломать ↗
4. Единица рандомизации ↗
5. Считаем размер выборки для реальной метрики ↗
6. Длительность теста: недельные циклы ↗
7. Сезонность, акции и внешние шоки ↗
8. Несколько экспериментов одновременно ↗
9. Документ дизайна эксперимента ↗
10. Три готовых дизайна целиком ↗

Сплитование и валидация данных

9 уроков
1. Как технически делят трафик ↗
2. A/A-тест: проверка самой системы ↗
3. SRM: несовпадение размеров групп ↗
4. Откуда берётся SRM: каталог причин ↗
5. Боты и технические пользователи ↗
6. Пропуски и дубли ↗
7. Кого включать в анализ: экспозиция и триггер ↗
8. Проверка сопоставимости групп «до» ↗
9. Чек-лист готовности к анализу ↗

Статистические критерии

11 уроков
1. t-тест: как он устроен ↗
2. Welch против Стьюдента ↗
3. z-тест для долей и конверсий ↗
4. Критерий хи-квадрат ↗
5. Почему Манн–Уитни не используют в продуктовых A/B ↗
6. Ранговый критерий против бизнес-метрики: разбор по пунктам ↗
7. Ограничения бутстрапа ↗
8. Бутстрап: идея и реализация ↗
9. Односторонние и двусторонние критерии ↗
10. Тесты на неухудшение (non-inferiority) ↗
11. Какой критерий когда применять ↗

Метрики: ratio, дельта-метод, линеаризация

8 уроков
1. Уровни агрегации: пользователь и событие ↗
2. Что такое ratio-метрика ↗
3. Дельта-метод: вывод формулы ↗
4. Чем опасен наивный подсчёт ↗
5. Линеаризация ratio-метрик ↗
6. Бутстрап для ratio-метрик ↗
7. Метрики маркетплейса на практике ↗
8. Метрики рекламы: CTR, CPC, CPM, ROAS ↗

Выбросы и робастность

6 уроков
1. Как один клиент ломает эксперимент ↗
2. Винзоризация и тримминг ↗
3. Чем опасна обработка выбросов ↗
4. Логарифм и другие преобразования ↗
5. Метрики, устойчивые по построению ↗
6. Протокол работы с выбросами ↗

Повышение чувствительности

8 уроков
1. Откуда берётся чувствительность ↗
2. Стратификация ↗
3. CUPED: идея контрольной переменной ↗
4. CUPED: математика ↗
5. CUPED на практике ↗
6. Ошибки при использовании CUPED ↗
7. CUPAC: предсказание как ковариата ↗
8. Комбинирование методов ↗

Подглядывание, последовательные тесты, множественность

9 уроков
1. Подглядывание: как теряется контроль над α ↗
2. Почему нельзя «добить выборку» ↗
3. Групповые последовательные планы ↗
4. Alpha-spending ↗
5. Always-valid inference и mSPRT ↗
6. Множественные метрики ↗
7. Bonferroni и Holm ↗
8. Benjamini–Hochberg и FDR ↗
9. Множественные сегменты ↗

Интерференция: сетевые эффекты и switchback

7 уроков
1. SUTVA и её нарушения ↗
2. Что на самом деле измеряет обычный A/B ↗
3. Двусторонние рынки и конкуренция за ресурс ↗
4. Кластерная рандомизация ↗
5. Switchback-эксперименты ↗
6. Другие способы измерить полный эффект ↗
7. Как понять, что интерференция есть ↗

Реальные проблемы и антипаттерны

10 уроков
1. Значимо, но эффект крошечный ↗
2. Основная метрика выросла, guardrail упала ↗
3. Novelty и primacy эффекты ↗
4. Эффект есть только в одном сегменте ↗
5. Парадокс Симпсона ↗
6. Результат скачет по дням ↗
7. Тест остановили раньше времени ↗
8. Группы различаются ДО эксперимента ↗
9. Раскатка 1% → 10% → 50% → 100% ↗
10. Каталог антипаттернов ↗

Большие кейсы: принять решение

6 уроков
1. Как разбирать кейс: рамка решения ↗
2. Кейс 1. Новая карточка товара ↗
3. Кейс 2. Механика рекламных ставок ↗
4. Кейс 3. Стоимость доставки ↗
5. Кейс 4. Экран подписки ↗
6. Кейс 5. Рекомендательная система ↗

Продвинутые методы

7 уроков
1. Регрессионная корректировка (ANCOVA) ↗
2. Неполный комплаенс: ITT, CACE и разбавление ↗
3. Гетерогенность эффекта: CATE без самообмана ↗
4. Interleaving: как сравнивать ранжирования дёшево ↗
5. Квантильные эффекты: когда среднее врёт ↗
6. Квазиэксперименты: DiD и синтетический контроль ↗
7. Байесовский подход и бандиты: честный разбор ↗

Финал

4 урока
1. Чек-лист ревью чужого эксперимента ↗
2. Шаблон отчёта об эксперименте ↗
3. Вопросы с собеседований ↗
4. Итоговый экзамен ↗