Курс на Stepik
Обложка курса «A/B-тесты для аналитика: от дизайна до решения» на Stepik
2 490 ₽

A/B-тесты для аналитика: от дизайна до решения 0.000

Открыть на
STEPIK.ORG

Курс по A/B-тестам для аналитика: от дизайна и расчёта мощности до решения о раскатке. Сплитование, SRM, критерии, ratio-метрики, CUPED, подглядывание и сетевые эффекты. 847 шагов с практикой.

Показатель Текущие показатели Рост
Значение 🏆 Рейтинг 3 дн 7 дн 30 дн
Количество учеников на курсе «A/B-тесты для аналитика: от дизайна до решения»Учеников на курсе 19
Сертификаты, выданные на курсе «A/B-тесты для аналитика: от дизайна до решения»Сертификатов выдано 1
Отзывы о курсе «A/B-тесты для аналитика: от дизайна до решения»Отзывов получено 0
Рейтинг курса «A/B-тесты для аналитика: от дизайна до решения»Рейтинг курса 0.000
Уроки в курсе «A/B-тесты для аналитика: от дизайна до решения»Количество уроков 110
Тесты в курсе «A/B-тесты для аналитика: от дизайна до решения»Количество квизов 377
Задачи с кодом в курсе «A/B-тесты для аналитика: от дизайна до решения»Количество задач с кодом 68
Время прохождения курса «A/B-тесты для аналитика: от дизайна до решения»Время прохождения курса
Стоимость курса «A/B-тесты для аналитика: от дизайна до решения»Стоимость курса 2 490 ₽
Обновления курса «A/B-тесты для аналитика: от дизайна до решения»Обновления курса
Дата публикации курса «A/B-тесты для аналитика: от дизайна до решения»Дата публикации курса
Последнее обновление курса «A/B-тесты для аналитика: от дизайна до решения»Последнее обновление
Сложность normal

Содержание курса

Разделы в курсе «A/B-тесты для аналитика: от дизайна до решения» 14 разделов Уроки в курсе «A/B-тесты для аналитика: от дизайна до решения» 110 уроков Тесты в курсе «A/B-тесты для аналитика: от дизайна до решения» 377 тестов Задачи в курсе «A/B-тесты для аналитика: от дизайна до решения» 68 задач Время прохождения курса «A/B-тесты для аналитика: от дизайна до решения» 2 ч. Последнее обновление курса «A/B-тесты для аналитика: от дизайна до решения» обн. 5 сентября 2026

Введение: зачем нужны эксперименты

5 уроков
1. Что решает A/B-тест и почему без него больно
2. Как устроен курс и что вы получите
3. Словарь: контроль, тест, метрика, эффект
4. Когда A/B-тест не нужен и даже вреден
5. Продукт, на котором мы будем учиться

Фундамент: причинность, ошибки, мощность, MDE

10 уроков
1. Причинный эффект и потенциальные исходы
2. Рандомизация: почему она работает
3. Выборочное среднее и стандартная ошибка
4. Центральная предельная теорема на практике
5. Нулевая и альтернативная гипотезы
6. p-value: что это и чем оно НЕ является
7. Ошибки первого и второго рода
8. Мощность эксперимента
9. MDE и формула размера выборки
10. Доверительные интервалы и как их читать

Дизайн эксперимента

10 уроков
1. От идеи к проверяемой гипотезе
2. Выбор основной метрики и OEC
3. Guardrail-метрики: что нельзя сломать
4. Единица рандомизации
5. Считаем размер выборки для реальной метрики
6. Длительность теста: недельные циклы
7. Сезонность, акции и внешние шоки
8. Несколько экспериментов одновременно
9. Документ дизайна эксперимента
10. Три готовых дизайна целиком

Сплитование и валидация данных

9 уроков
1. Как технически делят трафик
2. A/A-тест: проверка самой системы
3. SRM: несовпадение размеров групп
4. Откуда берётся SRM: каталог причин
5. Боты и технические пользователи
6. Пропуски и дубли
7. Кого включать в анализ: экспозиция и триггер
8. Проверка сопоставимости групп «до»
9. Чек-лист готовности к анализу

Статистические критерии

11 уроков
1. t-тест: как он устроен
2. Welch против Стьюдента
3. z-тест для долей и конверсий
4. Критерий хи-квадрат
5. Почему Манн–Уитни не используют в продуктовых A/B
6. Ранговый критерий против бизнес-метрики: разбор по пунктам
7. Ограничения бутстрапа
8. Бутстрап: идея и реализация
9. Односторонние и двусторонние критерии
10. Тесты на неухудшение (non-inferiority)
11. Какой критерий когда применять

Метрики: ratio, дельта-метод, линеаризация

8 уроков
1. Уровни агрегации: пользователь и событие
2. Что такое ratio-метрика
3. Дельта-метод: вывод формулы
4. Чем опасен наивный подсчёт
5. Линеаризация ratio-метрик
6. Бутстрап для ratio-метрик
7. Метрики маркетплейса на практике
8. Метрики рекламы: CTR, CPC, CPM, ROAS

Выбросы и робастность

6 уроков
1. Как один клиент ломает эксперимент
2. Винзоризация и тримминг
3. Чем опасна обработка выбросов
4. Логарифм и другие преобразования
5. Метрики, устойчивые по построению
6. Протокол работы с выбросами

Повышение чувствительности

8 уроков
1. Откуда берётся чувствительность
2. Стратификация
3. CUPED: идея контрольной переменной
4. CUPED: математика
5. CUPED на практике
6. Ошибки при использовании CUPED
7. CUPAC: предсказание как ковариата
8. Комбинирование методов

Подглядывание, последовательные тесты, множественность

9 уроков
1. Подглядывание: как теряется контроль над α
2. Почему нельзя «добить выборку»
3. Групповые последовательные планы
4. Alpha-spending
5. Always-valid inference и mSPRT
6. Множественные метрики
7. Bonferroni и Holm
8. Benjamini–Hochberg и FDR
9. Множественные сегменты

Интерференция: сетевые эффекты и switchback

7 уроков
1. SUTVA и её нарушения
2. Что на самом деле измеряет обычный A/B
3. Двусторонние рынки и конкуренция за ресурс
4. Кластерная рандомизация
5. Switchback-эксперименты
6. Другие способы измерить полный эффект
7. Как понять, что интерференция есть

Реальные проблемы и антипаттерны

10 уроков
1. Значимо, но эффект крошечный
2. Основная метрика выросла, guardrail упала
3. Novelty и primacy эффекты
4. Эффект есть только в одном сегменте
5. Парадокс Симпсона
6. Результат скачет по дням
7. Тест остановили раньше времени
8. Группы различаются ДО эксперимента
9. Раскатка 1% → 10% → 50% → 100%
10. Каталог антипаттернов

Большие кейсы: принять решение

6 уроков
1. Как разбирать кейс: рамка решения
2. Кейс 1. Новая карточка товара
3. Кейс 2. Механика рекламных ставок
4. Кейс 3. Стоимость доставки
5. Кейс 4. Экран подписки
6. Кейс 5. Рекомендательная система

Продвинутые методы

7 уроков
1. Регрессионная корректировка (ANCOVA)
2. Неполный комплаенс: ITT, CACE и разбавление
3. Гетерогенность эффекта: CATE без самообмана
4. Interleaving: как сравнивать ранжирования дёшево
5. Квантильные эффекты: когда среднее врёт
6. Квазиэксперименты: DiD и синтетический контроль
7. Байесовский подход и бандиты: честный разбор

Финал

4 урока
1. Чек-лист ревью чужого эксперимента
2. Шаблон отчёта об эксперименте
3. Вопросы с собеседований
4. Итоговый экзамен