Содержание курса
1. Введение
4 урока
4
1
7м
0
Закрытый
1.1
О чём этот курс и кому он подойдёт
↗
3
0
3м 34с
0
Закрытый
1.2
Как устроен курс и как его проходить
↗
0
0
-
0
Закрытый
1.3
Что такое Data Quality и почему это важно
↗
0
0
4м 20с
0
Открытый
1.4
Архитектура проекта курса
↗
1
1
-
0
2. Типичные проблемы качества данных
5 уроков
2
0
3м
0
Закрытый
2.1
Какие проблемы бывают в данных
↗
0
0
-
0
Закрытый
2.2
Почему ломаются аналитические пайплайны
↗
0
0
-
0
Закрытый
2.3
Проверки качества данных: основные категории
↗
1
0
-
0
Закрытый
2.4
Практика: анализ данных интернет-магазина
↗
0
0
3м 21с
0
Закрытый
2.5
Практика: поиск проблем качества данных
↗
1
0
-
0
3. SQL-проверки качества данных
7 уроков
6
1
3м
0
Закрытый
3.1
Почему SQL=основной инструмент Data Quality
↗
1
0
2м 28с
0
Закрытый
3.2
NULL (completeness=полнота)
↗
0
0
-
0
Закрытый
3.3
Дубликаты (uniqeness=уникальность)
↗
0
0
-
0
Закрытый
3.4
Диапазоны (validity=валидность)
↗
0
0
-
0
Открытый
3.5
Связность (Referential integrity)
↗
3
1
-
0
Закрытый
3.6
Схема (schema checks)
↗
1
0
-
0
Закрытый
3.7
Практика: пишем SQL-checks
↗
1
0
1м 51с
0
4. Data Quality проверки в Python
5 уроков
4
0
2м
0
Закрытый
4.1
Когда SQL-проверок недостаточно
↗
1
0
2м 44с
0
Закрытый
4.2
Валидация данных с Pydantic
↗
0
0
-
0
Закрытый
4.3
Проверка DataFrame с Pandera
↗
1
0
-
0
Закрытый
4.4
Практика: validation pipeline
↗
1
0
-
0
Закрытый
4.5
Практика: обработка ошибок данных
↗
1
0
-
0
5. Проверки данных с Great Expectations
5 уроков
5
1
3м
0
Закрытый
5.1
Что такое Great Expectations?
↗
1
0
3м 48с
0
Закрытый
5.2
Типы проверок (expectations)
↗
1
0
-
0
Закрытый
5.3
Создание validation suite
↗
1
0
-
0
Открытый
5.4
Data Docs и отчёты проверок
↗
2
1
-
0
Закрытый
5.5
Практика: проверка dataset
↗
0
0
-
0
6. Data Observability
5 уроков
2
0
2м
0
Закрытый
6.1
Data Observability: что это такое
↗
0
0
2м 56с
0
Закрытый
6.2
Freshness checks
↗
1
0
-
0
Закрытый
6.3
Volume monitoring
↗
0
0
-
0
Закрытый
6.4
Schema monitoring
↗
1
0
-
0
Закрытый
6.5
Практика: мониторинг таблицы
↗
0
0
-
0
7. Интеграция проверок в Airflow
4 урока
4
1
4м
0
Закрытый
7.1
Где запускать Data Quality проверки
↗
0
0
-
0
Закрытый
7.2
Data Quality задачи в Airflow
↗
0
0
-
0
Закрытый
7.3
Fail pipeline при ошибке данных
↗
1
0
-
0
Открытый
7.4
Практика: добавляем проверки в DAG
↗
3
1
4м 7с
0
8. Финальный проект
3 урока
1
0
2м
0
Закрытый
8.1
Постановка задачи
↗
0
0
-
0
Закрытый
8.2
Реализация
↗
0
0
-
0
Закрытый
8.3
Самопроверка / эталон
↗
1
0
2м 37с
0