Курс на Stepik
Обложка курса «Архитектура данных: полный курс» на Stepik
Бесплатно

Архитектура данных: полный курс ★ 4.000

Открыть на
STEPIK.ORG

Станьте экспертом, который превращает данные в стратегический актив. Курс научит вас строить архитектуру данных, понимать бизнес-требования и выбирать оптимальные технологии для реальных проектов.

Показатель Текущие показатели Рост
Значение 🏆 Рейтинг 3 дн 7 дн 30 дн
Количество учеников на курсе «Архитектура данных: полный курс»Учеников на курсе 762
Сертификаты, выданные на курсе «Архитектура данных: полный курс»Сертификатов выдано 0
Отзывы о курсе «Архитектура данных: полный курс»Отзывов получено 8
Рейтинг курса «Архитектура данных: полный курс»Рейтинг курса 4.000
Уроки в курсе «Архитектура данных: полный курс»Количество уроков 80
Тесты в курсе «Архитектура данных: полный курс»Количество квизов 244
Время прохождения курса «Архитектура данных: полный курс»Время прохождения курса —
Обновления курса «Архитектура данных: полный курс»Обновления курса — —
Дата публикации курса «Архитектура данных: полный курс»Дата публикации курса — ———
Последнее обновление курса «Архитектура данных: полный курс»Последнее обновление — ———
Сложность easy — ———

Содержание курса

Разделы в курсе «Архитектура данных: полный курс» 10 разделов Уроки в курсе «Архитектура данных: полный курс» 80 уроков Тесты в курсе «Архитектура данных: полный курс» 244 теста Время прохождения курса «Архитектура данных: полный курс» 8 ч. Последнее обновление курса «Архитектура данных: полный курс» обн. 1 год назад

Основы архитектуры данных

8 уроков
1. Роль архитектора данных в системе ↗
2. Архитектурные уровни данных ↗
3. Типы архитектур — Data Warehouse, Data Lake, Lakehouse ↗
4. Принципы построения архитектуры данных ↗
5. Качество, консистентность и целостность данных ↗
6. Метаданные и контракты данных ↗
7. Потоки данных и Data Lineage ↗
8. Компоненты современной экосистемы данных ↗

Моделирование данных

8 уроков
1. Концептуальное, логическое и физическое моделирование ↗
2. ER-модели и нормализация данных ↗
3. Денормализация и компромиссы производительности ↗
4. Модели Star Schema и Snowflake ↗
5. Data Vault и его применение ↗
6. Семантические слои и представления данных ↗
7. Документирование моделей (ERD, схемы, словари данных) ↗
8. Управление изменениями моделей данных ↗

Хранилища данных и Lakehouse-архитектура

8 уроков
1. Архитектура классического Data Warehouse ↗
2. Принципы построения Data Lake ↗
3. Lakehouse: объединение хранилища и озера ↗
4. Хранение сырых и обработанных данных ↗
5. Партиционирование и оптимизация запросов ↗
6. Delta Lake и Iceberg ↗
7. Организация ETL/ELT-слоёв в Lakehouse ↗
8. Архитектура аналитической платформы ↗

Интеграция и потоковая обработка данных

8 уроков
1. Источники и приёмники данных ↗
2. Архитектура ETL и ELT ↗
3. Очереди сообщений и брокеры (Kafka, RabbitMQ) ↗
4. Потоковая обработка: Spark Streaming, Flink ↗
5. Паттерны обработки событий и изменений (CDC) ↗
6. Очередность и идемпотентность данных ↗
7. Реализация пайплайнов данных ↗
8. Мониторинг и управление потоками ↗

Управление качеством и целостностью данных

8 уроков
1. Data Quality и его метрики ↗
2. Проверки валидности и полноты данных ↗
3. Аномалии и дубликаты ↗
4. Контроль бизнес-правил ↗
5. Инструменты Data Quality (Great Expectations, Deequ) ↗
6. Логирование и аудит изменений данных ↗
7. Контроль источников и происхождения данных ↗
8. Встроенные проверки в пайплайнах ↗

Управление метаданными и каталогизация

8 уроков
1. Метаданные — типы и назначение ↗
2. Технические и бизнес-метаданные ↗
3. Data Catalog и поиск данных ↗
4. Инструменты каталогизации (DataHub, Collibra, Amundsen) ↗
5. Линейка данных (Data Lineage) ↗
6. Автоматическое извлечение метаданных ↗
7. Управление версиями схем ↗
8. Связь метаданных с системами качества и безопасности ↗

Master Data и Reference Data Management

8 уроков
1. Что такое Master Data и Reference Data ↗
2. Архитектура MDM-систем ↗
3. Идентификация и согласование записей ↗
4. Управление справочниками ↗
5. Модели владения данными (consolidation, registry, coexistence) ↗
6. Интеграция MDM с DWH и CRM ↗
7. Обеспечение целостности мастер-данных ↗
8. Проектирование MDM-процесса ↗

Безопасность и управление доступом к данным

8 уроков
1. Модели безопасности данных (RBAC, ABAC) ↗
2. Шифрование и маскирование данных ↗
3. Управление доступом и аудит ↗
4. Сегментация данных и защита PII ↗
5. Data Governance и соответствие (GDPR, HIPAA) ↗
6. Классификация данных по чувствительности ↗
7. Политики доступа и разграничение ролей ↗
8. Архитектура безопасной работы с данными ↗

DataOps и автоматизация

8 уроков
1. Концепция DataOps ↗
2. CI/CD для данных ↗
3. Управление пайплайнами (Airflow, Prefect) ↗
4. Контроль версий данных (DVC, LakeFS) ↗
5. Тестирование данных ↗
6. Обеспечение наблюдаемости данных (Data Observability) ↗
7. Автоматизация процессов качества и мониторинга ↗
8. Интеграция DataOps в экосистему DevOps ↗

Архитектурное проектирование систем данных

8 уроков
1. Анализ требований к системе данных ↗
2. Проектирование потоков данных ↗
3. Определение слоёв архитектуры (Raw, Curated, Analytics) ↗
4. Выбор инструментов и технологий ↗
5. Обеспечение надёжности и масштабируемости ↗
6. Архитектура данных для BI и ML ↗
7. Оценка архитектуры и trade-offs ↗
8. Примеры типовых архитектур решений ↗