Курс на Stepik
Обложка курса «Архитектура данных: полный курс» на Stepik
Бесплатно

Архитектура данных: полный курс 4.000

Открыть на
STEPIK.ORG

Станьте экспертом, который превращает данные в стратегический актив. Курс научит вас строить архитектуру данных, понимать бизнес-требования и выбирать оптимальные технологии для реальных проектов.

Показатель Текущие показатели Рост
Значение 🏆 Рейтинг 3 дн 7 дн 30 дн
Количество учеников на курсе «Архитектура данных: полный курс»Учеников на курсе 688
Сертификаты, выданные на курсе «Архитектура данных: полный курс»Сертификатов выдано 0
Отзывы о курсе «Архитектура данных: полный курс»Отзывов получено 8
Рейтинг курса «Архитектура данных: полный курс»Рейтинг курса 4.000
Уроки в курсе «Архитектура данных: полный курс»Количество уроков 80
Тесты в курсе «Архитектура данных: полный курс»Количество квизов 244
Время прохождения курса «Архитектура данных: полный курс»Время прохождения курса
Обновления курса «Архитектура данных: полный курс»Обновления курса
Дата публикации курса «Архитектура данных: полный курс»Дата публикации курса
Последнее обновление курса «Архитектура данных: полный курс»Последнее обновление
Сложность easy

Содержание курса

Разделы в курсе «Архитектура данных: полный курс» 10 разделов Уроки в курсе «Архитектура данных: полный курс» 80 уроков Тесты в курсе «Архитектура данных: полный курс» 244 теста Время прохождения курса «Архитектура данных: полный курс» 8 ч. Последнее обновление курса «Архитектура данных: полный курс» обн. 1 год назад

Основы архитектуры данных

8 уроков
1. Роль архитектора данных в системе
2. Архитектурные уровни данных
3. Типы архитектур — Data Warehouse, Data Lake, Lakehouse
4. Принципы построения архитектуры данных
5. Качество, консистентность и целостность данных
6. Метаданные и контракты данных
7. Потоки данных и Data Lineage
8. Компоненты современной экосистемы данных

Моделирование данных

8 уроков
1. Концептуальное, логическое и физическое моделирование
2. ER-модели и нормализация данных
3. Денормализация и компромиссы производительности
4. Модели Star Schema и Snowflake
5. Data Vault и его применение
6. Семантические слои и представления данных
7. Документирование моделей (ERD, схемы, словари данных)
8. Управление изменениями моделей данных

Хранилища данных и Lakehouse-архитектура

8 уроков
1. Архитектура классического Data Warehouse
2. Принципы построения Data Lake
3. Lakehouse: объединение хранилища и озера
4. Хранение сырых и обработанных данных
5. Партиционирование и оптимизация запросов
6. Delta Lake и Iceberg
7. Организация ETL/ELT-слоёв в Lakehouse
8. Архитектура аналитической платформы

Интеграция и потоковая обработка данных

8 уроков
1. Источники и приёмники данных
2. Архитектура ETL и ELT
3. Очереди сообщений и брокеры (Kafka, RabbitMQ)
4. Потоковая обработка: Spark Streaming, Flink
5. Паттерны обработки событий и изменений (CDC)
6. Очередность и идемпотентность данных
7. Реализация пайплайнов данных
8. Мониторинг и управление потоками

Управление качеством и целостностью данных

8 уроков
1. Data Quality и его метрики
2. Проверки валидности и полноты данных
3. Аномалии и дубликаты
4. Контроль бизнес-правил
5. Инструменты Data Quality (Great Expectations, Deequ)
6. Логирование и аудит изменений данных
7. Контроль источников и происхождения данных
8. Встроенные проверки в пайплайнах

Управление метаданными и каталогизация

8 уроков
1. Метаданные — типы и назначение
2. Технические и бизнес-метаданные
3. Data Catalog и поиск данных
4. Инструменты каталогизации (DataHub, Collibra, Amundsen)
5. Линейка данных (Data Lineage)
6. Автоматическое извлечение метаданных
7. Управление версиями схем
8. Связь метаданных с системами качества и безопасности

Master Data и Reference Data Management

8 уроков
1. Что такое Master Data и Reference Data
2. Архитектура MDM-систем
3. Идентификация и согласование записей
4. Управление справочниками
5. Модели владения данными (consolidation, registry, coexistence)
6. Интеграция MDM с DWH и CRM
7. Обеспечение целостности мастер-данных
8. Проектирование MDM-процесса

Безопасность и управление доступом к данным

8 уроков
1. Модели безопасности данных (RBAC, ABAC)
2. Шифрование и маскирование данных
3. Управление доступом и аудит
4. Сегментация данных и защита PII
5. Data Governance и соответствие (GDPR, HIPAA)
6. Классификация данных по чувствительности
7. Политики доступа и разграничение ролей
8. Архитектура безопасной работы с данными

DataOps и автоматизация

8 уроков
1. Концепция DataOps
2. CI/CD для данных
3. Управление пайплайнами (Airflow, Prefect)
4. Контроль версий данных (DVC, LakeFS)
5. Тестирование данных
6. Обеспечение наблюдаемости данных (Data Observability)
7. Автоматизация процессов качества и мониторинга
8. Интеграция DataOps в экосистему DevOps

Архитектурное проектирование систем данных

8 уроков
1. Анализ требований к системе данных
2. Проектирование потоков данных
3. Определение слоёв архитектуры (Raw, Curated, Analytics)
4. Выбор инструментов и технологий
5. Обеспечение надёжности и масштабируемости
6. Архитектура данных для BI и ML
7. Оценка архитектуры и trade-offs
8. Примеры типовых архитектур решений