Чему вы научитесь
- Познакомитесь с профессией Data Engineer и основными задачами дата-инженера.
- Разберётесь, какие инструменты используются для работы с данными и зачем они нужны.
- Подробно изучите Apache Airflow и научитесь создавать и запускать DAG'и.
- Поймёте, как организовывать зависимости между задачами и управлять пайплайнами.
- Познакомитесь с ClickHouse и основными принципами работы с ним.
- Узнаете, как данные перемещаются между различными системами.
- Получите общее представление о Kafka, PostgreSQL, S3 и других инструментах из современного Data Stack.
- Поймёте, как выглядит типичный процесс построения ETL/ELT-пайплайна.
О курсе
Привет! Я Миша и я Data Engineer в Wildberries (а до этого в СберОбразовании и Сбере), также у меня есть телеграм и ютуб канал на тему дата инженеринга (https://t.me/datamisha)
Я решил создать курс, где попытаюсь показать свой накопленный опыт, практическое применение инструментов которые я использовал в работе
Для кого этот курс
Для тех, кто хочет познакомиться с Data Engineering и понять, чем занимается дата-инженер.
Для начинающих специалистов, которые хотят разобраться в основных инструментах Data Engineering.
Для тех, кто хочет подробно изучить Airflow и попробовать применять его на практике.
Для специалистов, уже работающих с данными, которые хотят расширить свой кругозор и познакомиться с другими инструментами.
Для тех, кто хочет получить общее представление о ClickHouse, Kafka, PostgreSQL, S3 и других технологиях.
Начальные требования
Если какой-нибудь код накидать сможешь, то достаточно
Преподаватели курса
8
Как проходит обучение
Я написал, вы читаете
Сертификат
Успешно завершив курс, вы получите сертификат от платформы Stepik. Уже 1 учеников получили сертификат.
Что вы получите
- Понимание того, чем занимается Data Engineer и как устроена эта профессия.
- Представление о современном Data Stack и основных инструментах дата-инженера.
- Практический опыт работы с Apache Airflow.
- Понимание того, как создавать и организовывать ETL/ELT-пайплайны.
- Базовые знания ClickHouse и других инструментов для работы с данными.
- Понимание того, как различные технологии взаимодействуют между собой в реальных проектах.
- Основу для дальнейшего самостоятельного изучения Data Engineering.