Чему вы научитесь
- Работать с реляционными и нереляционными базами данных
- Настраивать потоковую и пакетную обработку данных (Kafka, Airflow, Spark)
- Разрабатывать и оптимизировать ETL-пайплайны
- Использовать Docker, Pandas, Hive, PySpark для обработки данных
- Автоматизировать загрузку, очистку и трансформацию данных
- Интегрировать данные из разных источников и визуализировать метрики
- Работать в команде над реальными задачами
О курсе
Практическая стажировка «Data Engineer с нуля до middle» поможет получить реальные навыки работы с данными и подготовиться к трудоустройству. Вы научитесь работать с базами данных (SQL, NoSQL), строить и оптимизировать ETL-пайплайны, обрабатывать данные с использованием Docker, Pandas, Hive, PySpark, Kafka и Airflow. Вас ждёт работа в команде, 15 вебинаров, поддержка кураторов и финальная защита проекта. Стажировка подходит тем, кто хочет перейти на позицию Middle Data Engineer.
Для кого этот курс
Стажировка будет полезна тем, кто стал «вечным студентом» и хочет стать практикующим разработчиком. Также будет полезна тем, кто хочет получить практический опыт решения задач дата инженеринга.
Начальные требования
-
Необходимо уметь кодить основные конструкции Python (for, while, try/except, основные структуры данных)
-
Нужно знать любой диалект SQL на уровне написания простых запросов (фильтрация, join)
-
git — необходимо уметь создавать репозитории GIT и уметь пушить в удалённый репо (если что - научим)
-
Наличие компьютера с более 8 Гб оперативной памяти и жесткий диск от 128 Гб.
Преподаватели курса
6 721
Сертификат
Успешно завершив курс, вы получите сертификат от платформы Stepik. Уже 59 учеников получили сертификат.
Нагрузка
20 часов в неделю