Чему вы научитесь
- Понимать разницу между пакетной и потоковой обработкой данных
- Понимать, как изменения в базе данных превращаются в поток событий
- Создавать локальное учебное окружение с помощью Docker Compose
- Настраивать передачу изменений из PostgreSQL в Kafka с помощью Flink CDC
- Работать с топиками, ключами сообщений и группами потребителей Kafka
- Передавать поток данных из Kafka в ClickHouse
- Проверять обработку добавления, изменения и удаления записей
- Находить причины отставания и восстанавливать конвейер после остановки
- Самостоятельно собирать проект PostgreSQL → Flink CDC → Kafka → ClickHouse
О курсе
Для кого этот курс
Начальные требования
Для прохождения курса достаточно базовой подготовки:
-
понимание простых SQL-запросов: SELECT, INSERT, UPDATE и DELETE;
-
начальный опыт работы с Docker и Docker Compose;
-
умение выполнять команды в терминале;
-
компьютер с возможностью запускать несколько Docker-контейнеров;
-
желание разбираться в движении данных между системами.
Предварительное знание Apache Kafka, Apache Flink, Flink CDC, PostgreSQL и ClickHouse не требуется. Все компоненты и необходимые настройки будут разобраны по ходу курса.
Java и Scala также не потребуются. Основная работа выполняется через Docker, SQL, командную строку и готовые конфигурационные файлы.
Преподаватели курса
1
Как проходит обучение
Курс состоит из последовательных текстовых уроков с наглядными схемами, практическими примерами, командами и готовыми конфигурациями.
Все практические задания продолжают единый проект:
PostgreSQL → Flink CDC → Kafka → ClickHouse
В каждом модуле вы сначала знакомитесь с основными понятиями, затем применяете их на практике. Вы будете запускать компоненты в Docker, выполнять SQL-запросы, изменять конфигурации и наблюдать за движением событий между системами.
После уроков предусмотрены проверочные вопросы, которые помогут закрепить материал и проверить понимание ключевых принципов.
В практических заданиях вы будете:
-
подготавливать окружение;
-
настраивать PostgreSQL и логическую репликацию;
-
работать с топиками и сообщениями Kafka;
-
создавать конвейер Flink CDC;
-
подключать ClickHouse к потоку событий;
-
проверять обработку INSERT, UPDATE и DELETE;
-
моделировать остановки компонентов и восстановление конвейера.
В финальном модуле вы самостоятельно соберёте весь проект, проверите обработку изменений и проведёте итоговую приёмку.
Курс можно проходить в удобном темпе. Все необходимые команды и примеры приведены непосредственно в уроках.
Что вы получите
- Собранный вами потоковый конвейер PostgreSQL → Flink CDC → Kafka → ClickHouse
- Практический опыт настройки захвата изменений данных и логической репликации PostgreSQL
- Навыки работы с топиками, партициями, ключами сообщений и группами потребителей Kafka
- Понимание первоначального снимка, журнала WAL, смещений и контрольных точек
- Опыт передачи и обработки операций INSERT, UPDATE и DELETE
- Навыки поиска причин отставания, появления дубликатов и роста WAL
- Практику остановки, перезапуска и восстановления компонентов конвейера
- Итоговый проект, который можно развивать дальше и использовать в учебном портфолио