Курс на Stepik
Обложка курса «Apache Kafka и Flink CDC: потоковые данные на практике» на Stepik
3 300 ₽

Apache Kafka и Flink CDC: потоковые данные на практике 0.000

Открыть на
STEPIK.ORG

Практический курс по созданию потокового конвейера PostgreSQL → Flink CDC → Kafka → ClickHouse. Вы разберётесь, как работает захват изменений данных, настроите логическую репликацию PostgreSQL, передачу событий через Kafka и загрузку в ClickHouse. На практике обработаете INSERT, UPDATE и DELETE, изучите контрольные точки, дубликаты, смещения, рост WAL и восстановление после сбоев. Java и Scala не требуются: достаточно базовых знаний SQL, Docker и командной строки.

Показатель Текущие показатели Рост
Значение 🏆 Рейтинг 3 дн 7 дн 30 дн
Количество учеников на курсе «Apache Kafka и Flink CDC: потоковые данные на практике»Учеников на курсе 1
Сертификаты, выданные на курсе «Apache Kafka и Flink CDC: потоковые данные на практике»Сертификатов выдано 0
Отзывы о курсе «Apache Kafka и Flink CDC: потоковые данные на практике»Отзывов получено 0
Рейтинг курса «Apache Kafka и Flink CDC: потоковые данные на практике»Рейтинг курса 0.000
Уроки в курсе «Apache Kafka и Flink CDC: потоковые данные на практике»Количество уроков 28
Тесты в курсе «Apache Kafka и Flink CDC: потоковые данные на практике»Количество квизов 79
Стоимость курса «Apache Kafka и Flink CDC: потоковые данные на практике»Стоимость курса 3 300 ₽
Обновления курса «Apache Kafka и Flink CDC: потоковые данные на практике»Обновления курса
Дата публикации курса «Apache Kafka и Flink CDC: потоковые данные на практике»Дата публикации курса
Последнее обновление курса «Apache Kafka и Flink CDC: потоковые данные на практике»Последнее обновление
Сложность easy

Содержание курса

Разделы в курсе «Apache Kafka и Flink CDC: потоковые данные на практике» 7 разделов Уроки в курсе «Apache Kafka и Flink CDC: потоковые данные на практике» 28 уроков Тесты в курсе «Apache Kafka и Flink CDC: потоковые данные на практике» 79 тестов Последнее обновление курса «Apache Kafka и Flink CDC: потоковые данные на практике» обн. 23 сентября 2026

Потоковые данные и CDC

4 урока
1. Пакетная и потоковая обработка данных
2. Как работает захват изменений данных
3. Архитектура проекта и подготовка окружения
4. Загрузка изменений в итоговую таблицу

Основы Apache Kafka

4 урока
1. Брокеры, топики, партиции и смещения
2. Ключи сообщений и порядок событий
3. Продюсеры, потребители и группы потребителей
4. Гарантии доставки и повторная обработка

Знакомство с Flink CDC

4 урока
1. Что такое Apache Flink и Flink CDC
2. Архитектура задания Flink
3. WAL и логическая репликация PostgreSQL
4. Первоначальный снимок и поток изменений

Передача изменений из PostgreSQL в Kafka

4 урока
1. Настройка публикации и слота репликации
2. Создание конвейера Flink CDC
3. Передача событий в Kafka
4. Обработка INSERT, UPDATE и DELETE

Преобразование и загрузка в ClickHouse

4 урока
1. Структура CDC-событий
2. Фильтрация, преобразование и маршрутизация данных
3. Подключение ClickHouse к Kafka
4. Загрузка изменений в итоговую таблицу

Надёжность потокового конвейера

4 урока
1. Контрольные точки и восстановление Flink
2. Дубликаты, идемпотентность и порядок событий
3. Отставание потребителей и рост PostgreSQL WAL
4. Перезапуск и повторное воспроизведение данных

Итоговый проект

4 урока
1. Требования к итоговому конвейеру
2. Самостоятельная сборка проекта
3. Проверка обработки изменений, сбоев и итоговая приёмка
4. Завершение курса