Курс на Stepik
Обложка курса «Spark Structured Streaming на Scala» на Stepik
500 ₽

Spark Structured Streaming на Scala ★ 0.000

Открыть на
STEPIK.ORG

Исчерпывающий курс по Apache Spark Structured Streaming на Scala. Sources, Sinks, Triggers, Windowing, State Management, Checkpointing, Joins, ClickHouse интеграция, Production паттерны. 16 модулей.

Показатель Текущие показатели Рост
Значение 🏆 Рейтинг 3 дн 7 дн 30 дн
Количество учеников на курсе «Spark Structured Streaming на Scala»Учеников на курсе 1
Сертификаты, выданные на курсе «Spark Structured Streaming на Scala»Сертификатов выдано 0
Отзывы о курсе «Spark Structured Streaming на Scala»Отзывов получено 0
Рейтинг курса «Spark Structured Streaming на Scala»Рейтинг курса 0.000
Уроки в курсе «Spark Structured Streaming на Scala»Количество уроков 78
Тесты в курсе «Spark Structured Streaming на Scala»Количество квизов 204
Стоимость курса «Spark Structured Streaming на Scala»Стоимость курса 500 ₽ —
Обновления курса «Spark Structured Streaming на Scala»Обновления курса — —
Дата публикации курса «Spark Structured Streaming на Scala»Дата публикации курса — ———
Последнее обновление курса «Spark Structured Streaming на Scala»Последнее обновление — ———

Содержание курса

Разделы в курсе «Spark Structured Streaming на Scala» 16 разделов Уроки в курсе «Spark Structured Streaming на Scala» 78 уроков Тесты в курсе «Spark Structured Streaming на Scala» 204 теста Последнее обновление курса «Spark Structured Streaming на Scala» обн. 27 апреля 2026

1. Введение и архитектурный фундамент

4 урока
Открытый
1.1 Эволюция потоковой обработки в Spark ↗
2
0
-
0
Открытый
1.2 Настройка окружения и первый pipeline ↗
1
0
-
0
Открытый
1.3 Kafka pipeline: чтение → обработка → запись ↗
0
0
-
0
Открытый
1.4 Итоговый тест и практическое задание ↗
1
0
-
0

2. Источники данных (Sources)

5 уроков
Открытый
2.1 Источники данных: архитектура и обзор ↗
1
0
-
0
Открытый
2.2 File Source: полный pipeline ↗
1
0
-
0
Открытый
2.3 Kafka Source: продвинутая конфигурация ↗
1
0
-
0
Открытый
2.4 Десериализация: JSON, Avro, Protobuf ↗
0
0
-
0
Открытый
2.5 Источники данных: тест и задание ↗
0
0
-
0

3. Приёмники данных (Sinks)

4 урока
Открытый
3.1 Архитектура приёмников Structured Streaming ↗
0
0
-
0
Открытый
3.2 Код: File Sink и Kafka Sink ↗
0
0
-
0
Открытый
3.3 Код: ForeachBatch и Foreach ↗
0
0
-
0
Открытый
3.4 Тест и задание: приёмники данных ↗
0
0
-
0

4. Триггеры и режимы выполнения

4 урока
Открытый
4.1 Архитектура триггеров Structured Streaming ↗
0
0
-
0
Открытый
4.2 Код: триггеры с Kafka Source ↗
0
0
-
0
Открытый
4.3 Код: Continuous Processing с ограничениями ↗
0
0
-
0
Открытый
4.4 Тест и задание: триггеры ↗
0
0
-
0

5. Операции над потоковыми DataFrame

4 урока
Открытый
5.1 Теория: трансформации потоковых DataFrame ↗
0
0
-
0
Открытый
5.2 Код: конвейер со сложными трансформациями ↗
0
0
-
0
Открытый
5.3 Код: конвейер дедупликации с watermark ↗
0
0
-
0
Открытый
5.4 Тест и задание: операции над потоковыми DataFrame ↗
0
0
-
0

6. Оконные функции и Event-Time обработка

5 уроков
Открытый
6.1 Теория: оконные функции и event-time обработка ↗
0
0
-
0
Открытый
6.2 Код: Tumbling и Sliding окна с Kafka ↗
0
0
-
0
Открытый
6.3 Код: Session windows и watermarks ↗
0
0
-
0
Открытый
6.4 Код: обработка опоздавших данных с side outputs ↗
0
0
-
0
Открытый
6.5 Тест и задание: оконные функции и event-time ↗
0
0
-
0

7. Агрегации в потоке

4 урока
Открытый
7.1 Теория агрегаций в Structured Streaming ↗
0
0
-
0
Открытый
7.2 Код: многомерные агрегации с окнами ↗
0
0
-
0
Открытый
7.3 Код: приближённые и оптимизированные агрегации ↗
0
0
-
0
Открытый
7.4 Квиз и задание: агрегации в потоке ↗
0
0
-
0

8. Joins в Structured Streaming

5 уроков
Открытый
8.1 Теория joins в Structured Streaming ↗
0
0
-
0
Открытый
8.2 Код: stream-static join для обогащения данных ↗
0
0
-
0
Открытый
8.3 Код: stream-stream join с watermark и временными ограничениями ↗
0
0
-
0
Открытый
8.4 Квиз: joins в Structured Streaming ↗
0
0
-
0
Открытый
8.5 Задание: реализация joins в потоковом приложении ↗
0
0
-
0

9. Управление состоянием (State Management)

5 уроков
Открытый
9.1 Теория: State Management в Spark Structured Streaming ↗
0
0
-
0
Открытый
9.2 Код: mapGroupsWithState — сессии с таймаутами ↗
0
0
-
0
Открытый
9.3 Код: flatMapGroupsWithState — конечный автомат (FSM) ↗
0
0
-
0
Открытый
9.4 Код: конфигурация RocksDB StateStore ↗
0
0
-
0
Открытый
9.5 Тест и практическое задание: State Management ↗
0
0
-
0

10. Checkpointing и отказоустойчивость

4 урока
Открытый
10.1 Теория: Checkpointing и отказоустойчивость ↗
1
0
-
0
Открытый
10.2 Код: Pipeline с Checkpointing и мониторингом восстановления ↗
0
0
-
0
Открытый
10.3 Код: Миграция Checkpoint и Blue-Green Deployment ↗
0
0
-
0
Открытый
10.4 Quiz и практическое задание: Checkpointing ↗
0
0
-
0

11. Мониторинг, метрики и отладка

4 урока
Открытый
11.1 Теория: мониторинг, метрики и отладка Structured Streaming ↗
1
0
-
0
Открытый
11.2 Код: StreamingQueryListener + экспорт метрик в Prometheus ↗
1
0
-
0
Открытый
11.3 Код: observe() бизнес-метрики и система алертинга ↗
0
0
-
0
Открытый
11.4 Квиз и задание: мониторинг Structured Streaming ↗
0
0
-
0

12. Оптимизация производительности

4 урока
Открытый
12.1 Теория: оптимизация производительности Structured Streaming ↗
0
0
-
0
Открытый
12.2 Код: оптимизированный Kafka-пайплайн с тюнингом ↗
0
0
-
0
Открытый
12.3 Код: профилирование производительности и устранение узких мест ↗
0
0
-
0
Открытый
12.4 Квиз и задание: оптимизация производительности ↗
0
0
-
0

13. Тестирование потоковых приложений

4 урока
Открытый
13.1 Стратегия тестирования потоковых приложений ↗
0
0
-
0
Открытый
13.2 Практика: Unit-тесты с MemoryStream ↗
0
0
-
0
Открытый
13.3 Практика: Интеграционные тесты с TestContainers и Kafka ↗
0
0
-
0
Открытый
13.4 Квиз и практическое задание: Тестирование ↗
0
0
-
0

14. Production паттерны и архитектура

4 урока
Открытый
14.1 Production паттерны потоковых приложений ↗
0
0
-
0
Открытый
14.2 Практика: Multi-query, DLQ и Graceful Shutdown ↗
0
0
-
0
Открытый
14.3 Практика: CDC-pipeline обработки изменений ↗
0
0
-
0
Открытый
14.4 Квиз и практическое задание: Production паттерны ↗
0
0
-
0

15. Интеграция с экосистемой

4 урока
Открытый
15.1 Экосистема: Delta Lake, Iceberg, Hudi и оркестрация ↗
0
0
-
0
Открытый
15.2 Практика: Delta Lake streaming pipeline с MERGE ↗
0
0
-
0
Открытый
15.3 Практика: Iceberg streaming pipeline ↗
0
0
-
0
Открытый
15.4 Квиз и практическое задание: Экосистема ↗
0
0
-
0

16. Запись стримингом в ClickHouse

14 уроков
Открытый
16.1 Обзор ClickHouse как target для streaming ↗
1
0
-
0
Открытый
16.2 JDBC через ForeachBatch ↗
1
0
-
0
Открытый
16.3 HTTP Interface через ForeachBatch ↗
1
0
-
0
Открытый
16.4 Официальный Spark ClickHouse Connector ↗
1
0
-
0
Открытый
16.5 Kafka → ClickHouse Kafka Engine ↗
0
0
-
0
Открытый
16.6 Промежуточные файлы: S3/HDFS → ClickHouse ↗
0
0
-
0
Открытый
16.7 Промежуточные файлы: S3/HDFS → ClickHouse ↗
0
0
-
0
Открытый
16.8 Промежуточные файлы: S3/HDFS → ClickHouse ↗
0
0
-
0
Открытый
16.9 Промежуточные файлы: S3/HDFS → ClickHouse ↗
0
0
-
0
Открытый
16.10 Промежуточные файлы: S3/HDFS → ClickHouse ↗
0
0
-
0
Открытый
16.11 Промежуточные файлы: S3/HDFS → ClickHouse ↗
0
0
-
0
Открытый
16.12 Native Protocol через clickhouse-java ↗
0
0
-
0
Открытый
16.13 Сравнительная таблица методов ↗
1
0
-
0
Открытый
16.14 Quiz и практическое задание: Kafka → Spark → ClickHouse ↗
0
0
-
0