Сколько стоит курс «Spark Structured Streaming на Scala»?

Стоимость курса составляет 500.00 рублей

Какой рейтинг у курса «Spark Structured Streaming на Scala»?

Курс имеет рейтинг 0.0 из 5 на основе 0 отзывов. На курсе обучается 2 учеников.

Где можно пройти курс «Spark Structured Streaming на Scala»?

Курс доступен на образовательной платформе Stepik по адресу stepik.org/course/279340.

Курс на Stepik

Обложка курса «Spark Structured Streaming на Scala» на Stepik

500 ₽

Spark Structured Streaming на Scala ★ 0.000

Name: Spark Structured Streaming на Scala
Price: 500.00 RUB
Availability: InStock
Rating: 0 (0 reviews)

Открыть на
STEPIK.ORG

Исчерпывающий курс по Apache Spark Structured Streaming на Scala. Sources, Sinks, Triggers, Windowing, State Management, Checkpointing, Joins, ClickHouse интеграция, Production паттерны. 16 модулей.

Показатель	Текущие показатели		Рост
Показатель	Значение	🏆 Рейтинг	3 дн	7 дн	30 дн
Учеников на курсе	2
Сертификатов выдано	0
Отзывов получено	0
Рейтинг курса	0.000
Количество уроков	78
Количество квизов	204
Стоимость курса	500 ₽	—
Обновления курса	—	—
Дата публикации курса	5 месяцев назад	—	—	—	—
Последнее обновление	27 апреля 2026	—	—	—	—

Содержание курса

Разделы в курсе «Spark Structured Streaming на Scala»

16 разделов Уроки в курсе «Spark Structured Streaming на Scala»

78 уроков Тесты в курсе «Spark Structured Streaming на Scala»

204 теста Последнее обновление курса «Spark Structured Streaming на Scala»

обн. 27 апреля 2026

Введение и архитектурный фундамент

4 урока

1. Эволюция потоковой обработки в Spark ↗

2. Настройка окружения и первый pipeline ↗

3. Kafka pipeline: чтение → обработка → запись ↗

4. Итоговый тест и практическое задание ↗

Источники данных (Sources)

5 уроков

1. Источники данных: архитектура и обзор ↗

2. File Source: полный pipeline ↗

3. Kafka Source: продвинутая конфигурация ↗

4. Десериализация: JSON, Avro, Protobuf ↗

5. Источники данных: тест и задание ↗

Приёмники данных (Sinks)

4 урока

1. Архитектура приёмников Structured Streaming ↗

2. Код: File Sink и Kafka Sink ↗

3. Код: ForeachBatch и Foreach ↗

4. Тест и задание: приёмники данных ↗

Триггеры и режимы выполнения

4 урока

1. Архитектура триггеров Structured Streaming ↗

2. Код: триггеры с Kafka Source ↗

3. Код: Continuous Processing с ограничениями ↗

4. Тест и задание: триггеры ↗

Операции над потоковыми DataFrame

4 урока

1. Теория: трансформации потоковых DataFrame ↗

2. Код: конвейер со сложными трансформациями ↗

3. Код: конвейер дедупликации с watermark ↗

4. Тест и задание: операции над потоковыми DataFrame ↗

Оконные функции и Event-Time обработка

5 уроков

1. Теория: оконные функции и event-time обработка ↗

2. Код: Tumbling и Sliding окна с Kafka ↗

3. Код: Session windows и watermarks ↗

4. Код: обработка опоздавших данных с side outputs ↗

5. Тест и задание: оконные функции и event-time ↗

Агрегации в потоке

4 урока

1. Теория агрегаций в Structured Streaming ↗

2. Код: многомерные агрегации с окнами ↗

3. Код: приближённые и оптимизированные агрегации ↗

4. Квиз и задание: агрегации в потоке ↗

Joins в Structured Streaming

5 уроков

1. Теория joins в Structured Streaming ↗

2. Код: stream-static join для обогащения данных ↗

3. Код: stream-stream join с watermark и временными ограничениями ↗

4. Квиз: joins в Structured Streaming ↗

5. Задание: реализация joins в потоковом приложении ↗

Управление состоянием (State Management)

5 уроков

1. Теория: State Management в Spark Structured Streaming ↗

2. Код: mapGroupsWithState — сессии с таймаутами ↗

3. Код: flatMapGroupsWithState — конечный автомат (FSM) ↗

4. Код: конфигурация RocksDB StateStore ↗

5. Тест и практическое задание: State Management ↗

Checkpointing и отказоустойчивость

4 урока

1. Теория: Checkpointing и отказоустойчивость ↗

2. Код: Pipeline с Checkpointing и мониторингом восстановления ↗

3. Код: Миграция Checkpoint и Blue-Green Deployment ↗

4. Quiz и практическое задание: Checkpointing ↗

Мониторинг, метрики и отладка

4 урока

1. Теория: мониторинг, метрики и отладка Structured Streaming ↗

2. Код: StreamingQueryListener + экспорт метрик в Prometheus ↗

3. Код: observe() бизнес-метрики и система алертинга ↗

4. Квиз и задание: мониторинг Structured Streaming ↗

Оптимизация производительности

4 урока

1. Теория: оптимизация производительности Structured Streaming ↗

2. Код: оптимизированный Kafka-пайплайн с тюнингом ↗

3. Код: профилирование производительности и устранение узких мест ↗

4. Квиз и задание: оптимизация производительности ↗

Тестирование потоковых приложений

4 урока

1. Стратегия тестирования потоковых приложений ↗

2. Практика: Unit-тесты с MemoryStream ↗

3. Практика: Интеграционные тесты с TestContainers и Kafka ↗

4. Квиз и практическое задание: Тестирование ↗

Production паттерны и архитектура

4 урока

1. Production паттерны потоковых приложений ↗

2. Практика: Multi-query, DLQ и Graceful Shutdown ↗

3. Практика: CDC-pipeline обработки изменений ↗

4. Квиз и практическое задание: Production паттерны ↗

Интеграция с экосистемой

4 урока

1. Экосистема: Delta Lake, Iceberg, Hudi и оркестрация ↗

2. Практика: Delta Lake streaming pipeline с MERGE ↗

3. Практика: Iceberg streaming pipeline ↗

4. Квиз и практическое задание: Экосистема ↗

Запись стримингом в ClickHouse

14 уроков

1. Обзор ClickHouse как target для streaming ↗

2. JDBC через ForeachBatch ↗

3. HTTP Interface через ForeachBatch ↗

4. Официальный Spark ClickHouse Connector ↗

5. Kafka → ClickHouse Kafka Engine ↗

6. Промежуточные файлы: S3/HDFS → ClickHouse ↗

7. Промежуточные файлы: S3/HDFS → ClickHouse ↗

8. Промежуточные файлы: S3/HDFS → ClickHouse ↗

9. Промежуточные файлы: S3/HDFS → ClickHouse ↗

10. Промежуточные файлы: S3/HDFS → ClickHouse ↗

11. Промежуточные файлы: S3/HDFS → ClickHouse ↗

12. Native Protocol через clickhouse-java ↗

13. Сравнительная таблица методов ↗

14. Quiz и практическое задание: Kafka → Spark → ClickHouse ↗