Курс на Stepik
Обложка курса «Apache Kafka под капотом: архитектура, исходный код, Highload» на Stepik
900 ₽

Apache Kafka под капотом: архитектура, исходный код, Highload ★ 0.000

Открыть на
STEPIK.ORG

Погрузитесь в низкоуровневую архитектуру, разбор исходного кода Scala/Java и системные вызовы Linux (io_uring, eBPF). Вы освоите устройство Storage Engine, эволюцию консенсуса KRaft, тонкости Kafka Streams, СDC (Debezium) и Schema Registry. Научитесь проектировать гео-распределенные системы, выжимать 1M+ RPS и исправлять 22 критических антипаттерна в Highload-продакшене. Без «воды» — только хардкорная практика и реальные инциденты.

Показатель Текущие показатели Рост
Значение 🏆 Рейтинг 3 дн 7 дн 30 дн
Количество учеников на курсе «Apache Kafka под капотом: архитектура, исходный код, Highload»Учеников на курсе 16
Сертификаты, выданные на курсе «Apache Kafka под капотом: архитектура, исходный код, Highload»Сертификатов выдано 0
Отзывы о курсе «Apache Kafka под капотом: архитектура, исходный код, Highload»Отзывов получено 0
Рейтинг курса «Apache Kafka под капотом: архитектура, исходный код, Highload»Рейтинг курса 0.000
Уроки в курсе «Apache Kafka под капотом: архитектура, исходный код, Highload»Количество уроков 72
Тесты в курсе «Apache Kafka под капотом: архитектура, исходный код, Highload»Количество квизов 228
Время прохождения курса «Apache Kafka под капотом: архитектура, исходный код, Highload»Время прохождения курса —
Стоимость курса «Apache Kafka под капотом: архитектура, исходный код, Highload»Стоимость курса 900 ₽ —
Обновления курса «Apache Kafka под капотом: архитектура, исходный код, Highload»Обновления курса — —
Дата публикации курса «Apache Kafka под капотом: архитектура, исходный код, Highload»Дата публикации курса — ———
Последнее обновление курса «Apache Kafka под капотом: архитектура, исходный код, Highload»Последнее обновление — ———
Сложность hard — ———

Содержание курса

Разделы в курсе «Apache Kafka под капотом: архитектура, исходный код, Highload» 17 разделов Уроки в курсе «Apache Kafka под капотом: архитектура, исходный код, Highload» 72 урока Тесты в курсе «Apache Kafka под капотом: архитектура, исходный код, Highload» 228 тестов Время прохождения курса «Apache Kafka под капотом: архитектура, исходный код, Highload» 0 ч. Последнее обновление курса «Apache Kafka под капотом: архитектура, исходный код, Highload» обн. 29 октября 2026

Введение и диагностика уровня

5 уроков
1. Распределенные системы: от гарантий доставки к пропускной способ ↗
2. Диагностический тест: 10 задач на выявление пробелов ↗
3. Инструментарий контрибьютора: исходный код, KIP, протокол ↗
4. Ментальный бенчмаркинг: расчет пропускной способности ↗
5. Закрепление ↗

Архитектурный фундамент и системный ввод-вывод

7 уроков
1. Философия лога и низкоуровневое хранение ↗
2. Холодный старт и прогрев Page Cache ↗
3. Взаимодействие с ядром ОС и Zero-Copy ↗
4. Сетевая подсистема и потоковая модель брокера ↗
5. Многоуровневое хранение данных ↗
6. Асинхронный ввод-вывод нового поколения и Native-интеграция ↗
7. Закрепление ↗

Протокол репликации и консенсус

4 урока
1. Анатомия репликации и ISR ↗
2. Эволюция консенсуса: от ZooKeeper к KRaft ↗
3. Восстановление после потери кворума KRaft ↗
4. Закрепление ↗

Продвинутая инженерия продюсера

3 урока
1. Буферизация и эффективное выделение памяти ↗
2. Гарантии доставки и транзакции ↗
3. Закрепление ↗

Продвинутая инженерия консьюмера

4 урока
1. Координация и протокол ребалансировки ↗
2. Потоковая модель и управление смещениями ↗
3. Ручное вмешательство в смещения ↗
4. Закрепление ↗

Kafka Streams и транзакционная аналитика

2 урока
1. Архитектура состояний и топология ↗
2. Закрепление ↗

Оптимизация производительности и Highload-тюнинг

3 урока
1. Борьба с задержками и максимизация пропускной способности ↗
2. Квотирование, мультитендантность и лимиты ↗
3. Закрепление ↗

Мониторинг, диагностика и отказоустойчивость

6 уроков
1. Метрики ядра брокера через JMX ↗
2. Профилирование и разбор инцидентов ↗
3. Прокси-слой и балансировщики нагрузки ↗
4. Диагностика и восстановление битых логов ↗
5. Безопасность данных и резервное копирование ↗
6. Закрепление ↗

Финальные архитектурные кейсы

5 уроков
1. Проектирование гео-распределенного кластера ↗
2. Миграция кластера без простоя ↗
3. Обработка 1.000.000+ RPS ↗
4. Проблема асимметричного трафика и Partition Key Salting ↗
5. Закрепление ↗

Экосистема интеграций и распределенные транзакции

4 урока
1. Kafka Connect: архитектура, Backpressure и тюнинг памяти ↗
2. Debezium CDC: вычитка WAL/Binlog и Snapshotting ↗
3. Сквозная трассировка: OpenTelemetry и Record Headers ↗
4. Закрепление ↗

Управление качеством данных и Schema Registry

5 уроков
1. Confluent Schema Registry: координация и валидация схем ↗
2. Wire Format: Magic Byte, Schema ID и кэширование ↗
3. Стратегии эволюции схем: совместимость и деплой ↗
4. Data Mesh и федеративное управление схемами ↗
5. Закрепление ↗

Продюсер: антипаттерны и их последствия

5 уроков
1. Один продюсер на все топики ↗
2. Доверие к автокоммитам ↗
3. Игнорирование retries при acks=0 ↗
4. Бесконечные retries с max.in.flight=5 ↗
5. Закрепление ↗

Консьюмер: антипаттерны и их последствия

5 уроков
1. Многопоточный poll() ↗
2. Слишком маленький max.poll.records ↗
3. Игнорирование max.poll.interval.ms ↗
4. Коммит в середине батча ↗
5. Закрепление ↗

Брокер: антипаттерны и их последствия

5 уроков
1. Слишком много партиций ↗
2. Огромный retention на всех топиках ↗
3. Использование RAID 5/6 ↗
4. Слишком маленький num.io.threads ↗
5. Закрепление ↗

Архитектурные антипаттерны

4 урока
1. Схема как контракт без версионирования ↗
2. Транзакционный продюсер без transactional.id ↗
3. Потребитель-одиночка в группе ↗
4. Закрепление ↗

Инфраструктурные антипаттерны

3 урока
1. Kafka в Kubernetes без HostNetwork ↗
2. Облачные диски gp2/gp3 с burst" ↗
3. Закрепление ↗

Завершение

2 урока
1. Вместо завершения ↗
2. Продолжение пути ↗