Бесплатно
Симулятор-практикум по Lakehouse: Iceberg + Spark
Открыть наSTEPIK.ORG
Знакомимся с архитектурой Lakehouse и назначением её компонентов: MinIO, Apache Iceberg, Lakekeeper и Spark. Разберёшься, как подключить Spark к Iceberg через свойства spark.sql.extensions и spark.sql.catalog, как указать тип rest и параметры S3. На практике развернёшь стенд mydatalab, подключишься к S3, создашь namespace experiment и таблицу first_table с полем message типа STRING. Запишешь данные двумя способами: через DataFrame API и через Spark SQL.
| Показатель | Текущие показатели | Рост | |||
|---|---|---|---|---|---|
| Значение | 🏆 Рейтинг | 3 дн | 7 дн | 30 дн | |
| 1 | |||||
| 0 | |||||
| 0 | |||||
| 0.000 | |||||
| 3 | |||||
| 8 | |||||
| — | — | ||||
| — | — | — | — | ||
| — | — | — | — | ||
| Сложность | normal | — | — | — | — |