Iceberg10: 为什么使用Iceberg

简介：本文介绍去哪儿数据平台在使用 Flink + Iceberg 0.11 的一些实践。 作者：余东 摘要： 本文介绍去哪儿数据平台在使用 Flink + Iceberg 0.11 的一些实践。内容包括： GitHub 地址 https://github.com/apache/flink 欢迎大家给 Flink 点赞送 star~ 我们在使用 Flink 做实时数仓以及数据传输过程中，遇到了一些问题：比如 Kafka 数据丢失，Flink 结合 Hive 的近实时数仓性能等。Iceberg 0.11 的新特性解决了这些业务场景碰到的问题。对比 Kafka 来说，Iceberg 在某些特定场景有自己的优势，在此我们做了一些基于 Iceberg 的实践分享。 原先的架构采用 Kafka 存储实时数据，其中包括日志、订单、车票等数据。然后用 Flink SQL 或者 Flink datastream 消费数据进行流转。内部自研了提交 SQL 和 Datastream 的平台，通过该平台提交实时作业。 Kafka