EI20:智能湖仓

从Gartner Hype Cycle 2021报告看湖仓一体的未来发展 2022-04-12 1.前言 在Gartner 2021年度数据管理领域的成熟度模型报告-Hype Cycle中，「湖仓一体」（ Lakehouse ）与Edge Data Management、Intercloud Data Management、Active Metadata等新兴技术一起，成为了首次进入成熟度模型的五个新军之一，备受业界关注。 自1995年开始，Gartner开始采用技术成熟度曲线，来分析各行业的发展，针对技术创新的发展趋势进行评价和预测，即如何从启动开始，历经泡沫、低估、爬升阶段，最终进入成熟发展模式。 Hype Cycle 2021评测图表如下： 图一：Hype Cycle for Data Management 2021,成熟度曲线 曲线的坐标为"时间"，表示技术将随时间发展经历的阶段。纵坐标为"预期"，即受关注程度，代表市场对技术未来价值的预估。坐标点的形状，代表该技术进入成熟期的预计时间。 在Gartner模型中，可以从两个维度来量化新技术的成熟度： 功能丰富性和 主流性 。Gartner认为，新技术从诞生到最终成熟商用，一般都会经历5个阶段： 技术成熟度曲线的不同形状呈现了响应技术在发展过程中的价值预期随时间的变化情况，能够准确地反映随技术发展出现高峰的更深层根本原因和性质。 在Gartner看来，如今整体上数据管理技术已经逐步趋于成熟，其中大约有一半都处在爬升期。这些进入者中的大多数将在两年内进入稳步发展的成熟期。这意味着，技术决策者们，可以优先考虑采用这些新技术，因为相对较高的成熟度，即具有很高的业务价值和最小的技术风险。 关于数据仓库架构，Gartner认为，LDW（逻辑数据仓库）已成为最主流的数据仓库架构。这是因为它可以灵活适应许多架构变化，通过其逻辑层，将底层复杂且差异化的数据仓库环境实现统一。而作为数据仓库架构的重要组件，Data Lake、Data Hub Strategy和Lakehouse，还有较长的路要走。 （注：在成熟度曲线中，三者的定位为： Data lake- 即将走出低谷期，走向成熟；Data Hub Strategy-经过泡沫期的爆发，正走向低谷期；Lakehouse-仍处于启动阶段，是等待探索的新技术） 定义： 巨杉数据库基于「湖仓一体」的架构特性，构建数据基础设施平台，整合结构化、半结构化、非结构化数据的统一存储与管理，为面向全量数据业务提供：SQL、NoSQL、Object多种接口。 此外，通过特有的跨引擎事务能力，可以有效简化多团队开发流程中对不同引擎、不同结构的数据管理，打通ACID事务支持，提升业务开发、数据处理、运维管理能力，释放全量数据价值，提升企业数据处理的"人效"及"能效"。 重要意义： 商业影响： 在"2021年大数据前沿技术及产业论坛"中，报告《研究大数据产品融合演进之路》指出：在数字化驱动下，「湖仓一体」或将成为大数据技术发展的下一跳，而支撑这一技术架构的基础，将是如何更好地将数据湖和数据仓库的能力相结合，具备完善的数据存储及高性能的联机处理能力。 1.《Hype Cycle for Data Management, 2021》 - Gartner https://www.gartner.com/document/4004072?toggle=1 2.《2021年中国数据库行业研究报告》 - 艾瑞网 http://report.iresearch.cn/report/202105/3787.shtml 3.《What is Lakehouse》 - DataBricks https://databricks.com/blog/2020/01/30/what-is-a-data-lakehouse.html 4.《What is Lakehouse》 - Snowflake https://www.snowflake.com/guides/what-data-lakehouse 5.《湖仓：数据湖与数据仓库的融合》- 巨杉数据库 https://blog.sequoiadb.com/cn/detail-id-176 毫无疑问，「湖仓一体」代表了未来技术演进的方向。未来，「湖仓一体」将会更好地助 力企业降低成本、提升运营效率、丰富业务模式探索， 从而释放全量数据的价值，提升数据处理的"能效"和"人效"。 技术驱动力： 数据科学项目，往往难以在生产环境中落地投产。「湖仓一体」实现了研究探索和生产交付的统一，从而缓解了这些问题。 ...