(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211120004.4 (22)申请日 2022.09.14 (71)申请人 逸思长天(南京)数字智能科技有限 公司 地址 211305 江苏省南京市高淳区砖墙镇 竹园里138号砖墙经济园A区1幢207- 30号 (72)发明人 郭晨　 (74)专利代理 机构 东台金诚石专利代理事务所 (特殊普通 合伙) 32482 专利代理师 周松涛 (51)Int.Cl. G06F 16/22(2019.01) G06F 16/23(2019.01) G06F 16/182(2019.01) (54)发明名称 一种结构化数据多版本存 储方法 (57)摘要 本发明公开了一种结构化数据多版本存储 方法， 包括： 高速数据交换与调度系统、 大数据查 询引擎、 分布式文件系统、 大数据元数据管理工 具和大数据计算引擎； 高速数据交换与调度系 统， 该调度系统用于数据中转； 大数据查询引擎， 利用数据湖查询引擎插件查询数据和调用接口； 分布式文件系统， 将数据湖存储格式进行分类， 该格式分为静态数据、 元数据、 变化数据三大部 分； 大数据元数据管理工具， 利用数据湖元数据 管理插件组织数据资产和治理数据。 权利要求书1页 说明书4页 附图1页 CN 115481122 A 2022.12.16 CN 115481122 A 1.一种结构化数据多版本存储方法， 其特征在于： 其存储方法包括： 高速数据交换与调 度系统、 大 数据查询引擎、 分布式文件系统、 大 数据元数据管理工具和大 数据计算引擎； 高速数据交换与调度系统， 该调度系统用于数据中转； 大数据查询引擎， 利用数据湖查询引擎插 件查询数据和调用接口； 分布式文件系统， 将数据湖存储格 式进行分类， 该格 式分为静态数据、 变化数据两大部 分； 大数据元数据管理工具， 利用数据湖元 数据管理插 件组织数据资产和治理数据； 大数据计算引擎， 大规模数据的处 理， 并进行计算和智能分析。 2.根据权利要求1所述的一种结构化数据多版本存储方法， 其特征在于， 使用一个文件 夹记录数据每个版本的记录情况， 文件夹中包含一个commit记录文件。 记录每次commit的 时间， com mit过后全部数据所在的文件。 3.根据权利要求1所述的一种结构化数据多版本存储方法， 其特征在于， 每次commit 时， 若数据集中的某些文件并未发生数据变动， 则文件不做修改， 若文件发生了数据变动， 则将该文件数据变动应用之后另存为新文件。 老版本commit使用老版本， 新版本commit使 用新版本 。 4.根据权利要求1所述的一种结构化数据多版本存储方法， 其特征在于， 元数据 管理系 统中也可通过读取com mit记录的形式读取到数据集版本变化。 5.根据权利要求1所述的一种结构化数据多版本存储方法， 其特征在于， 大数据计算引 擎也可通过读取com mit记录的形式读取到数据集版本变化。权　利　要　求　书 1/1 页 2 CN 115481122 A 2一种结构化数据多版本 存储方法 技术领域 [0001]本发明涉及大 数据存储技术领域， 具体是一种结构化数据多版本存 储方法。 背景技术 [0002]目前主流数据库都支持多版本并发控制技术， 但是他们实现多版本的方式却不尽 相同。 由于大部 分主流数据库都是商业数据库， 并没有详细公布它们的内部实现细节， 所以 根据少量的公开文档， 我们只能推断出他们实现多版本控制技术的大致方式。 Oracle数据 库实现的是页面级的多版本， 在数据库中同时存在多个版本的页面数据， 事务根据需要取 得或者构造自己需要的页面版本； 而SqlServer， PostgreSQL等数据库实现的是行级多版 本， 每个数据行数都记录着版本信息， 事务根据可见性判断来取得自己能够读取到的数据 行。 相同的是， 他们都用系统更改号来表示数据的版本信息， 系统更改号是一个严格递增的 序列， 每个更新事务都会取得一个唯一的系统更改号， 事务就是通过记录在数据上 的系统 更改号来判别自己是否可以访问这个数据， 通过系统更改号数据库实现了并发事务的访问 控制。 通过多版本并发控制技术， 这些数据库都能够支持 高并发的访问， 极大地提供了数据 库系统的性能。 [0003]原本面向互联 网业务的湖仓一体架构在工业大数据场景落地时， 数据加工模型未 经工业场景优化 导致性能存在优化空间、 加工组件过于固定导 致灵活扩展成本高等问题。 [0004]故， 本发明提出一种结构化数据多版本存 储方法。 发明内容 [0005]为实现上述目的， 本 发明提供如下技术方案： 一种结构化数据多版本存储方法， 其 支撑系统包括： 高速数据交换与调度系统、 大数据查询引擎、 分布式文件系统、 大数据元数 据管理工具和大 数据计算引擎； [0006]高速数据交换与调度系统， 该调度系统用于数据中转； [0007]大数据查询引擎， 利用数据湖查询引擎插 件查询数据和调用接口； [0008]分布式文件系统， 将数据湖存储格式进行分类， 该格式分为静态数据、 变化数据两 大部分； [0009]大数据元数据管理工具， 利用数据湖元 数据管理插 件组织数据资产和治理数据； [0010]大数据计算引擎， 大规模数据的处 理， 并进行计算和智能分析。 [0011]多版本数据湖组件， 用来和上述支撑组件联动， 在存储、 计算、 元数据管理、 分析等 场景下实现多版本数据存 储。 [0012]作为本发明优先的技术方案， 所述分布式文件系统中采用LSM ‑Tree数据压实算 法， 为不同的业务场景搭配不同的数据存储与读取模式， 数据湖存储格式使用parquet ‑ schema‑based列式存储格式作为基准的静态数据存储， 使用commit的元数据记录格式， 记 录该数据集每一个变化时间点做的数据变更， 使用二进制格式delt a描述两次commit之间 的中间数据变化。说　明　书 1/4 页 3 CN 115481122 A 3