(19)中华 人民共和国 国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202111579361.2
(22)申请日 2021.12.2 2
(71)申请人 北京亚信数据有限公司
地址 100095 北京市海淀区西北旺东路10
号院东区亚信全球总部研发中心大楼
2层B座B3区
(72)发明人 沈丹婷
(74)专利代理 机构 北京动力号知识产权代理有
限公司 1 1775
代理人 杨润
(51)Int.Cl.
H04L 67/1097(2022.01)
H04L 9/40(2022.01)
H04L 9/32(2006.01)
(54)发明名称
一种基于分布式系统的数据资产存储方法
及装置
(57)摘要
本发明公开了一种基于分布式系统的数据
资产存储 方法及装置, 能够解决数据资产存储的
存储和管理技术问题。 所述方法包括: 配置一个
中心服务器及M个子系统, 每个子系统包括一个
生产者模块、 一个消费者模块; 获取待存储的数
据资产及所述待存储数据资产的密级, 获取开启
的子系统, 从所述开启的子系统中选择一个或多
个, 将待存储的数据资产的元数据存入选中的开
启的子系统的生产者模块的与所述待存储的数
据资产的密级对应的队列中; 对从生产者模块各
个队列中获取的待存储的数据资产的元数据添
加标签、 加密、 计算云存储器的存储位置, 若数据
资产存储完毕, 中心服务器存储开启的子系统的
消费者模块的各个队列的内容。
权利要求书3页 说明书7页 附图2页
CN 114268637 A
2022.04.01
CN 114268637 A
1.一种基于分布式系统的数据资产存 储方法, 其特 征在于, 包括:
步骤S1: 配置一个中心服务器及M个子系统, 每个子系 统部署于一个存储节点上, 每个
子系统均与所述中心 服务器相连; 每个子系统包括一个生产者模块、 一个消费者模块, 每个
子系统中的所述生产者模块与所述消费者模块相对应; 每个生产者模块设置有 K个队列, 生
产者模块中的队列i用于存储所述数据资产中密 级为i的数据资产的元数据; 每个消费者模
块设置有K个队列, 消费者模块中的队列i用于存储数据资产的元数据的处理结果, 所述数
据资产的元数据的处理结果是与所述消费者模块对应的生产者模块的队列i的数据资产的
元数据的处 理结果; 其中, M>1, K >1, 1≤i≤K;
步骤S2: 获取待存储的数据资产及所述待存储数据资产的密级, 获取开启的子系统, 从
所述开启的子系统中选择一个或多个, 将待存储的数据资产的元数据存入选中的开启的子
系统的生产者模块的与所述待存储的数据资产的密级对应的队列中, 其中, 开启的子系统
数为N, N<M;
步骤S3: 开启的子系统的消费者模块Cj与其对应的生产者模块Dj之间, 采用多线程并发
的方式, 从生产者模块Dj的各个队列中获取待存储的数据资产的元数据; 根据消费者模块Cj
的各队列存储的元数据对应的数据资产的存储策略, 对从生产者模块Dj的各个队列中获取
的待存储的数据资产的元数据添加标签、 加密、 计算云存储器的存储位置, 将所述待存储的
数据资产的元数据的标签、 加密结果、 存储位置存入所述消费者模块Cj的对应位置; 将待存
储的数据资产按照对应的加密策略加密, 并将加密后的数据资产存储到云存储器的存储位
置; 其中, 1≤j≤N;
步骤S4: 判断是否还有 待存储的数据资产, 若是, 进入步骤S2; 若否, 进入步骤S5;
步骤S5: 所述中心服 务器存储开启的子系统的消费者模块Cj的各个队列的内容。
2.如权利要求1所述的方法, 其特征在于, 所述步骤S2, 将数据资产设置为三个密级, 轻
密级、 高密级、 机密级, 不同密 级的数据资产、 数据资产的元数据采用不同的存储 策略, 所述
轻密级为采用私钥加密存储; 所述高密级采用私钥及数字证书加密存储, 高密级的数字证
书由系统管理员保管; 所述机密级采用私钥及多个数字证书加密存储, 所述多个数字证书
中的每个数字证书由不同人员进行保管。
3.如权利要求2所述的方法, 其特征在于, 所述步骤S2, 获取开启的子系统, 从所述开启
的子系统中选择一个或多个, 将待存储的数据资产的元数据存入选中的开启的子系统的生
产者模块的与所述待存 储的数据资产的密级对应的队列中, 包括:
步骤S21: 获取预设时间段内的数据资产的产生频率, 所述预设时间段的时长为前一次
数据资产存储结束的时间到当前时间的时长; 所述产生频率基于数据资产 的新增数量确
定, 所述新增数量基于所述预设时间段内到期的项目节点、 项目产品的交付物的数量确定;
步骤S22: 获取所述预设时间段内的数据资产的产生频率与基准产生频率的差值, 基于
该差值确定开启的子系统的数量N; 从所述M个子系统中选择N个子系统, 将其置为开启状
态;
步骤S23: 获取待存储的数据资产的元数据, 基于元数据备份策略, 从所述开启的子系
统中选择一个或多个, 将待存储的数据资产的元数据存入选中的开启的子系统的生产者模
块的与所述待存储的数据资产的密级对应的队列中; 所述元数据包括所述待存储的数据资
产的数据属性、 生成时间。权 利 要 求 书 1/3 页
2
CN 114268637 A
24.如权利要求3所述的方法, 其特征在于, 所述基准产生频率基于历史数据设置, 若所
述预设时间段内的数据资产的产生频率小于或等于基准产生频率, 则开启的子系统的数量
为2; 若所述预设时间段内的数据资产的产生频率大于基准产生频率, 则计算比率
α =差值/基准产生频率,
5.如权利要求4所述的方法, 其特征在于, 将基于元数据确定的标签、 加密结果、 云存储
器的存储位置作为该元数据的处理结果, 将该 处理结果存储于对应的消费者模块的对应的
队列中。
6.如权利要求5所述的方法, 其特征在于, 所述步骤S5, 包括: 由中心服务器获取开启的
子系统的消费者模块Cj的各个队列的内容, 中心服务器存储完毕后, 清空开启的子系统的
消费者模块Cj的各个队列的内容。
7.一种基于分布式系统的数据资产存 储装置, 其特 征在于, 包括:
配置模块: 配置为配置一个 中心服务器及M个子系统, 每个子系统部署于一个存储节点
上, 每个子系统均与所述中心 服务器相连; 每个子系统包括一个生产者模块、 一个消费者模
块, 每个子系统中的所述生产者模块与所述消费者模块相对应; 每个生产者模块设置有K个
队列, 生产者模块中的队列i用于存储所述数据资产中密级为i的数据资产的元数据; 每个
消费者模块设置有K个队列, 消费者模块中的队列i用于存储数据资产的元数据的处理结
果, 所述数据资产的元数据的处理结果是与所述消费者模块对应的生产者模块的队列i的
数据资产的元 数据的处 理结果; 其中, M>1, K >1, 1≤i≤K;
生产者存储模块: 配置为获取待存储的数据资产及所述待存储数据资产的密级, 获取
开启的子系统, 从所述开启的子系统中选择一个或多个, 将待存储的数据资产的元数据存
入选中的开启的子系统的生产者模块的与所述待存储的数据资产的密级对应的队列中, 其
中, 开启的子系统数为 N, N<M;
消费者计算模块: 配置为开启的子系统的消费者模块Cj与其对应的生产者模块Dj之间,
采用多线程并发的方式, 从生产者模块Dj的各个队列 中获取待存储的数据资产的元数据;
根据消费者模块Cj的各队列存储的元数据对应的数据资产的存储策略, 对从生产者模块Dj
的各个队列中获取 的待存储的数据资产的元数据添加标签、 加密、 计算云存储器的存储位
置, 将所述待存储的数据资产的元数据的标签、 加密结果、 存储位置存入所述消费者模块Cj
的对应位置; 将待存储的数据资产按照对应的加密策略加密, 并将加密后的数据资产存储
到云存储器的存 储位置; 其中, 1≤j≤N;
判断模块: 配置为判断是否还有待存储的数据资产, 若是, 触发生产者存储模块; 若否,
触发存储模块;
存储模块: 配置为所述中心服务器存储开启的子系统的消费者模块Cj的各个队列的内
容。
8.如权利要求7所述的装置, 其特征在于, 所述生产者存储模块, 将数据资产设置为三
个密级, 轻密级、 高密级、 机密级, 不同密 级的数据资产、 数据资产的元数据采用不同的存储
策略, 所述轻密 级为采用私钥加密存储; 所述高密级采用私钥及数字证书加密 存储, 高密 级
的数字证书由系统管理员保管; 所述机密级采用私钥及多个数字证书加密存储, 所述多个
数字证书中的每 个数字证书都由不同人员进行保管。
9.一种基于分布式系统的数据资产存 储系统, 包括:权 利 要 求 书 2/3 页
3
CN 114268637 A
3
专利 一种基于分布式系统的数据资产存储方法及装置
文档预览
中文文档
13 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共13页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 人生无常 于 2024-03-19 03:03:29上传分享