说明:最全电力标准
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211377889.6 (22)申请日 2022.11.04 (71)申请人 南方电网数字电网研究院有限公司 地址 510555 广东省广州市黄埔区中新广 州知识城 亿创街1号 406房之86 (72)发明人 王尧 邵晶晶 宋云奎 沈宇红  萧展辉 李文俊 李晓彬 黄焯恒  (74)专利代理 机构 北京世誉鑫诚专利代理有限 公司 11368 专利代理师 李世端 (51)Int.Cl. G06F 16/215(2019.01) G06F 16/2455(2019.01) G06F 16/25(2019.01) G06F 16/28(2019.01) (54)发明名称 一种基于多源异构数据的融合处 理方法 (57)摘要 本发明提供的一种基于多源异构数据的融 合处理方法, 所述融合处理方法包括: 根据电力 大数据技术特性、 应用需求和电力时空特性, 建 立基于业务的数据时空不确定性与多维关联性 描述方法; 基于多源异构数据清洁方法、 融合机 制, 建立电力大数据的实用化的组织方案, 用于 实现以客户需求为导向的数据统一表达和优化 方法; 建立适应数据时空属性动态化的分布存 储。 提高数据的读取效率。 权利要求书1页 说明书4页 附图3页 CN 115543989 A 2022.12.30 CN 115543989 A 1.一种基于多源异构数据的融合处 理方法, 其特 征在于, 所述融合处 理方法包括: 根据电力大数据技术特性、 应用需求和电力时空特性, 建立基于业务的数据时空不确 定性与多维关联性描述方法; 基于多源异构数据清洁方法、 融合机制, 建立电力大数据的实用化的组织方案, 用于实 现以客户需求 为导向的数据统一表达和优化方法; 建立适应数据时空属性动态化的分布存 储。 2.根据权利要求1所述的一种基于多源异构数据的融合处理方法, 其特征在于, 所述融 合处理方法还 包括: 建立基于典型应用场景的储 存优化机制和储 存算法。 3.根据权利要求1所述的一种基于多源异构数据的融合处理方法, 其特征在于, 所述基 于多源异构数据清洁方法、 融合机制, 建立电力大 数据的实用化的组织方案具体包括: 采用ETL技术将各数据资源从源系统中提取, 并转换为 一个标准的格式; 应用语义 聚类方法完成多源异构数据融合, 在数据源端节点并行完成聚类运算中复杂 度最高的部分, 获得融合数据; 将所述融合数据合并为中间结果; 将所述中间结果传送到中心 节点并自适应地 生成聚类中心。 4.根据权利要求1所述的一种基于多源异构数据的融合处理方法, 其特征在于, 所述建 立适应数据时空属性动态化的分布存 储具体包括: 响应用户的资源请求, 为应用提供统一的API接口; 对用户身份进行权限验证, 响应用户的资源请求, 对所述资源请求进行分类控制, 如果 验证通过, 请求查询缓存或将所述资源请求 发送至存储集群, 同时负责转 发所述资源请求, 并进行预取检测; 维护缓存更新和替换 策略, 对过期或失效数据进行清除和替换, 并响应数据查询; 接收请求, 计算请求和相关请求的访问热度以及系统相对 承载力; 根据所述访问热度和所述系统相对承载力判断是否执行预取操作, 如果达到预取条件 则触发预 取推理, 在日志信息的基础上推理得到预 取对象, 否则不预 取信号; 对预取数据执行生成和删除操作同时维护整个系统的数据副本 。 5.根据权利要求4所述的一种基于多源异构数据的融合处理方法, 其特征在于, 所述日 志信息包括: 日志文件、 本体和语义标注资源。权 利 要 求 书 1/1 页 2 CN 115543989 A 2一种基于多源异构数据的融合处理 方法 技术领域 [0001]本发明涉及电力数据领域, 尤其涉及一种基于多源异构数据的融合处 理方法。 背景技术 [0002]数据逐渐成为驱动业务运转的重要生产要素, 传统数据消费和使用方式将被彻底 颠覆。 从数据操作情况来看, 查询行为占据着用户8 0%的使用比例, 是最常用也是与业务侧 最为贴近的数据使用方式, 然而传统的基于应用系统功能、 简单数据分析报表展示的数据 查询和使用方法已无法满足用户的查询需求, 随着数据驱动业务、 引领业务效能的不断凸 显, 用户需要能够实现多源异构数据全覆盖的综合 性智能检索解决方案 。 发明内容 [0003]鉴于上述问题, 提出了本发明以便提供克服上述问题或者至少部分地解决上述问 题的一种基于多源异构数据的融合处 理方法。 [0004]根据本发明的一个方面, 提供了一种基于多源异构数据的融合处理方法, 所述融 合处理方法包括: [0005]根据电力大数据技术特性、 应用需求和电力时空特性, 建立基于业务的数据时空 不确定性与多维关联性描述方法; [0006]基于多源异构数据清洁方法、 融合机制, 建立电力大数据的实用化的组织方案, 用 于实现以客户需求 为导向的数据统一表达和优化方法; [0007]建立适应数据时空属性动态化的分布存 储。 [0008]可选的, 所述融合处理方法还包括: 建立基于典型应用场景的储存优化机制和储 存算法。 [0009]可选的, 所述基于多源异构数据清洁方法、 融合机制, 建立电力大数据的实用化的 组织方案具体包括: [0010]采用ETL技术将各数据资源从源系统中提取, 并转换为 一个标准的格式; [0011]应用语义聚类方法完成多源异构数据融合, 在数据源端节点并行完成聚类运算中 复杂度最高的部分, 获得融合数据; [0012]将所述融合数据合并为中间结果; [0013]将所述中间结果传送到中心 节点并自适应地 生成聚类中心。 [0014]可选的, 所述建立 适应数据时空属性动态化的分布存 储具体包括: [0015]响应用户的资源请求, 为应用提供统一的API接口; [0016]对用户身份进行权限验证, 响应用户的资源请求, 对所述资源请求进行分类控制, 如果验证通过, 请求查询缓存或将所述资源请求发送至存储集群, 同时负责转发所述资源 请求, 并进行 预取检测; [0017]维护缓存更新和替换 策略, 对过期或失效数据进行清除和替换, 并响应数据查询; [0018]接收请求, 计算请求和相关请求的访问热度以及系统相对 承载力;说 明 书 1/4 页 3 CN 115543989 A 3

.PDF文档 专利 一种基于多源异构数据的融合处理方法

文档预览
中文文档 9 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共9页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种基于多源异构数据的融合处理方法 第 1 页 专利 一种基于多源异构数据的融合处理方法 第 2 页 专利 一种基于多源异构数据的融合处理方法 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 00:48:44上传分享
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。