(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221095841 1.6 (22)申请日 2022.08.09 (71)申请人 国网浙江省电力有限公司培训中心 地址 310015 浙江省杭州市拱 墅区舟山 东 路91号 申请人 国网浙江省电力有限公司 (72)发明人 章晓锘　方磊　孔飘红　张静　 卢敏　钱建国　裘雨音　由甲川　 刘华蕾　李嘉茜　 (74)专利代理 机构 杭州华鼎知识产权代理事务 所(普通合伙) 33217 专利代理师 王旭峰 (51)Int.Cl. G06F 16/25(2019.01) G06F 16/23(2019.01)G06Q 50/06(2012.01) (54)发明名称 一种电网数据ETL的优化方法及设备 (57)摘要 本发明涉及一种电网数据ETL的优化方法及 设备。 其方法部分主要包括： 设定ET L调度服务器 以及多个用于进行ETL处理的ET L处理服务器； 各 个ETL处理服务器在即将进行ETL处理时， 向ETL 调度服务器发送自身待处理的ETL数据清单； ET L 调度服务器根据所述ETL数据清单上记录的各项 业务的数据量的百分比来确定对各项业务进行 ETL处理的ETL处理服务器； 各个ETL处理服务器 将相应业务的数据转移至ET L调度服务器确定的 对相应业务进行ET L处理的ETL处理服务器， 以进 行ETL处理。 本发明采用的方法可以优化网络数 据的同步， 提升数据转移效率， 节约网络资源。 权利要求书2页 说明书12页 附图5页 CN 115525700 A 2022.12.27 CN 115525700 A 1.一种电网数据ETL的优化方法， 其特 征在于， 包括： 设定ETL调度服 务器以及多个用于进行ETL处 理的ETL处 理服务器； 各个ETL处理服务器在即将进行ETL处理时， 向ETL调度 服务器发送自身待 处理的ETL数 据清单， 所述ETL数据 清单上记录有不同业务的任务目录以及各项业务的数据量的百分比； ETL调度服务器根据所述ETL数据清单上记录的各项业务的数据量的百分比来确定对各项 业务进行ETL处 理的ETL处 理服务器； 各个ETL处理服务器将相应业务的数据转移至ETL调度服务器确定的对相应业务进行 ETL处理的ETL处 理服务器， 以进行ETL处 理。 2.根据权利 要求1所述的一种电网数据ETL的优化方法， 其特征在于， 所述ETL数据清单 上记录的各项业务的数据量的百分比， 具体包括： 本地服务器所拥有的各项业务的数据量 相对于历史进行ETL处 理过的该项业 务的数据总量的百分比。 3.根据权利 要求2所述的一种电网数据ETL的优化方法， 其特征在于， 所述ETL调度服务 器根据所述ETL数据清单上记录的各项业务的数据量的百分比来确定对各项业务进行ETL 处理的ETL处 理服务器具体包括： ETL调度服务器获取到各个ETL处理服务器发送的ETL数据清单后， 对比各个ETL数据清 单上记录的各项业务的数据量的百分比， 选出每项业务的数据量所占百分比最高的ETL数 据清单， 将 选出的ETL数据清单对应的ETL处理服务器 设置为对相应业务进行ETL处理的ETL 处理服务器。 4.根据权利 要求3所述的一种电网数据ETL的优化方法， 其特征在于， 在根据所述ETL数 据清单上记录的各项业务的数据量的百分比来确定对某项业务进行ETL处理的ETL处理服 务器时， 需至少有一个ETL数据 清单的该项业务的数据量所占百分比超过预设的占比阈值， 否则不对该项业 务进行数据转移以及ETL处 理； 其中， 预设的占比阈值设置为20％ ‑40％。 5.根据权利 要求1所述的一种电网数据ETL的优化方法， 其特征在于， 所述各个ETL处理 服务器将相应业务的数据转移至ETL调 度服务器确定的对相应业务进 行ETL处理的ETL处理 服务器， 以进行ETL处 理， 具体包括： 各个ETL处理服务器均从ETL调度服务器处获取对相应业务进行ETL处理的ETL处理服 务器与相应业 务之间的对照表； 若自身是对相应业 务进行ETL处 理的ETL处 理服务器， 则保留自身的相应业 务数据； 若自身不是对相应业务进行ETL处理的ETL处理服务器， 则将自身的相应业务数据转移 至对该相应业 务进行ETL处 理的ETL处 理服务器； 数据转移完成后， 需要对相应业务进行ETL处理的ETL处理服务器对相应业务进行ETL 处理。 6.根据权利 要求1所述的一种电网数据ETL的优化方法， 其特征在于， 所述ETL调度服务 器设定有调度周期， 在同一个调度周期内， 所述ETL调度服务器只确定一次对相应业务进 行 ETL处理的ETL处 理服务器。 7.根据权利要求6所述的一种电网数据ETL的优化方法， 其特征在于， 在同一个调度周 期内， 若某项业务已确定对其进 行ETL处理的ETL处理服务器， 则其它ETL处理服务器对接收 该项业务的后续数据进行重定向， 使该项业务的后续数据直接传递到对该项业务进行ETL 处理的ETL处 理服务器。权　利　要　求　书 1/2 页 2 CN 115525700 A 28.根据权利 要求1‑7任一所述的一种电网数据ETL的优化方法， 其特征在于， 各个ETL处 理服务器的ETL处理设定为每隔一定周期进 行处理， 或数据总量达到一定内存就进 行处理； 所述ETL调度服务器为所述ETL处理服务器中的一个或网络中任一个涉及ETL处理能力的服 务器。 9.根据权利要求1 ‑7任一所述的一种电网数据ETL的优化方法， 其特征在于， 在数据转 移之后， ETL处 理之前， 方法还 包括： 将已经接收到的多套业务的数据， 根据各业务的数据所触发关联验证的历史任务， 获 取各业务的数据当前等待验证的任务数量； 获取当前完成对应任务数量验证后的业务的数据， 通过比对完成对应任务数量验证后 的业务的数据， 确定是否能覆盖ETL过程所需的业务的数据； 若无法覆盖， 则进入等待执行 ETL过程； 若可以覆盖， 则执 行ETL过程； 在等待执行ETL过程中， 若分析出当前等待任务验证的剩余数据内容和执行ETL过程得 到的结果数据之和小于等于处于等待执行ETL过程中原始的业务的数据时， 则执行ETL过 程， 并保存ETL结果和当前等待任务验证的剩余 业务的数据； 在等待执行ETL过程中， 若分析出当前等待任务验证的剩余业务的数据和执行ETL过程 得到的结果数据之和大于处于等待执行ETL过程中原始的业务的数据时， 仍然维持等待执 行ETL过程。 10.一种电网数据ETL的优化设备， 其特 征在于： 包括至少一个处理器和存储器， 所述至少一个处理器和存储器之间通过数据总线连 接， 所述存储器存储能被所述至少一个处理器执行 的指令， 所述指令在被所述处理器执行 后， 用于完成权利要求1 ‑9中任一项所述的电网数据ETL的优化方法。权　利　要　求　书 2/2 页 3 CN 115525700 A 3