(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211241773.X (22)申请日 2022.10.11 (71)申请人 中国农业银行股份有限公司 地址 100005 北京市东城区建国门内大街 69号 (72)发明人 钟新斌　李志伟　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 王风茹 (51)Int.Cl. G06F 11/30(2006.01) G06F 16/23(2019.01) G06F 9/54(2006.01) (54)发明名称 流数据回溯方法、 装置、 电子设备及存储介 质 (57)摘要 本发明实施例公开了一种流数据回溯方法、 装置、 电子设备及存储介质。 其中， 该方法包括： 将获取到的流数据放入消息队列， 并对流数据添 加时间顺序标签； 根据流数据的时间顺序标签， 确定流数据的偏移量信息； 从消息队列中确定待 迁移流数据， 并根据待迁移流数据确定增量数据 文件； 其中， 增量数据文件用于记录待迁移流数 据； 根据增量数据文件的存储路径， 对待迁移流 数据的偏移量信息进行更新， 确定待迁移流数据 的更新偏移量信息； 根据更新偏移量信息和消息 队列中剩余流数据的未更新偏移量信息， 确定待 回溯流数据。 本技术方案， 能够有效支持大规模 流数据回溯， 提高了流数据回溯质量， 能够更好 地满足实际应用中对大规模流数据的回溯需求。 权利要求书2页 说明书10页 附图3页 CN 115509865 A 2022.12.23 CN 115509865 A 1.一种流数据回溯方法， 其特 征在于， 所述方法包括： 将获取到的流数据放入消息队列， 并对所述流数据 添加时间顺序标签； 其中， 所述时间 顺序标签用于表征 所述流数据的获取顺序； 根据所述流数据的时间顺序 标签， 确定所述流数据的偏移量信 息； 其中， 所述偏移量信 息用于描述与流数据获取时间对应的时间顺序标签； 从所述消息队列中确定待迁移流数据， 并根据所述待迁移流数据确定增量数据文件； 其中， 所述增量数据文件用于记录所述待迁移流数据； 根据所述增量数据文件的存储路径， 对所述待迁移流数据的偏移量信息进行更新， 确 定所述待迁移流数据的更新偏移量信息； 根据所述更新偏移量信 息和所述消息队列中剩余流数据的未更新偏移量信 息， 确定待 回溯流数据。 2.根据权利要求1所述的方法， 其特征在于， 根据所述流数据的时间顺序标签， 确定所 述流数据的偏移量信息， 包括： 基于预设时间间隔， 从所述消息队列中获取所述 时间顺序标签最大的流数据作为候选 流数据； 根据所述候选流数据的获取时间以及所述候选流数据的时间顺序标签， 确定所述候选 流数据的候选偏移量信息 。 3.根据权利要求2所述的方法， 其特征在于， 从所述消息队列中确定待迁移流数据， 并 根据所述待迁移流数据确定增量数据文件， 包括： 基于预设过期时间从所述消息队列中确定待迁移流数据； 根据所述 候选偏移量信息确定所述待迁移流数据的偏移量信息； 根据所述待迁移流数据的偏移量信息确定增量数据文件。 4.根据权利要求3所述的方法， 其特征在于， 根据 所述待迁移流数据的偏移量信 息确定 增量数据文件， 包括： 根据所述待迁移流数据的偏移量信 息中的流数据获取时间， 对所述待迁移流数据的偏 移量信息进行排序； 基于排序结果， 根据在前偏移量信息对应的待迁移流数据， 以及与所述在前偏移量信 息相邻的在后 偏移量信息对应的待迁移 流数据之前的待迁移 流数据， 确定所述在前偏移 量 信息对应的增量数据文件。 5.根据权利要求1或4所述的方法， 其特征在于， 根据所述增量数据文件的存储路径， 对 所述待迁移流数据的偏移量信息进行 更新， 包括： 令所述待迁移流数据的偏移量信 息中的流数据获取时间保持不变， 同时将所述待迁移 流数据的偏移量信息中的时间顺序标签， 替换为所述增量数据文件的存储路径， 以对所述 待迁移流数据的偏移量信息进行 更新。 6.根据权利要求5所述的方法， 其特征在于， 根据 所述更新偏移量信 息和所述消息队列 中剩余流数据的未 更新偏移量信息， 确定待回溯流数据， 包括： 根据所述更新偏移量信 息中的流数据获取时间， 以及所述未更新偏移量信 息中的流数 据获取时间， 对待回溯流数据的回溯时间进行匹配； 根据匹配结果确定所述待回溯流数据的目标偏移量信息；权　利　要　求　书 1/2 页 2 CN 115509865 A 2根据所述目标偏移量信息确定所述待回溯流数据。 7.根据权利要求6所述的方法， 其特征在于， 根据 所述目标偏移量信 息确定所述待回溯 流数据， 包括： 若所述目标偏移量信 息为更新偏移量信 息， 根据所述目标偏移量信 息确定目标增量数 据文件， 根据所述目标增量数据文件确定待回溯流数据； 若所述目标偏移量信 息为未更新偏移量信 息， 根据所述目标偏移量信 息从消息队列中 确定目标流数据， 根据所述目标流数据确定待回溯流数据。 若所述目标偏移量信 息同时包括更新偏移量信 息和未更新偏移量信 息， 根据所述目标 偏移量信息中的更新偏移量信息确定目标增量数据文件， 根据所述目标增量数据文件确定 待回溯流数据， 以及根据所述目标偏移 量信息中的未更新偏移 量信息从消息队列中确定目 标流数据， 根据所述目标流数据确定待回溯流数据。 8.一种流数据回溯装置， 其特 征在于， 所述装置包括： 时间顺序标签添加模块， 用于将获取到的流数据放入消息队列， 并对所述流数据添加 时间顺序标签； 其中， 所述时间顺序标签用于表征 所述流数据的获取顺序； 偏移量信息确定模块， 用于根据所述流数据的时间顺序标签， 确定所述流数据的偏移 量信息； 其中， 所述偏移量信息用于描述与流数据获取时间对应的时间顺序标签； 增量数据文件确定模块， 用于从所述消息队列中确定待迁移流数据， 并根据所述待迁 移流数据确定增量数据文件； 其中， 所述增量数据文件用于记录所述待迁移流数据； 更新偏移量信息确定模块， 用于根据所述增量数据文件的存储路径， 对所述待迁移流 数据的偏移量信息进行 更新， 确定所述待迁移流数据的更新偏移量信息； 待回溯流数据确定模块， 用于根据 所述更新偏移量信 息和所述消息队列中剩余流数据 的未更新偏移量信息， 确定待回溯流数据。 9.一种流数据回溯电子设备， 其特 征在于， 所述电子设备包括： 至少一个处 理器； 以及 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的计算机程序， 所述计算机程序被所 述至少一个处理器执行， 以使所述至少一个处理器能够执行权利要求1 ‑7中任一项所述的 流数据回溯方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机指 令， 所述计算机指令用于使处理器执行时实现权利要求1 ‑7中任一项所述的流数据回溯方 法。权　利　要　求　书 2/2 页 3 CN 115509865 A 3