(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211498391.5 (22)申请日 2022.11.28 (71)申请人 杭州欧若数网科技有限公司 地址 311100 浙江省杭州市余杭区仓前街 道时代未来之城5幢22 02、 2203、 2204、 2205、 2206、 2207、 2208 (72)发明人 岳通　王玉珏　吴敏　叶小萌　 (74)专利代理 机构 杭州创智卓英知识产权代理 事务所(普通 合伙) 33324 专利代理师 彭菊凤 (51)Int.Cl. G06F 16/27(2019.01) G06F 11/30(2006.01) (54)发明名称 一种一主多从的集群间数据实时同步的方 法和系统 (57)摘要 本申请涉及一主多从的集群间数据实时同 步的方法和系统， 其中， 该方法包括一主多从的 集群间元数据同步和一主多从的集群间属性数 据同步； 通过元监听器节点和/或存储监听器节 点， 将主集群上要同步的数据发送到各个从集群 的管道节 点上； 再通过管道节 点将数据处理后发 送到对应从集群节点， 完成一主多从的集群间数 据同步。 通过本申请， 解决了如何在图数据库中 进行一主多从的实时数据同步的问题， 实现了图 数据库中实时变化的关系网络数据在一主多从 的集群间实时同步， 有效地保证了数据的一致 性。 权利要求书2页 说明书9页 附图5页 CN 115544172 A 2022.12.30 CN 115544172 A 1.一种一主多从的集群间数据实时同步的方法， 其特征在于， 所述方法包括一主多从 的集群间元 数据同步和一主 多从的集群间属性数据同步； 所述一主多从的集群间元 数据同步包括： 主集群节点为元数据管理节点， 在主集群上启动元监听器节点， 以接收所述元数据管 理节点对应数据分片中的领导 者副本所发送的同步信息； 若所述同步信 息为预写式日志， 则执行第一同步预处理， 若所述同步信息为快照数据， 则执行第二同步预处 理； 定期遍历图空间目录下的元监 听器节点信 息， 通过所述元监 听器节点将所述同步预处 理后的数据发送到各个从集群的管道 节点上； 通过所述管道 节点将所述数据处 理后发送到对应从集群的元 数据管理节点。 2.根据权利要求1所述的方法， 其特征在于， 所述一主多从的集群间属性数据同步包 括： 主集群节点为存储节点， 在主集群上启动存储监听器节点， 创建学习者副本并加入所 述存储节点的数据分片所在的raft组中； 基于raft的一致性原理， 将所述数据分片的领导者副本中存储的预写式日志， 传输到 所述学习者副本； 定期遍历所述学习者副本下的存储监 听器节点信 息， 通过所述存储监 听器节点将日志 发送到各个从集群的管道 节点上； 通过所述管道 节点将所述数据处 理后发送到对应从集群的存 储节点。 3.根据权利要求1所述的方法， 其特征在于， 若所述同步信息为预写式日志， 则执行第 一同步预处 理包括： 若所述同步信息为预写式日志， 则先分析得到所述预写式日志对应的图空间ID， 再根 据所述图空间ID将所述预写式日志写入 对应图空间的预写式日志文件中。 4.根据权利要求1所述的方法， 其特征在于， 若所述同步信息为快照数据， 则执行第二 同步预处 理包括： 若所述同步信息为快照数据， 则先清空各个图空间的预写式日志文件， 分析所述快照 数据得到对应的图空间ID， 再根据所述图空间ID将所述快照数据写入对应图空间的预写式 日志文件中。 5.根据权利要求2所述的方法， 其特征在于， 通过所述存储监 听器节点将所述日志发送 到各个从集群的管道 节点上包括： 判断当前同步的日志是否在所述学习者副本的预写式日志文件中； 若是， 则通过所述存储监听器节点直接读取所述预写式日志， 并发送到从集群的管道 节点上； 若否， 则通过所述存储监听器节点拉取所述领导者副本的快照数据， 并发送到从集群 的管道节点上。 6.根据权利要求1或2所述的方法， 其特征在于， 在通过所述管道节点将所述数据处理 后发送到对应从集群节点之前， 所述方法还 包括： 通过所述管道节点接收所述数据， 根据所述从集群上要同步的图空间ID和日志ID， 判 断所述数据的接收是否合法。权　利　要　求　书 1/2 页 2 CN 115544172 A 27.根据权利要求1或2所述的方法， 其特征在于， 通过所述管道节点将所述数据处理后 发送到对应从集群节点包括： 通过所述管道节点遍历得到所述从集群上要同步的图空间目录， 所述图空间目录 中每 个图空间生成一个任务 放到任务管理队列中； 在任务的执行中， 根据所述任务对应的数据分片的信息， 生成多个子任务， 其中， 一个 数据分片对应一个子任务； 根据并行度， 并行执行所述子任务， 直到所述任务管理队列中的任务全部执行完成， 即 将所述数据发送到从集群对应节点。 8.根据权利要求1所述的方法， 其特征在于， 图空间为主集群与从集群间数据同步的基 本单位， 需要 进行数据同步的图空间在所述主集群中可读可写， 在所述从集群中只读。 9.根据权利要求1所述的方法， 其特征在于， 元数据 管理节点的数据分片中存储着图空 间的元数据； 存储节点的数据分片中存 储着图空间的属性数据。 10.一种一主多从的集群间数据实时同步的系统， 其特征在于， 所述系统应用于权利要 求1至9任一项所述的方法， 所述系统包括主集群模块和从集群模块； 所述主集群模块， 用于当主集群节点为元数据管理节点时， 在主集群上启动元监听器 节点， 以接 收所述元数据管理节点对应数据分片 中的领导者副本所发送的同步信息； 若所 述同步信息为预写式日志， 则执行第一同步预 处理， 若所述同步信息为快照数据， 则执行第 二同步预处 理； 所述主集群模块， 用于定期遍历图空间目录下的元监听器节点信息， 通过所述元监听 器节点将所述同步预处 理后的数据发送到各个从集群的管道 节点上； 所述从集群模块， 用于通过 所述管道 节点将所述数据处 理后发送到对应从集群节点。权　利　要　求　书 2/2 页 3 CN 115544172 A 3