(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211075909.4 (22)申请日 2022.09.05 (65)同一申请的已公布的文献号 申请公布号 CN 115145966 A (43)申请公布日 2022.10.04 (73)专利权人 山东省计算中心 （国家超 级计算 济南中心） 地址 250000 山东省济南市历下区科院路 19号 专利权人 北京威努特技 术有限公司 (72)发明人 吴晓明　王艳寒　杨明　王鑫　 汪付强　刘祥志　龙国东　陈振娅　 穆超　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 王雪(51)Int.Cl. H04L 67/125(2022.01) G06F 16/2455(2019.01) G06F 16/23(2019.01) G06N 20/00(2019.01) G06K 9/62(2022.01) (56)对比文件 CN 114582011 A,2022.06.03 CN 114448601 A,202 2.05.06 CN 114742237 A,202 2.07.12 CN 114781653 A,2022.07.22 CN 114710330 A,2022.07.05 US 2022237508 A1,202 2.07.28 CN 114819190 A,202 2.07.29 王亚珅.面向数据共享交换的联邦学习技 术 发展综述. 《无 人系统技 术》 .2019,(第0 6期), 审查员 李华 (54)发明名称 一种面向异构数据的对比联邦学习方法及 系统 (57)摘要 本发明属于人工智能领域， 提供了一种面向 异构数据的对比联邦学习方法及系统， 包括客户 端利用当前轮次中当前次数局部更新的局部模 型和上一次局部更新的历史局部模型的正余弦 距离、 当前轮次中当前次数局部更新的局部模型 与当前全局模型之间的负余弦距离对当前局部 模型进行优化， 使得客户端当前轮次的局部模型 靠近当前全局模 型而远离上一轮次的局部模型， 得到最新的局部模型； 服务端获取多个客户端的 最新的局部模型进行聚合， 更新全局模型。 本发 明从模型相似度的角度建立异构环境下联邦学 习的优化问题， 使每个客户端都能够学习到接近 全局模型表示， 以最小化局部模型差异。 权利要求书3页 说明书10页 附图1页 CN 115145966 B 2022.11.11 CN 115145966 B 1.一种面向异构数据的对比联邦学习方法， 其特 征在于， 包括： 客户端利用当前轮次中当前次数局部更新的局部模型和上一次局部更新的历史局部 模型的正余弦距离越小而两模型相互远离、 当前轮次中当前次数局部更新的局部模型与当 前全局模型之 间的负余弦距离越小而两模型相互靠近的原则对当前局部模 型进行优化， 使 得客户端当前轮次的局部模型靠近 当前全局模型而远离上一轮次的局部模 型， 得到最新的 局部模型； 所述当前轮次中当前次数局部更新的局部模型和上一次局部更新的历史局部模型的 正余弦距离， 具体为： 其中， 是当前轮次中第m次局部更新的局部模型， 是当前轮次中 第m‑1次局部更新的历史局部模型； M是当前轮次的局部模 型与下一轮次的局部模 型之间相 差的局部更新次数； t是联邦学习在服务端的第t次聚合；   与 之 间的正余弦距离越小， 则两模型之间的相似度越低； 所述当前轮次中当前次数局部更新的局部模型与当前全局模型之间的负余弦距离， 具 体为： 其中， 为联邦学习在服 务端第 次聚合后的全局模型； 与 之间的负余弦距离越小， 则两模型之间的相似度越高； 服务端获取多个客户端的最 新的局部模型进行聚合， 更新全局模型。 2.如权利要求1所述的一种面向异构数据的对比联邦学习方法， 其特征在于， 所述客户 端的当前轮次的局部模型， 包括： 客户端根据自身的本地数据进行模型训练， 以构建对应的当前轮次的局部模型； 其中， 所述本地数据为非独立同分布 异构数据。 3.如权利要求1所述的一种面向异构数据的对比联邦学习方法， 其特征在于， 所述服务 端获取多个客户端的最 新的局部模型进行聚合， 更新全局模型， 具体为： 其中， 是所有样本数目， 每个客户端上有 个样本(x,y)来 自于分权　利　要　求　书 1/3 页 2 CN 115145966 B 2布 ， K是所有客户端的个数， 是M次局部更新后得到的上传 到服务端参与第 t+1轮次联邦学习的局部模型， 为联邦学习在服务端第t+1次聚合后的全局模型， 。 4.如权利要求1所述的一种面向异构数据的对比联邦学习方法， 其特征在于， 为了达到 让当前轮次的局部模型远离历史局部模型的同时， 且不让当前轮次中第m ‑1次局部更新的 历史局部模型 的梯度信息对当前第m次局部更新的局部模型 的训练造成影响的目的， 引入 梯度终止 机制， 在当前局部更新轮次对历史局部模型 采取梯度终止操作； 当前局部模型与历史局部模型之间的正 余弦距离公式更新 为： 其中， 是对 执行stop‑grad操作， 是当前轮次中第m ‑1次局部更新的历史局部模型， 是当前轮次中 第m次局部更新的局部模型。 5.如权利要求1所述的一种面向异构数据的对比联邦学习方法， 其特征在于， 所述当前 局部模型的优化目标表示 为： 其中， 是M次局部更新后得到的上传到服务端参与第t+1轮次联邦学习的局 部模型， 是当前轮次第m次的局部模型， 是当前轮次第m ‑1次局部更新 的局部模 型， M是当前轮次的局部模型与上下一轮次的局部模 型之间相差的局部更新次数； 为联邦学习在服 务端第 次聚合后的全局模型。 6.一种面向异构数据的对比联邦学习 系统， 其特 征在于， 包括： 局部优化模块， 被配置为客户端利用当前轮次中当前次数局部更新的局部模型和上一 次局部更新的历史局部模型的正余弦距离越小而两模型相互远离、 当前轮次中当前次数局 部更新的局部模型与当前全局模型之间的负余弦距离越小而两模型相互靠近的原则对当 前局部模型进 行优化， 使得客户端当前轮次的局部模型靠近当前全局模型而远离上一轮次 的局部模型， 得到最 新的局部模型； 所述当前轮次中当前次数局部更新的局部模型和上一次局部更新的历史局部模型的 正余弦距离， 具体为：权　利　要　求　书 2/3 页 3 CN 115145966 B 3