(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210660021.0 (22)申请日 2022.06.13 (71)申请人 北京医准智能科技有限公司 地址 100083 北京市海淀区知春路7号 致真 大厦A座12层1202-120 3号 (72)发明人 柯思成　贾潇　王子腾　丁佳　 吕晨翀　 (74)专利代理 机构 北京乐知新创知识产权代理 事务所(普通 合伙) 11734 专利代理师 王曌寅 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/75(2022.01) G06V 10/82(2022.01) G06T 5/50(2006.01) (54)发明名称 图像匹配模型的训练方法、 装置、 电子设备 及存储介质 (57)摘要 本公开提供了一种图像匹配模型的训练方 法、 装置、 电子设备及存储介质， 包括： 获取第一 粗粒度图像和第一细粒度图像， 以及第二粗粒度 图像和第二细粒度图像； 将第一粗粒度图像和第 二粗粒度图像输入至图像匹配模 型中， 获取第一 样本图像和第二样本图像对应的至少两对候选 特征点； 基于至少两对候选特征点， 确定第一细 粒度图像中与至少两对候选特征点对应的第一 子区域， 以及第二细粒度图像中与至少两对候选 特征点对应的第二子区域； 将第一子区域和第二 子区域输入至所述图像匹配模型中， 确定所述至 少两对预测特征点； 基于所述至少两对候选特征 点和所述至少两对预测特征点确定所述图像匹 配模型的损失值， 基于所述损失值调整所述图像 匹配模型的参数。 权利要求书5页 说明书19页 附图7页 CN 115222955 A 2022.10.21 CN 115222955 A 1.一种图像匹配模型的训练方法， 其特 征在于， 所述方法包括： 获取第一样本图像对应的第 一粗粒度图像和第 一细粒度图像， 以及第 二样本图像对应 的第二粗粒度图像和第二细粒度图像； 将所述第一粗粒度图像和所述第二粗粒度图像输入至所述图像匹配模型包括变换器 网络Transformer中， 获取第一粗粒度图像对应的第一特征向量， 以及所述第二粗粒度图像 对应的第二特 征向量； 将所述第一特征向量和所述第二特征向量输入至所述图像匹配模型包括的匹配网络 中， 确定所述匹配网络的输出， 为所述第一样本图像和所述第二样本图像对应的至少 两对 候选特征点； 基于所述至少两对候选特征点， 确定所述第 一细粒度图像中与 所述至少两对候选特征 点对应的第一子区域， 以及所述第二细粒度图像中与所述至少两对候选特征点对应的第二 子区域； 将所述第一子区域和所述第 二子区域输入至所述变换器网络 中， 确定所述变换器网络 的输出， 为所述第一样本图像对应的第一特征图像和所述第二样本图像对应的第二特征图 像； 基于所述第一特 征图像和所述第二特 征图像， 确定所述至少两对预测特 征点； 基于所述至少两对候选特征点和所述至少两对预测特征点确定所述图像匹配模型的 损失值， 基于所述损失值调整所述图像匹配模型的参数； 其中， 所述第一样本 图像和所述第二样本 图像中均包括第一区域； 所述第一粗粒度图 像和所述第二粗粒度图像的采样率相同； 所述第一细粒度图像和所述第二细粒度图像的采 样率相同。 2.根据权利要求1所述的方法， 其特征在于， 所述获取第 一样本图像对应的第 一粗粒度 图像和第一细粒度图像， 以及第二样本图像对应的第二粗粒度图像和第二细粒度图像， 包 括： 将所述第一样本图像和所述第二样本图像分别输入至所述图像匹配模型包括的特征 金字塔网络， 确定所述特征金字塔网络的输出， 分别为所述第一样本图像对应的第一粗粒 度图像和 第一细粒度图像， 以及所述第二样本图像对应的第二粗粒度图像和 第二细粒度图 像。 3.根据权利要求1所述的方法， 其特征在于， 所述将所述第 一粗粒度图像和所述第 二粗 粒度图像输入至所述图像匹配模型包括变换器网络Tr ansformer 中， 获取第一粗粒度图像 对应的第一特 征向量， 以及所述第二 粗粒度图像对应的第二特 征向量， 包括： 将所述第一粗粒度图像和所述第二粗粒度图像分别输入至Transformer的自注意力层 中， 获取所述第一粗粒度图像对应的第三特征向量和所述第二粗粒度图像对应的第四特征 向量； 将所述第三特征向量和所述第四特征向量输入至Transformer的互注意力层中， 获取 所述第三特征向量经过加强得到的第一特征向量和所述第四特征向量经过加强得到的第 二特征向量。 4.根据权利要求1所述的方法， 其特征在于， 将所述第 一特征向量和所述第 二特征向量 输入至所述图像匹配模型包括的匹配网络中， 确定所述匹配网络的输出， 为所述第一样本权　利　要　求　书 1/5 页 2 CN 115222955 A 2图像和所述第二样本图像对应的至少两对候选特 征点， 包括： 将所述第一特征向量和所述第二特征向量输入至所述图像匹配模型包括的匹配网络 的可微匹配层， 确定所述可微匹配层的输出， 为所述第一样本图像和所述第二样本图像对 应的至少两对候选特 征点。 5.根据权利要求1所述的方法， 其特征在于， 所述基于所述至少两对候选特征点， 确定 所述第一细粒度图像中与所述至少两对候选特征点对应的第一子区域， 以及所述第二细粒 度图像中与所述至少两对候选特 征点对应的第二子区域， 包括： 对所述至少两对候选特 征点进行筛 选， 确定符合第一条件的至少一对目标 特征点； 确定所述第 一细粒度图像中， 与 所述至少一对目标特征点中位于第 一粗粒度图像 中的 第一子特 征点对应的第一子区域； 确定所述第 二细粒度图像中， 与 所述至少一对目标特征点中位于第 二粗粒度图像 中的 第二子特 征点对应的第二子区域。 6.根据权利要求5所述的方法， 其特征在于， 所述对所述至少两对候选特征点进行筛 选， 确定符合第一条件的至少一对预测特 征点， 包括： 确定所述至少两对候选特征点中， 满足两个子特征点之间的距离小于所述两个子特征 点与其他子特征点之间的距离的至少一对候选特 征点， 为目标 特征点。 7.根据权利要求1所述的方法， 其特征在于， 所述将所述第 一子区域和所述第 二子区域 输入至所述变换器网络中， 确定所述变换器网络的输出， 为所述第一样本图像对应的第一 特征图像和所述第二样本图像对应的第二特 征图像， 包括： 将所述第一子区域和所述第二子区域分别输入至Transformer的自注意力层中， 获取 所述第一子区域对应的第三特 征图像和所述第二子区域对应的第四特 征图像； 将所述第三特征图像和所述第四特征 图像输入至Transformer的互注意力层中， 获取 所述第三特征图像经过加强得到的第一特征图像和所述第四特征图像经过加强得到的第 二特征图像。 8.根据权利要求1所述的方法， 其特征在于， 所述基于所述第 一特征图像和所述第 二特 征图像， 确定所述至少两对预测特 征点， 包括： 对所述第一特征图像和所述第 二特征图像进行互相关运算， 获得第 一特征图像对应的 第一匹配关系概 率图， 和所述第二特 征图像对应的第二匹配关系概 率图； 基于所述第一匹配关系概率图和所述第二匹配关系 图， 确认所述至少两对预测特征 点。 9.根据权利要求1所述的方法， 其特征在于， 所述基于所述至少两对候选特征点和所述 至少两对预测特 征点确定所述图像匹配模型的损失值， 包括： 基于所述至少两对候选特征点中每一对候选特征点的匹配置信度和投影距离， 确 认第 一子损失值； 基于所述至少两对预测特征点中每一对预测特征点的投影距离、 所述至少两对预测特 征点中每一个预测特征点与其对应的标识特征点之 间的距离， 以及基于所述至少两对预测 特征点确定的热力图， 确认第二子损失值； 基于所述第一子损失值和所述第二子损失值确认所述图像匹配模型的损失值。 10.根据权利要求1至9任一项所述的方法， 其特 征在于，权　利　要　求　书 2/5 页 3 CN 115222955 A 3