(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210658300.3 (22)申请日 2022.06.10 (71)申请人 国网安徽省电力有限公司超高压分 公司 地址 230061 安徽省合肥市包河区桐城南 路397号 申请人 中国科学技术大学先进技术研究院 (72)发明人 董翔宇　樊培培　索浩银　刘之奎　 李腾　杜鹏　廖军　张俊杰　 王子磊　张晗　方晶晶　施雯　 (74)专利代理 机构 北京润平知识产权代理有限 公司 11283 专利代理师 刘兵 (51)Int.Cl. G06T 7/00(2017.01)G06T 19/00(2011.01) G06V 10/28(2022.01) G06V 10/44(2022.01) G06V 10/75(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06Q 50/06(2012.01) (54)发明名称 一种基于虚实匹配的变电站视觉智能巡检 方法 (57)摘要 本发明实施例提供一种基于虚实匹配的变 电站视觉智 能巡检方法， 属于变电站巡检领域。 所述方法通过获取的真实场景变电站的场景布 局和设备分布情况生成与真实变电站场景一致 的数字孪生变电站。 在获取真实变电站的真实场 图像后获取与其对应的虚拟场景图像， 并且经过 进一步的计算得到虚拟场景解析图像和与其对 应的真实场景解析图像。 将需要检测的设备进行 分类， 然后对分类后的对应的真实场景图像进行 相应的检测， 并将检测结果发送出去， 以提醒工 作人员， 该方法能够大幅度的提升变电站的自动 化运维水平， 且能够有效提高变电站缺陷检测的 效率和准确率。 权利要求书3页 说明书11页 附图6页 CN 115239621 A 2022.10.25 CN 115239621 A 1.一种基于虚实匹配的变电站视 觉智能巡检方法， 其特 征在于， 所述方法包括： 获取真实变电站场景布局 和设备分布模型； 根据获取的所述真实变电站场景布局和设备分布模型生成数字孪生变电站的虚拟基 础模型； 将所述数字孪生变电站的虚拟基础模型中的设备与所述真实变电站的设备对应并更 新， 以得到精确的所述数字 孪生变电站； 获取所述真实变电站中的监控摄 像头分布情况； 将所述数字孪生变电站中与所述真实变电站中的监控摄像头对应的位置添加为虚拟 巡检点； 在所述虚拟巡检点获取与所述真实变电站中的监控摄像头获取的真实场景图像的一 致的虚拟场景图像； 将获取到的所述虚拟场景图像保存， 并根据与 所述真实变电站的设备的对应关系生成 虚拟场景解析图像； 获取所述真实变电站中的监控摄 像头获取的所述真实场景图像； 根据图像匹配算法将所述虚拟场景图像与所述真实场景图像进行匹配； 根据所述虚拟场景图像至所述真实场景图像的匹配结果将虚拟场景解析图像转化得 到真实场景解析图像； 确定需要检测的所述真实变电站的设备； 在所述真实场景解析图像中获取包含需要检测的所述真实变电站的设备的最小矩形 区域； 获取与所述真实场景解析图像中得到的包含需要检测的所述真实变电站的设备的所 述最小矩形区域对应的所述真实场景图像； 将对应的所述真实场景图像进行剪裁， 以得到包含需要检测的所述真实变电站设备的 真实场景图像的最小矩形区域； 对剪裁后的所述真实场景图像进行设备类型关联的缺陷检测， 以得到需要检测的所述 真实变电站的设备的缺陷检测结果。 2.根据权利要求1所述的方法， 其特 征在于， 所述方法包括： 获取所述缺陷检测结果； 保存所述 缺陷检测结果； 发送所述 缺陷检测结果， 以供工作人员查看。 3.根据权利要求1所述的方法， 其特征在于， 将所述数字孪生变电站的虚拟基础模型中 的设备与所述真实变电站的设备对应并更新， 以得到精确的数字 孪生变电站包括： 获取所述真实变电站的天气和光照环境条件； 根据获取的所述真实变电站的天气和光照环境条件对所述数字孪生变电站的场景进 一步更新以得到更加精准的所述数字 孪生变电站。 4.根据权利要求1所述的方法， 其特征在于， 将所述数字孪生变电站的虚拟基础模型中 的设备与所述真实变电站的设备对应并更新， 以得到精确的数字 孪生变电站包括： 获取所述真实变电站中的场景布局 和设备； 对获取的所述真实变电站中的场景布局和设备进行分类， 以判断所述场景布局和所述权　利　要　求　书 1/3 页 2 CN 115239621 A 2设备的数量是否大于第一预设阈值； 将小于所述第一预设阈值的所述场景布局和所述设备更加精准的还原到所述数字孪 生变电站对应的位置； 将大于所述第一预设阈值的所述场景布局和所述设备随机的还原到所述数字孪生变 电站对应的位置 。 5.根据权利要求1所述的方法， 其特征在于， 根据图像匹配算法将所述虚拟场景图像与 所述真实场景图像进行匹配包括： 获取所述真实变电站中的监控摄像头获取的真实场景图像和与所述真实场景图像一 致的虚拟场景图像； 对所述真实场景图像和所述虚拟场景图像进行数据 预处理， 以得到所述真实场景图像 和所述虚拟场景图像的深度图； 筛选深度图小于第二预设阈值的所述真实场景图像和所述虚拟场景图像中的近景部 分； 保留深度图小于所述第二预设阈值的所述真实场景图像和所述虚拟场景图像中的近 景部分； 获取筛选后的所述真实场景图像和所述虚拟场景图像的图像特 征； 对所述真实场景图和所述虚拟场景图的图像特 征进行区域划分； 通过随机抽样一致算法对所述虚拟场景图像的区域和与所述虚拟场景图像的区域对 应的所述真实场景图像的区域的图像特征进 行匹配， 以将图像特征对应的所述虚拟场景图 像和所述真实场景图像进行匹配。 6.根据权利要求5所述的方法， 其特征在于， 根据图像匹配算法将所述虚拟场景图像与 所述真实场景图像进行匹配包括： 获取匹配后的每 个区域的所述虚拟场景图像和所述真实场景图像； 将匹配后的所述虚拟场景图像和所述真实场景图像送到特征提取网络中， 以提取所述 虚拟场景图像和所述真实场景图像的特 征； 将提取后的所述虚拟场景图像和所述真实场景图像的特征送入相关性网络 中， 以计算 匹配后的所述虚拟场景图像与所述真实场景图像的相似度， 以得到所述虚拟场景图像与所 述真实场景图像的相似度得分矩阵； 将所述相似度得分矩阵送入光流估计网络中以得到所述虚拟场景图像和所述真实场 景图像细对齐的变换的光 流场； 将所述相似度得分矩阵送入 掩码计算网络以得到匹配度掩码； 判断每个区域的所述匹配度掩码是否大于第三预设阈值； 将小于第三预设阈值的所述虚拟场景图像的区域和与所述虚拟场景图像对应的所述 真实场景图像的区域作为新的所述虚拟场景图像和真实场景图像， 并返回执行对所述真实 场景图和所述虚拟场景图的图像特征进行区域划分的步骤， 直到每个区域的所述虚拟场景 图像和所述真实场景图像的匹配度掩码大于所述第三预设阈值； 融合多个所述 光流场以完成所述虚拟场景图像对所述真实场景图像的最终匹配。 7.根据权利要求1所述的方法， 其特征在于， 在所述真实场景解析图像中获取包含需要 检测的所述真实变电站的设备的最小矩形区域包括：权　利　要　求　书 2/3 页 3 CN 115239621 A 3