(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211153336.2 (22)申请日 2022.09.19 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 张昌华　杨兴　左琳　刘宇　 吴云峰　严加富　胡建　罗茂林　 李佳航　李彪　 (51)Int.Cl. G06T 7/00(2017.01) G06T 5/50(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种面向水 下燃料组件的视 觉定位方法 (57)摘要 本发明公开了一种面向水下燃料组件的视 觉定位方法， 属于深度学习和图像处理领域。 本 发明是基于深度学习的视觉定位算法， 创新性地 将深度学习应用到高精度工业定位任务， 实现了 水下燃料 组件装卸操作。 该发明首先使用水下图 像复原网络模 型对水下销钉图像进行复原， 然后 利用销钉定位方法对复原图像进行分析， 提取销 钉圆心坐标， 给机械臂对水下燃料组件装卸操作 提供位置坐标， 最后实现了高精度定位操作。 本 发明所述方法可以实现水下燃料组件高精度定 位任务， 对在非均匀光照条件下拍摄的水下销钉 图像仍有很好的适应能力， 解决了水下燃料组件 定位困难、 定位精度低等问题。 权利要求书2页 说明书6页 附图5页 CN 115546126 A 2022.12.30 CN 115546126 A 1.一种面向水 下燃料组件的视 觉定位方法， 其特 征在于， 包括以下步骤： 步骤1， 搭建水下燃料组件硬件定位系统， 并拍摄多张不匹配的水下销钉图像W和空气 中的销钉图像A； 步骤2， 将步骤1拍摄的图像W与A输入到循环生成对抗网络(Cycle ‑Consistent   Adversarial  Networks， CycleGAN)， 进行模型训练， 并保存网络模型与权 重； 步骤3， 将步骤1拍摄的图像A输入到步骤2训练好的网络模型中， 输出各自相匹配的水 下销钉图像I； 最终得到成对的水 下‑空气成对数据集 I、 A； 步骤4， 水下图像复原网络模型： 该网络模型主要用于水下图像结构复原和颜色校正； 其中， 该步骤又分为如下6个步骤： 步骤4‑1， 通道拆分： 将输入的水 下销钉图像I拆分为R、 G、 B三个特 征层； 步骤4‑2， 浅层特征信息提取： 将步骤4 ‑1得到的R、 G、 B三个特征层分别输入到3 ×3卷积 模块中， 提取三个通道的浅层衰减特 征FR、 FG、 FB； 步骤4‑3， 通道自注意力机制： 首先， 将步骤4 ‑2输出的特征FG、 FB、 FR进行全连接操作分 别得到Q、 K、 V矩阵； 然后， 对Q、 K矩阵进行相关性计算得到注意力分数A'(Q,K)矩阵； 接着， 将 A'(Q,K)矩阵进行softmax得到注意力 权重A(Q,K)矩阵； 最后， 将A(Q,K)矩阵与V矩阵相乘， 得到增强的水 下图像红通道特 征F′R； (1)Q、 K、 V 矩阵 Q＝Wq·FG K＝Wk·FB V＝Wv·FR 其中， Wq、 Wk、 Wv分别是Q、 K、 V的系数矩阵； (2)注意力分数A'(Q,K)矩阵 其中， d是 FG通道维度大小； (3)注意力权 重A(Q,K)矩阵 A(Q,K)＝soft  max(A'(Q,K) ) 其中， soft  max是归一 化指数函数； (4)增强的红通道特 征F′R F′R＝V·A(Q,K) 步骤4‑4， 通道特征融合： 将步骤4 ‑3得到的F ′R与FG、 FB进行通道堆叠， 再通过1 ×1卷积 运算降低特 征维度， 得到特 征FRGB； 步骤4‑5， 多尺度输出： 将步骤4 ‑4输出的特征FRGB进行下采样(DownSampled)得到特征 F1， 然后对特征F1下采样(DownSampled)得到特征F2， 接着对特征F2下采样(D ownSampled)得 到特征F3； 步骤4‑6， 多尺度融合： 将步骤 4‑5输出的特征F1输入到Focus模块中降低特征尺寸， 得到 特征F1'； 将步骤4 ‑5输出的特征F3进行线性插值法增大特征尺寸， 得到特征F3'； 将特征F1'、 F2、 F′3、 FRGB进行通道堆叠， 得到特 征F4， 再通过1 ×1卷积运算降低堆叠通道的维度； 步骤5， 将步骤4的水 下图像复原网络模型进行训练得到网络模型和权 重；权　利　要　求　书 1/2 页 2 CN 115546126 A 2步骤6， 将水下销钉测试图像输入到步骤5训练好的模型中， 最终输出水下销钉复原图 像 步骤7， 水下销钉定位方法： 该方法主要用于水下销钉圆心坐标提取； 其中， 该步骤又分 为如下3个步骤： 步骤7‑1， 水下销钉检测： 制作 多个销钉模板图像分别与步骤6输出的复原图像 进行相 关度计算， 得到相关度最高的水 下销钉所在区域， 再以匹配图像中心定为销钉的圆心坐标； 步骤7‑2， 水下销钉亚像素边缘提取： 首先， 将步骤7 ‑1得到的销钉圆心坐标为坐标原 点， 并以该坐标原点均匀向四周 做出360条射线， 找出每个射线上最大梯度所在的坐标点 (xn,yn),n＝1,2, …,360； 然后， 对每个坐标点(xn,yn)进行sigmoid函数拟合； 最后， 将拟合 的360个sigmo id函数， 分别计算出每 个方向上的亚像素点， 得到水 下销钉亚像素边 缘； (1)sigmo id函数 其中， f(x,y)是坐标为(x,y)的像素值； s(x,y)是坐标为(x,y)与坐标原点的欧式距离 值； a、 b、 c、 d是拟合 参数值； 步骤7‑3， 水下销钉圆心提取： 根据步骤7 ‑2得到的水下销钉亚像素边缘坐标， 使用最小 二乘法拟合水下销钉亚像素边缘并得到拟合的圆心 坐标， 判断拟合的圆心 坐标与原 来的圆 心坐标的欧式距离， 若小于 设定的阈值， 则认为该点为销钉圆心 坐标； 否则更新销钉圆心 坐 标， 重复步骤 7‑2和步骤7‑3， 直到找出满足条件的圆心坐标； 最 终实现水下燃料 组件高精度 定位操作。权　利　要　求　书 2/2 页 3 CN 115546126 A 3