(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210653483.X (22)申请日 2022.06.09 (71)申请人 厦门大学 地址 361005 福建省厦门市思明区思明南 路422号 (72)发明人 余少聪　廖英豪　 (74)专利代理 机构 厦门南强之 路专利事务所 (普通合伙) 35200 专利代理师 马应森 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种轻量级神经网络船舶水尺读数识别方 法 (57)摘要 一种轻量级神经网络船舶水尺读数识别方 法， 属于船舶水尺刻度检测领域及轻量级神经网 络领域。 1)利用轻量级神经网络结构结合特征通 道激励模块作为底层特征提取单元提取拍摄的 水尺图像特征； 2)将步骤1)的输 出特征分别输入 水线分类单元和刻度检测单元； 水线分类单元将 特征输入降采模块， 得到单通道特征输出， 将得 到的特征图按列划分， 利用多个分类器结合结构 损失学习每一列的水线位置信息； 刻度检测单元 将特征输入三个卷积分支， 实现水尺上刻度的检 测； 3)水尺深度估计单元结合多任务学习的网络 结果， 估计水尺吃水深度。 模型轻量， 简单有效， 能自适应提取水尺图片特征， 识别准确率高， 在 带噪图片上有更强鲁棒 性。 权利要求书3页 说明书7页 附图3页 CN 114972793 A 2022.08.30 CN 114972793 A 1.一种轻量级神经网络船舶水尺读数识别系统， 其特征在于包括底层特征提取单元、 水线分类单元、 刻度检测单元和水尺深度估计单元； 所述底层特征提取单元 的输出端分别 接水线分类单元、 刻度检测单元的输入端， 水线分类单元、 刻度检测单元的输出端分别接水 尺深度估计单 元的输入端； 所述底层特征提取单元用于利用轻量级神经网络结合特征通道激励模块提取经过数 据增强后的图像特 征； 所述水线分类单元用于将底层提取特征输入降采模块， 得到单通道特征图输出， 将输 出的单通道特征图与水线真实值做列的分类损失， 加入结构损失以得到每一列水线的位置 信息； 所述刻度检测单元用于将底层提取特征输入3个卷积分支， 实现水尺上刻度位置的检 测和识别； 3个分支包括目标分支、 分类分支、 回归分支； 所述水尺深度估计单元用于结合水线分类单元及刻度检测单元的结果， 估计水尺吃水 深度。 2.如权利要求1所述一种轻量级神经网络船舶水尺读数识别系统， 其特征在于所述底 层特征提取单元包括 1个数据处理模块、 2个包含4个特征通道激励 模块的卷积层； 所述数据 处理模块用于在将图片进行 数据增强后， 对图像中的区域进行裁 剪， 作为网络的输入。 3.一种轻量级神经网络船舶水尺读数识别方法， 其特 征在于包括以下步骤： 1)将拍摄的水尺图像进行数据增强， 底层特征提取单元利用轻量级神经网络及特征通 道激励模块 提取增强后的图像特 征； 2)将步骤1)提取的特征分别输入水线分类单元和刻度检测单元， 水线分类单元将特征 输入降采模块进行降采， 得到单通道特征图输出， 将得到的特征图按列划分， 利用多个分类 器结合结构损失学习每一列的水线位置信息； 刻度检测单元将步骤1)输出的特征进 行三个 分支卷积， 预测刻度位置， 实现水尺上刻度的检测； 3)水尺深度估计单元结合步骤2)中水线分类单元与刻度检测单元的结果， 估计水尺吃 水深度。 4.如权利要求3所述一种轻量级神经网络船舶水尺读数识别方法， 其特征在于在步骤 1)中， 所述将拍摄的水尺图像进 行数据增强， 先在手机上拍摄船舶吃水水尺图， 通过人工对 水尺以及水线制作标签； 在训练阶段， 对采集的水尺图像采用由随机采样、 模糊、 对比度调 整和旋转组成的数据增强方法进 行数据增强； 将图像输入结合特征通道激励模块的第一层 卷积层， 第一次提取的特征再输入结合特征通道激励模块的第二层卷积层卷积提取得到第 二层特征； 每个卷积层包括两个基础卷积模块， 每个基础卷积模块后连接特征通道激励模 块； 在第一层卷积层的每个基础卷积模块后， 加入一个全局平均池化， 再连接全连接层 ‑ ReLU激活函数层 ‑全连接层‑sigmoid函数层， 将通道特征压缩并激励， 各个通道得到0到1之 间的标量， 作为通道的权重， 然后经过扩展 特征尺寸为特征图大小， 并与 原来的卷积输出通 道的每个通道进行加权， 最终第一层卷积层得到第一层特征； 在第二层卷积层的每个基础 卷积模块后， 加入一个全局平均池化， 再连接全连接层 ‑ReLU激活函数层 ‑全连接层 ‑ sigmoid函数层， 将通道特征压缩并激励， 各个通道得到的0到1之间的标量， 作为通道的权 重， 然后经过扩展 特征尺寸为特征图大小， 并与原 来的卷积输出通道的每个通道进 行加权， 最终卷积层得到40 ×40×128的特征。权　利　要　求　书 1/3 页 2 CN 114972793 A 25.如权利要求3所述一种轻量级神经网络船舶水尺读数识别方法， 其特征在于在步骤 2)中， 所述水线分类单元将步骤1)中所得特征图输入2个卷积层(下采样)和一次压缩通道 得到单通道特征图， 依据特征图在每个预定义列上 的位置信息选择正确的水线位置， 将水 线表示为一系列预定义列上 的垂直位置； 首先将输出 的特征图按列划分， 然后在每一列上 细分出多个单元， 水线的检测描述为在预定义列上选择某些单元格， 单元格的中心位置视 作水线的位置， 进 而得到该图上列中的分类结果。 6.如权利要求3所述一种轻量级神经网络船舶水尺读数识别方法， 其特征在于在步骤 2)中， 所述水线分类单元将单通道特征图预测为Pi， 并用交叉熵代价函 数作为目标Ti的优化 公式， 交叉熵 代价函数的表达形式为： 式中， Pi， ：是一个h维的向量， 表示特征图中第i列中的h个单元格各自的概率； Pi， ：是列 上的one‑hot标签， 表示第i列真实水线位置所在的单 元格。 7.如权利要求3所述一种轻量级神经网络船舶水尺读数识别方法， 其特征在于在步骤 2)中， 所述水线分类单元在交叉熵基础上加入结构损失， 采用softmax函数得到单元格中不 同位置的概率， 乘以单元格位置表示带有空间约束的预测Loci， 以L1损失函数作为优化公 式， L1损失函数优化公式的表达形式为： 8.如权利要求3所述一种轻量级神经网络船舶水尺读数识别方法， 其特征在于在步骤 2)中， 所述刻度检测单元将步骤1)输出的特征进行三个分支卷积， 包括目标分支、 分类分 支、 回归分支： 所述目标分支将特征图进行3次卷积操作， 并得到代表目标类的向量， 其中整数刻度为 带有“M”的刻度， 小数刻度为不带有 “M”的刻度； 模型将背景记为0， 整数刻度记为1， 小数刻 度记为2； 以加权交叉熵损失函数作为优化公式， 表示 为Lcls1； 所述分类分支将特征图进行3次卷积操作， 并得到代表N个整数刻度类别得分的结果； 由上述目标中得到整数刻度的目标再进行分类， 对整数刻度目标进行交叉熵损失函数优 化， 表示为Lcls2； 所述回归分支将特征图进行3次卷积操作， 并得到每个点的四维回归向量， 代表每个点 与边界框的上、 左、 下和右的距离； 对整数刻度以及小数刻度边框进行回归， 以交并比损失 函数作为优化公式， 表示 为Lreg。 9.如权利要求3所述一种轻量级神经网络船舶水尺读数识别方法， 其特征在于在步骤 2)中， 所述 三个分支的损失函数表示 为： Ldm＝Lcls1(P1(x， y)， tx， y)+I1(x， y)·Lcls2(P2(x， y)， cx， y)+I2(x， y)·Lreg(P3(x， y)， dx， y) 每个位置的目标类别标签为t， 整数标记的类别标签为 位置的回归目标为4D向量d， P1(x， y)表示当前(x， y)的预测目标类别得分， P2(x， y)表示当前(x， y)被预测的整数标记类 别得分， P3(x， y)表示当前(x， y)的预测回归距离， I(x， y)是定义当前(x， y)是否满足需要计 算损失的特 征位置的符号 函数， 满足时为1， 不满足为0； 所述水线分类单元和刻度检测单元共享底层特征抽取部分， 再让两个单元各自学习高权　利　要　求　书 2/3 页 3 CN 114972793 A 3