(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211138132.1 (22)申请日 2022.09.19 (71)申请人 华侨大学 地址 362000 福建省泉州市城华北路269号 申请人 福建众益太阳能科技股份公司 (72)发明人 杜永兆　陈海信　傅玉青　柯钦怀　 陈光焱　 (74)专利代理 机构 泉州市文华专利代理有限公 司 35205 专利代理师 陈雪莹 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01)G06N 3/04(2006.01) (54)发明名称 基于深度学习的工业产品表面缺陷检测方 法 (57)摘要 本发明一种基于深度学习的工业产品表面 缺陷检测方法， 在工业流水线上拍摄， 采集得到 工业产品表面缺陷数据集； 使用优化后的YOLOX 深度学习网络模型构建工业产品表面缺陷检测 模型， 通过主干 特征提取网络CSPDarknet提取不 同尺度特征； 通过颈部网络对特征进行深度融合 特征提取， 增强不同尺度特征的表达； 通过基于 无锚框检测器的YOL OXHead作为检测头生成工业 产品表面缺陷检测模型； 训练网络模型； 载入权 值文件， 并使用网络模型对工业产品图像进行表 面缺陷检测， 生成预测结果并显示缺陷类型和缺 陷位置。 本发 明不仅提升了网络模 型对特征空间 位置信息和不规则分布的缺陷的捕获能力， 并且 在提升精度的同时降低模型的参数量， 使本发明 能够移植应用于移动端或 嵌入式设备。 权利要求书2页 说明书7页 附图6页 CN 115511812 A 2022.12.23 CN 115511812 A 1.一种基于深度学习的工业产品表面 缺陷检测方法， 其特 征在于包括如下步骤： 步骤S1、 在工业 流水线上拍摄， 采集工业产品表面的原 始图像； 步骤S2、 对工业产品表面的原始图像进行缺陷类别标注， 得到工业产品表面缺陷数据 集： 步骤S3、 以工业产品表面缺陷数据集中的缺陷图像作为输入， 并对输入图像进行数据 增强； 步骤S4、 使用优化后的YOLOX深度学习网络模型构 建工业产品表面缺陷检测模型， 所述 优化后的YOLOX深度学习网络模型包括Focus模块、 基础卷积模块、 可形变卷积模块、 CSPLayer层、 主体残差循环块结构、 坐标注意力机制模块、 YOLOXHead模块； 所述CSPLayer层， 通过大残差块嵌套小残差块对网络进行特征提取操作； 其 中， 大残差 块为1个1×1卷积核大小的基础卷积模块， 小残差块为 1个连续的1 ×1卷积核大小的基础卷 积模块和1个增强形变特征提取块； 该增强形变特征提取模块包括： 首先依次使用1个1 ×1 卷积核大小的基础卷积模块和3 ×3卷积核大小基础卷积模块进行特征提取， 其次， 依次使 用1个3×3卷积核大小的可形变卷积模块和1个3 ×3卷积核大小的基础卷积模块进行特征 提取， 再次， 使用1条残差边进行特征提取， 主干特征提取网络对小残差块进行循环的主要 特征提取操作， 循环结束后， 将小残差块与大残差块所提取 特征进行信息 叠加操作； 所述YOLOXHead模块， 使用基础 卷积模块对输入的特征层进行通道的处理， 然后进行切 分， 一边依次使用1对3 ×3卷积核大小的基础卷积模块对进 行特征提取以用于 分类任务， 另 一边引入增强形变特征卷积模块， 依次使用一个3 ×3卷积核大小的可形变卷积模块和1个3 ×3卷积核大小的基础卷积模块进行 特征提取， 通道调整后切分用于回归 任务和目标任务； 所构建的网络模型 执行如下步骤： 通过主干特 征提取网络 CSPDarknet提取不同尺度特 征； 通过颈部网络对特 征进行深度融合特 征提取， 增强不同尺度特 征的表达； 通过基于无锚框检测器的YOLOXHead作为检测头生成工业产品表面 缺陷检测模型； 步骤S5、 训练网络模型 将步骤S3得到的数据增强过的工业产品表面缺陷数据集划分为训练集、 测试集和验证 集， 使用划分后的数据集对网络模型进 行训练， 生成训练后的工业产品表面缺陷检测模型； 在工业产品表面缺陷检测模型训练过程中采用损失函数， 使用优化器对损失函数中的权值 进行更新， 直到训练结束， 保存训练完成后网络模型的权值文件； 步骤S6、 对训练后得到的权值文件进行载入， 并使用步骤S5训练好的网络模型对工业 产品图像进行表面 缺陷检测， 生成预测结果并显示 缺陷类型和缺陷位置 。 2.根据权利要求1所述的一种基于深度学习的工业产品表面缺陷检测方法， 其特征在 于： Focus模块， 用于对输入的缺陷图像进行切分操作， 图像 中每隔一个像素取得一个像素 值， 通过间隔采样的方式将图像拆分成四份特征层， 在通道维度上对这四份特征层进行堆 叠操作； 基础卷积模块， 包括卷积、 批量归一 化和激活函数； 可形变卷积模块， 包括可 形变卷积、 批量归一 化和激活函数； 主体残差循环块结构， 由一个3 ×3卷积核大小的基础卷积模块和CS PLayer层构成；权　利　要　求　书 1/2 页 2 CN 115511812 A 2坐标注意力机制模块， 通过对输入特征层进行残差处理， 拆分成对水平方向和垂直方 向的平均池化操作， 并对其进 行堆叠整合信息， 使用卷积操作对通道进 行变换， 再使用批量 归一化和非线性激活操作对特征层进行切分， 然后在水平方向和垂直方向进行通道的调 整， 分别使用sigmo id激活函数后整合信息 输出。 3.根据权利要求1或2所述任意一种基于深度 学习的工业产品表面缺陷检测方法， 其特 征在于所构建的网络模型 执行如下步骤： 通过Focus模块对输入图像进行切分， 切分成4个特征层之后在通道维度进行堆叠， 然 后使用1个3 ×3卷积核大小的基础卷积模块进行初步的特征提取， 所输出的结果首先进入 主体残差循环块1进行1次特征提取， 并将特征层的大小压缩， 得到56 ×56×128的特征层， 其次,进入主体残差循环块2进 行3次循环特征提取， 并将特征层的大小压缩， 得到28 ×28× 256的特征层P1， 再次,进入主体残差循环块3进行3次循环特征提取， 并将特征层的大小压 缩， 得到14 ×14×512的特征层P2， 最后,进入主体残差循环块4,进行1次特征提取， 在经过 基础卷积模块后， 先经过坐标注意力机制模块， 再进入CSPLayer层， 将特征层的大小压缩 后， 得到7 ×7×1024的特 征层P3， 至此， 完成了在主干特 征提取网络内的特 征提取； 然后， 通过将主干特征提取网络中提取到的特征层P3进行通道调整后进行上采样操 作， 再同主干特征提取网络中提取到的特征层P2进行堆叠操作， 并进行一次CSPLayer的特 征提取操作， 得到新特征层C2； 将特征层C2进行通道调整， 再同主干特征提取网络中提取到 的特征层P1进 行堆叠操作， 并进行一次CSPLayer的特征提取操作， 得到新特征层C3； 对 特征 层C3进行下采样操作， 并同特征层C2进行堆叠操作并进行一次CSPLayer的特征提取操作， 得到新特征层C4； 对特征层C4进行下采样操作， 并同特征层P3进行堆叠操作并进行一次 CSPLayer的特征提取操作， 得到新特征层C5， 至此， 完成了在颈部网络的深度融合特征提 取； 使用基础卷积模块对输入的特征层C3、 C4和C5分别进行通道的处理， 然后进行切分， 一 边依次使用1对3 ×3卷积核大小的基础卷积模块进 行特征提取后， 执行分类操作； 另一边使 用增强形变特征卷积模块， 依次使用一个3 ×3卷积核大小的可形变卷积模块和1个3 ×3卷 积核大小的基础卷积模块进行 特征提取后， 执 行回归操作和目标操作； 在工业产品表面 缺陷检测模型训练过程中采用的损失函数l oss为： Loss＝ λLreg+Lcls+Lobj 其中， Lreg表示回归损失， Lcls表示分类损失， Lobj表示目标损失， λ为权值， 使用优化器对 权值进行 更新， 直到训练结束， 保存训练完成后网络模型的权值文件。权　利　要　求　书 2/2 页 3 CN 115511812 A 3