(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211258003.6 (22)申请日 2022.10.13 (71)申请人 中国矿业大 学 地址 221000 江苏省徐州市南郊翟山 (72)发明人 赵作鹏　郑天赐　郝凯　赵广明　 徐俊杰　刘笑枫　崔舒娅　周杰　 贺晨　 (74)专利代理 机构 深圳天融专利代理事务所 (普通合伙) 44628 专利代理师 程华 (51)Int.Cl. G06V 20/59(2022.01) G06V 20/52(2022.01) G06V 20/40(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06V 40/20(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种改进YOLO-PAI的实时接打电话行为检 测方法 (57)摘要 本发明公开了一种改进YOLO ‑PAI的实时接 打电话行为检测方法， 步骤如下： 从视频监控平 台截取照片制作数据集， 添加手和手机两个标签 类别， 手的标注辅助判断人是否存在接打电话行 为； 搭建新型卷积神经网络， 对于主干网络 CSPDarknet53进行剪枝， 在保证精度的同时减少 参数量。 利用使用k ‑means聚类算法获得的9 个锚 点解决小型目标检测问题， 更好的检测手机特征 信息。 增加第四个尺度的特征映射分支， 扩大检 测范围； 部署嵌入式设备， 使用TensorRT深度学 习推理框架。 通过提出的SRblock_body结构， 提 取图像特征， 构建更深层次网络改善网络结构， 提高分类和检测效果， 在保证检测精度的同时减 少模型大小和参数量， 更好的移植到嵌入式设备 中。 权利要求书2页 说明书6页 附图2页 CN 115439835 A 2022.12.06 CN 115439835 A 1.一种改进YOLO ‑PAI的实时接打电话行为检测方法， 其特 征在于： 包括以下步骤： 步骤S1、 通过监控平台获取的人员接打电话视频， 建立并标注Phonehand_Imgs数据集， 并划分训练集、 验证集和 测试集； 步骤S2、 使用目标检测模块和注意力机制模块搭建卷积神经网络， 网络最终输出为人 的手部、 手机和检测框位置信息； 步骤S3、 利用搭建的卷积神经网络对数据集图像进行训练， 对于步骤S1中的数据集图 像进行特征提取， 图像通过SRblock_body结构， 在对图像进行卷积的过程中不断融合浅层 的图像特 征； 步骤S4、 在卷积的过程 中， 使用SE通道注意力机制和CBAM空间注意力机制， 为不同的特 征分配不同的权 重， 使网络能够更有效地 提取关键特 征； 步骤S5、 增加第四个尺度的特征映射分支， 扩大检测范围， 丰富用于预测多尺度的特征 图。 步骤S6、 将接打电话检测模型转换为可以嵌入式部署的模型。 步骤S7、 将步骤S6中转换后的模型部署到监控终端设备中， 将终端设备摄像头拍摄的 视频流输入接打电话检测模型， 并输出检测结果。 2.如权利要求1所述的基于边缘对称填充和大感受野的路面病害检测方法， 其特征在 于： 步骤S1包括： 步骤S11、 Phonehand_Imgs数据集由视频监控设备采集， 提取数据集中人员手部和手机 两种标注信息； 步骤S12、 将Pho nehand_Imgs数据集按照8 :2的比例划分训练集和验证集； 步骤S13、 在训练阶段加载数据集时， 使用Mosaic数据增强方法提高数据鲁棒性、 利用 Label Smoothing平滑、 CIOU、 学习率余弦退火衰减提高实验效果， 以及水平和垂直翻转、 随 机旋转、 随机裁剪、 变形和缩放数据增强方式增加数据量较少的类型的样本量， 提高模型的 泛化能力。 3.如权利要求1所述的基于边缘对称填充和大感受野的路面病害检测方法， 其特征在 于： 步骤S2中所述卷积神经网络包括目标检测模块和注 意力机制模块， 其中， 目标检测模块 用于检测人的手部信息及手机位置信息， 注意力机制模块用于为不同的特征分配不同的权 重， 使网络能够更有效地 提取关键特 征。 4.如权利要求1所述的基于边缘对称填充和大感受野的路面病害检测方法， 其特征在 于： 步骤2所述YOLO ‑PAI神经网络搭建的具体步骤为： 步骤S21、 输入图像在保证纵横比的前提下被缩放到416 ×416像素， 并输入到 网络中提 取特征映射； 利用剪枝算法将原先的五个部分1、 2、 8、 8、 4(1 ‑2‑8‑8‑4)残块改进成1 ‑2‑8‑4‑ 4结构， 并将初始通道数设定为16； 步骤S22、 引入SE模块， 提出SRblock_body模块代替原先的CSPBlock模块,在SRblock_ body模块中， 将基于I nception结构体替换原来的3 ×3卷积核； 输入经过一层3 ×3卷积层， 降低特征图宽度和高度。 再进行分路操作， 一路操作进行一 层1×1的卷积视为残差边， 通道不降维， 减少原先进入残差块的特 征层数量； 另一路操作输入到n个Residual结构中， 先进行一层1 ×1的卷积层， 通道降维从原来的 32降到16， 随后使用3x1+1x3卷积来代 替3x3卷积， 空间分解卷积可以讲参数量减少一半， 从权　利　要　求　书 1/2 页 2 CN 115439835 A 2而减少参数量； 然后引入SE通道注意力机制模块， 为不同的特征分配不同的权重， 使网络能够更有效 地提取关键特 征； 然后把两路分支提取的特征图拼接在一起， 每经过一个RES ‑SEBlock通道数增加一倍， 这种新的残差结构建立了一个大的残差边； 步骤S23、 将CSPDarknet53中的浅层Mish激 活函数替换为Hard ‑swish函数， 而更深层网 络的后三层中的激活函数仍然使用Mish激活函数； 利用SPP模块融合不同尺度大小的特征 图， 并利用自顶向下的FPN特征金字塔与自底向上的PA N特征金字塔提升网络的特征提取能 力； 步骤S24、 使用k ‑means聚类算法获得9个锚点小型目标， 增加第四个尺度的特征映射分 支， 扩大检测范围， 丰富用于预测多尺度的特 征图。 5.如权利要求1所述的基于边缘对称填充和大感受野的路面病害检测方法， 其特征在 于： 步骤S6中的模型部署方法为将模型转换为TensorRT模型。权　利　要　求　书 2/2 页 3 CN 115439835 A 3