(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210739093.4 (22)申请日 2022.06.12 (71)申请人 中国科学院重庆绿 色智能技 术研究 院 地址 400714 重庆市北碚区水土镇水土高 新园方正大道 266号 (72)发明人 陈琳　尚明生　龚赛君　 (51)Int.Cl. G06N 3/08(2006.01) G06N 3/04(2006.01) G06V 10/44(2022.01) G06V 10/48(2022.01) G06V 10/54(2022.01) G06V 10/82(2022.01) (54)发明名称 基于特征图响应的通道自适应分段动态网 络剪枝方法 (57)摘要 本发明为基于特征图响应的通道自适应分 段动态网络剪枝方法， 属于深度学习领域， 包含 以下步骤： S1： 搭建卷积神经网络； S2： 将其分段 为前端浅层网络和后端深层网络； S3： 在前端浅 层网络层 串联一个由霍夫变换和感知哈希算法； S4： 在后端深层网络层串联一个由灰度共生矩阵 和灰度直方图； S5： 利用数据集对卷积神经网络 训练； S6： 计算卷积通道的相似度； S7： 按照剪除 率和相似度剪除分支； S8： 重复步骤S5～S7， 分段 完成整个卷积神经网络的剪枝， 并应用。 本发明 能够根据重要度的高低来决定剪枝， 不会让数据 集中所有的图片强制性遵循同一个剪枝子网， 实 现了分段加速 推理和减 小运算成本的目的。 权利要求书2页 说明书6页 附图1页 CN 115049054 A 2022.09.13 CN 115049054 A 1.基于特 征图响应的通道自适应分段动态网络 剪枝方法， 其特 征在于， 包 含以下步骤： S1： 根据实际应用需要， 搭建n层的卷积神经网络； S2： 将该n层的卷积神经网络按照特征图尺度大小及网络抽象程度分为前端浅层网络 和后端深层网络这两个分段网络； 其中， 前m层为前端浅层网络， 主要是提取输入图像的轮 廓及纹理信息； 后n ‑m层为后端深层网络， 主 要提取输入图像的高层语义特性； S3： 在前端浅层网络层每一层的激活函数后与下一层卷积神经网络层之间， 串联一个 由霍夫变换和感知哈希算法串联构成的特 征图信息分布响应模型； S4： 在后端深层网络层每一层的激活函数后与下一层卷积神经网络层之间， 串联一个 由灰度共生矩阵和灰度直方图串联构成的特 征图信息分布响应模型； S5： 从输入层开始， 利用数据集， 按照前端浅层网络和后端深层网络的剪枝次序， 分别 对整个卷积神经网络开始训练； S6： 分别针对完成训练的分段网络， 根据每层特征图的信息分布模型输出计算卷积通 道的相似度； S7： 分别针对完成训练的分段网络， 按照设定的剪除率， 根据相似度依次序剪除步骤S6 中计算得到的相似度低的神经 元分支； S8： 重复步骤S5～S7， 分别完成整个卷积神经网络的剪枝， 并将剪枝后的卷积神经网络 应用到实际问题中。 2.根据权利要求1所述的基于特征图响应的通道自适应分段动态网络剪枝方法， 其特 征在于， 步骤S2所述的特征图尺度大小取决于采样操作； 所述的网络抽象程度取决于卷积 神经网络的节点数以及它们之 间的连接 关系； 具体的将卷积神经网络 分为前端浅层网络和 后端深层网络， 分段依据可以通过判断提取的卷积层所提取的特征信息是否为具体轮廓及 纹理信息还是抽象高层语义特性进行界定 。 3.根据权利要求1所述的基于特征图响应的通道自适应分段动态网络剪枝方法， 其特 征在于， 步骤S3和步骤S4所述的串联的特征图信息分布响应模型在剪枝完成后也需要移 除。 4.根据权利要求1所述的基于特征图响应的通道自适应分段动态网络剪枝方法， 其特 征在于， 步骤S 5所述的训练的终止条件为： 按照剪枝次序确定训练的分段网络， 通过比较迭 代训练中， 本轮该分段网络与下一轮该分段网络最后一层输出的特征图之 间差异性是否满 足设定阈值的要求 来决定本分段网络的训练是否结束。 5.根据权利要求1所述的基于特征图响应的通道自适应分段动态网络剪枝方法， 其特 征在于， 步骤S6所述的相似度的计算过程 为： S601： 根据每层特 征图的信息分布模型输出确定分布类型和分布参数； S602： 给下一层的每一个卷积核生成一个与S6 01相同分布和参数的灰度图； S603： 利用下一层的每一个卷积核对灰度图进行卷积运算， 分别得到每个卷积核对应 生成的新特 征图， 来表示该 卷积核在该分布下的特 征提取能力； S604： 对每个新特征图计算图像熵； 其中， 熵对应相似度， 熵越大， 相似度越高。 6.根据权利要求1所述的基于特征图响应的通道自适应分段动态网络剪枝方法， 其特 征在于， 步骤S2所述的前端浅层网络和 后端深层网络还可以根据输出的特征图缩放大小分 布的多尺度特征进一步分别再分段为若干个子网络， 每一个子网络为一个分段网络； 此时，权　利　要　求　书 1/2 页 2 CN 115049054 A 2对应的步骤S5～步骤S7中训练和剪枝过程需要从前端浅层网络和后端深层 网络的次序改 为从前端浅层网络逐子网络和后端深层网络逐子网络的次序。权　利　要　求　书 2/2 页 3 CN 115049054 A 3