(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210651980.6 (22)申请日 2022.06.10 (65)同一申请的已公布的文献号 申请公布号 CN 114723965 A (43)申请公布日 2022.07.08 (73)专利权人 武汉古奥基因科技有限公司 地址 430070 湖北省武汉市洪山区珞狮路 122号理工大 学孵化楼B座15 01 (72)发明人 肖世俊　刘唯真　李东野　袁晓辉　 杨哲　 (74)专利代理 机构 沈阳东大知识产权代理有限 公司 21109 专利代理师 李珉 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06T 7/73(2017.01) (56)对比文件 CN 111696150 A,2020.09.2 2 CN 112347861 A,2021.02.09 CN 111862048 A,2020.10.3 0 CN 114241031 A,202 2.03.25 US 11074711 B1,2021.07.27 CN 112669348 A,2021.04.16 Wentao L iu et al. .A Cascaded Inception of Inception Network with Attention Modulated F eature Fusi on for Human Pose Estimati on. 《The Thirty-Seco nd AAAI Conference o n Artificial Intelligence》 .2018, 周波.基于深度学习的人体行为识别方法研 究. 《中国优秀博硕士学位 论文全文数据库(硕 士)信息科技 辑》 .2021, 审查员 刘婉莹 (54)发明名称 一种鱼类关键点表型 数据测量方法 (57)摘要 本发明提供一种鱼类关键点表型数据测量 方法， 涉及标识解析技术领域。 该方法首先拍摄 多张鱼类的侧视图图像和俯视图图像， 并获取侧 视图图像以及俯视图图像的标尺比例参数； 并利 用标注软件 标注俯视图及侧视图图像的关键点； 通过标注了关键点的俯视图及侧视图图像训练 AIOI‑CNet网络模型， 利用已经训练好的AIOI ‑ CNet网络模型， 对俯视图下自定义的多个关键点 及侧视图下自定义的多个关键点进行检测， 得到 各关键点坐标； 根据AIOI ‑CNet网络模型检测得 到的侧视图以及俯视图上关键点坐标， 结合侧视 图以及俯视图相机参数比例获取侧视图和俯视 图上鱼体的表型数据。 该方法解决了现有模型检 测关键点出现空间信息丢失、 训练时间长， 鲁棒性不强等问题， 提高整体关键点检测精度。 权利要求书2页 说明书10页 附图5页 CN 114723965 B 2022.09.09 CN 114723965 B 1.一种鱼类关键点表型 数据测量方法， 其特 征在于： 包括以下步骤： 步骤1、 拍摄多 张鱼类的侧视图图像和俯视图图像， 获取侧视图图像以及俯视图图像的 标尺比例参数； 步骤2、 利用标注软件标注俯视图及侧视图 图像的关键点， 并存 储为*.csv格式文件； 步骤3、 通过标注了关键点的俯视图及侧视图图像训练AIOI ‑CNet网络模型， 利用已经 训练好的AIOI ‑CNet网络模型， 对俯视图下自定义的多个关键点及侧视图下自定义的多个 关键点进行检测， 得到各关键点 坐标； 步骤4、 根据AIOI ‑CNet网络模型检测得到的侧视图以及俯视图上关键点坐标， 结合侧 视图以及俯视图相机参数比例获取侧视图图像上鱼体的表型数据和俯视图图像上鱼体的 表型数据； 步骤2所述AIOI ‑CNet网络模型的主干提取网络设计为ResNet50； 分类和回归网络设计 成一种基于多阶段迭代的关键点检测结构， 包括特征提取模块和关键点解码模块； AIOI ‑ CNet网络的损失函数采用Focal  loss和目标中心的偏置损失Loff， 两者计算出的损失值 loss占总体损失值 loss的占比都是0.5； 输入图像Image经过主干提取网络ResNet50和特征提取模块得到包含输入图像语义信 息和空间信息的特征图； 特征图通过关键点解码模块， 得到关键点的位置坐标； 所述关键点 解码模块包括上下两个 分支结构， 其中， 上分支结构用于预测得到 关键点的位置坐标， 下分 支结构用于预测得到关键点的位移补偿量； 再将关键点的位置坐标和关键点的位移补偿量 两者结合得到最终的关键点 坐标并可视化在图像上。 2.根据权利要求1所述的一种鱼类关键点表型数据测量方法， 其特征在于： 所述输入图 像Image经过主干提取网络ResNet50和特征提取模块得到包含输入图像语义信息和空间信 息的特征图的具体方法为： [1]输入的图像Image经过resize大小变为3xwxh， 其中， w和h分别为图像的宽和高， 图 像经过主干提取网络ResNet 50进行特征提取， 生成一个维度为2 048x(w/32)x(h/32)的高维 特征图V0； [2]利用256个3x3的卷积核对高维特征图V0进行卷积， 经过归一化BN， relu激活函数处 理， 然后再通过3x3的步长为2的反卷积生成一个维度为25 6x(w/16)x(h /16)的特 征图V1； [3]特征图V1经过BN归一化， relu激活函数处理， 利用128个3x3的卷积核对高维特征图 V1进行卷积， 再经过BN归一化， relu激活函数处理后， 通过3x3的步长为2反卷积生 成一个维 度为128x(w/8)x(h /8)的特征图V2； [4]特征图V2经过BN归一化， relu激活函数处理， 利用64个3x3的卷积核对高维特征图 V2进行卷积， 再经过归一化BN， relu激活函数处理后， 通过3x3的步长为2的反卷积生 成一个 维度为64x(w/4)x(h /4)特征图V3。 3.根据权利要求2所述的一种鱼类关键点表型数据测量方法， 其特征在于： 所述上分支 结构预测得到关键点的位置坐标的具体方法为： (1)特征图V3通过64个3x3卷积， relu激 活函数， 利用numclass个1x 1卷积得到numclass 个大小为(w/4)x(h /4)的热力图heatmap； (2)基于AIOI 块对numclas s个热力图heatmap进行训练， 得到关键点分类模型； 在numclass个热力图heatmap中， 自动取一张热力图heatmap设计成一个初始阶段的权　利　要　求　书 1/2 页 2 CN 114723965 B 2AIOI块， 利用A IOI块传递关键点之间的位置空间信息， 间接提高网络模 型的整体精度； 根据 关键点之间不同的纹理特征和形状特征， 将关键点分为 “先验关键点 ”和“后验关键点 ”， 利 用“先验关键点 ”和“后验关键点 ”之间的关联信息和空间位置信息， 根据前一张热力图 heatmap辅助预测后一张热力图heatmap， 此过程进行循环迭代， 直至达到设定的训练次数， 最终得到一个最优参数的分类模型文件； 所述“先验关键点 ”为在AIOI ‑CNet网络结构中置信度分数高于设定阈值的关键点； 所述“后验关键点 ”为在AIOI ‑CNet网络结构中置信度分数低于设定阈值的关键点； (3)将训练后的numclass个热力图heatmap经过非极大抑制处理得到关键点的位置坐 标。 4.根据权利要求3所述的一种鱼类关键点表型数据测量方法， 其特征在于： 所述下分支 结构得到关键点的位移补偿量的具体方法为： 通过64个3x3卷积， relu激 活函数， 利用2个1x 1卷积得到2个大小为(w/4)x(h/4)的偏移 量Offset特征图； 2 个偏移量 Offset特征图组成的维度为2x(w/4)x(h/4)； 2 个偏移量 Offset 分别是关键点横纵坐标偏移量， 即 关键点的位移补偿量； 测试阶段， 选择热力图中的最大激活点位置{xmax,ymax}， 并同时选择offset特征图的最 大激活位置的值{foffset[x](xmax,ymax),foffset[y](xmax,ymax)}， foffset[x](xmax,ymax)是关键点横 坐标偏移量， foffset[y](xmax,ymax)是关键点纵坐标偏移量。 5.根据权利要求1所述的一种鱼类关键点表型数据测量方法， 其特征在于： 步骤4所述 俯视图相机参数比例， 如下公式所示： 其中， camera_p aram1为俯视图相机参数比例， True_length为纺锤型鱼类体长真实长 度值， ypixel1为俯视图下的AIOI ‑CNet网络模型 预测的个 体鱼体长像素距离； 侧视图相机参数比例如下公式所示： 其中， camera_param2为侧视图相机参数比例， ypixel2为侧视图下的AIOI ‑CNet网络模型 预测的个 体鱼体长像素距离 。 6.根据权利要求1所述的一种鱼类关键点表型数据测量方法， 其特征在于： 所述方法还 根据侧视图图像上鱼体的体长A'H'来验证俯视图图像上鱼体的体长AH， 利用侧视图方向和 俯视图方向两个方向的数据比例映射关系，