(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211134978.8 (22)申请日 2022.09.19 (71)申请人 深圳零动医疗科技有限公司 地址 518000 广东省深圳市宝安区新 安街 道兴东社区69区洪浪北二路30号信义 领御研发中心1栋1901 (72)发明人 许真达　胡嘉豪　 (74)专利代理 机构 成都虹盛汇泉专利代理有限 公司 51268 专利代理师 周永宏 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06T 7/62(2017.01) G06T 5/00(2006.01)G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于2D RGB图像的脊柱侧弯筛查方法 (57)摘要 本发明公开了一种基于2D  RGB图像的脊柱 侧弯筛查方法， 包括以下步骤： S1、 获取人体背部 的2D RGB图像； S2、 利用RV M人体分割模型分割出 人体； S3、 使用Yolo  V5背部检测模型得到 人体背 部图像； S4、 使用SEResNet进行关键点识别； S5、 通过关键点形成四区域； 拟合出脊柱线， 计算拟 合的脊椎线与正常脊柱线之间的最大偏移距离； 两个内肩点中点与尾椎点之间的连线将每个区 域分成左右两个子区域， 计算两个子区域的面积 差并归一化， 作为左右区域之间的对比度； S6、 将 对比度和最大偏移距离输入鉴别器网络， 鉴别器 输出背部类型。 本发明利用背部关键点关于脊柱 的对称性来确定脊柱的大致形状； 通过深度神经 网络来学习正常姿态与脊柱侧弯之间的区别， 能 够保证鉴别器网络的准确性。 权利要求书1页 说明书4页 附图2页 CN 115526845 A 2022.12.27 CN 115526845 A 1.基于2D  RGB图像的脊柱侧弯筛查方法， 其特 征在于， 包括以下步骤： S1、 从网络设备中获取 人体背部的2D  RGB图像， 并对图像进行去噪处 理； S2、 利用RVM人体分割模型从图像中分割出 人体； S3、 使用Yo lo V5背部检测模型 得到人体背部图像； S4、 对于背部图像， 使用SEResNet进行背部关键点识别， 找出人体背部图像 的9处关键 点， 分别为两个内肩点、 两个外肩点、 两个腋窝 点、 两个腰点以及尾椎点； S5、 对SEResNet识别出的关键点进行如下处理： 两个內肩点与两个外肩点连线形成第 一区域， 两个外肩点与两个腋窝点连线形成第二区域， 两个腋窝点与两个腰点连线形成第 三区域， 两个腰点与尾椎点连线 形成第四区域； 两个内肩点、 两个外肩点、 两个腋窝点、 两个 腰点理论上关于脊柱对称， 因此将两个内肩点、 两个外肩点、 两个腋窝点、 两个腰点的中间 点作为拟合 脊柱上的位置点， 然后结合尾椎点， 得到五个拟合 点； 利用五个拟合点， 通过多次拉格朗日插值法， 利用二 次曲线拟合出脊柱线； 计算拟合出 的脊椎线与正常脊柱线之间的最大偏移 距离； 两个内肩点中点与尾椎点之间的连线将每个区域分成左右两个子区域， 分别计算同一 个区域里面两个子区域的面积， 并计算两个子区域的面积 差； 再将面积差进行归一化处理， 作为背部左右区域之间的对比度； 归一化方法为： 将左右区域面积相减， 取绝对值， 然后除 以两区域相加的面积； S6、 将对比度和最大偏移距离输入鉴别器网络， 鉴别器输出背部类型： 0代表状态正常、 1代表其他姿态异常， 2代表脊柱侧弯。 2.根据权利 要求1所述的基于2D  RGB图像的脊柱侧弯筛查方法， 其特征在于， 所述步骤 S4中， SEResNet的训练过程如下： S41、 对原 始图片进行 人工标注， 标注出关键点； S42、 对原 始图片利用SEResNet提取 特征图， 得到SEResNet 识别出的关键点； S43、 将特 征图输入3层反卷积网络， 得到与真实图像大小相同的特 征图； S44、 通过人工标注的关键点的真实位置以及2D高斯方法来生成9个关键点的真实位置 特征图； S45、 计算人工标注的关键点和SEResNet 识别出的关键点之间的损失函数： 其中y和 分别是真实位置特征图和SEResNet提取的特征图上的像素值； ω、 θ、 κ和β 是 超参数， A是权 重矩阵， C是偏移量； 利用损失函数进行反向传播， 训练达 到100次后停止训练， 得到最终的SEResNet模型。权　利　要　求　书 1/1 页 2 CN 115526845 A 2基于2D RGB图像的脊柱侧弯筛查方 法 技术领域 [0001]本发明属于图像处理技术领域， 特别涉及一种基于2D  RGB图像的脊柱侧弯筛查方 法。 背景技术 [0002]脊柱侧弯是一种3D脊柱肌肉骨骼疾病， 极大地影响了患者的健康。 据悉， 全球 0.47‑5.20％的人患有脊柱侧弯， 且 大多数脊柱侧弯的病因尚不清楚。 青少年特发性脊柱侧 凸(AIS)在医学 上定义为脊柱Cobb角有超过10度的变形。 [0003]传统的X射线检测方法有很多缺点。 例如， 为了跟踪病情， 多次对患者进行X光照 射， 会对患者的身体造成伤害， 增加 患者患恶性肿瘤的概率。 此外， 拍摄X光的设备非常难以 部署， 这使得患者检测非常麻烦和昂贵。 [0004]近年来， 有学者提出了依据2D图来判断脊柱情况的方法来减少患者暴 露于辐射的 次数。 与射线检测或CAT扫描等传统方法相比， 它 能够实现快速数据捕获并能很快得出结 果。 该方法通过拍摄与计算机视觉技术处理背部身体表 面的图像， 最 终对患者进 行Lenke 1 型和其他类型进行分类。 但是这种方法对输入数据的要求很高， 拍摄区域必须只有患者的 背面区域， 而且不能有很多噪声。 同时这种方法的检测精度也很低。 [0005]最近的发展表明， 深度卷积神经网络已经实现了最先进的性能。 基于深度学习的 人体姿态估计算法包括自下而 上和自上而 下的方法。 自下而 上的方法首先检测每个人的关 节关键点， 然后使用图结构、 条件随机场等算法对每个人的姿势进 行分组。 它的缺点是很难 将关键点关联起来形成一个人， 并且受遮挡影响很大。 自上而下 的方法首先检测整个人 的 存在， 然后具体找到每 个节点的位置 。 发明内容 [0006]本发明的目的在于克服现有技术的不足， 提供一种通过图像预处理来极大的降低 了环境噪音的影响， 同时利用背部 关键点关于脊柱的对称性， 来确定脊柱的大致形状； 通过 深度神经网络来学习正常姿态与脊柱侧弯之间的区别， 能够保证鉴别器网络的准确性的基 于2D RGB图像的脊柱侧弯筛查方法。 [0007]本发明的目的是通过以下技术方案来实现的： 基于2D  RGB图像的脊柱侧弯筛查方 法， 包括以下步骤： [0008]S1、 从网络设备中获取 人体背部的2D  RGB图像， 并对图像进行去噪处 理； [0009]S2、 利用RVM人体分割模型从图像中分割出 人体； [0010]S3、 使用Yo lo V5背部检测模型 得到人体背部图像； [0011]S4、 对于背部图像， 使用SEResNet进行背部关键点识别， 找出人体背部图像的9处 关键点， 分别为两个内肩点、 两个外肩点、 两个腋窝 点、 两个腰点以及尾椎点； [0012]S5、 对SEResNet识别出的关键点进行如下处理： 两个內肩点与两个外肩点连线形 成第一区域， 两个外肩点与两个腋窝点连线形成第二区域， 两个腋窝点与两个腰点连线形说　明　书 1/4 页 3 CN 115526845 A 3