(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210661000.0 (22)申请日 2022.06.13 (71)申请人 北京理工大 学 地址 100016 北京市海淀区中关村南大街5 号 (72)发明人 王崇文　马壮　 (74)专利代理 机构 北京和联顺知识产权代理有 限公司 1 1621 专利代理师 孙伟新 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/20(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于视频的健身运动分类与计数方法 (57)摘要 本发明专利公开了一种基于视频的健身运 动分类与计数方法， 具体涉及计算机视觉术领 域。 包括如下步骤： 采集实时的运动视频流， 利用 MPII数据集训练人体姿态估计MPE模型中， 得到 视频流的每一帧的人体骨骼点信息； 将人体骨骼 点信息处理为向量， 基于 KNN算法， 将向量输入到 训练好的分类模 型中， 得到每一帧所属的运动分 类结果； 将运动分类结果序列输入到计数算法 中， 通过绘制五种运动各自的计数曲线来完成计 数， 得到每种运动各自的计数结果。 采用本发明 技术方案解决了现有的健身运动与分类计数方 法无法实现可视化运动识别与计数的问题， 本方 案能够满足单人先后交替做多种运动的计数场 景， 便于中小学体育测试、 个人运动量自动化估 计等场景。 权利要求书1页 说明书4页 附图3页 CN 114998803 A 2022.09.02 CN 114998803 A 1.一种基于 视频的健身运动分类与计数 方法， 其特 征在于： 包括如下步骤： S1、 通过摄像头采集实时的运动 视频流， 利用MPII数据集训练人体姿态估计模型， 得到 视频流的每一帧的人体骨骼点信息， MPE轻量化人体姿态估计算法分为四个模块： Conv模 块、 Backbo ne模块、 Deco nv模块、 Output模块； S2、 将步骤S1中提取的人体骨骼点信息处理为向量， 基于KNN算法， 将人体骨骼点形成 的向量输入到训练好的分类模型中， 得到每一帧所属的运动分类结果； S3、 将步骤S2中每一帧所属的运动分类结果序列输入到计数算法中， 通过绘制五种运 动各自的计数曲线来完成计数， 得到每种运动各自的计数 结果。 2.根据权利要求1所述的一种基于视频的健身运动分类与计数方法， 其特征在于： 所述 Conv模块包含一个卷积层、 一个标准化层和一个激活函数， 用来提取输入帧图像的初步特 征。 3.根据权利要求1所述的一种基于视频的健身运动分类与计数方法， 其特征在于： 所述 Backbone模块为使用1x1的卷积代替MobileNetV3中注意力机制模块的全连接层， 将改进后 的MobileNetV3网络作为特 征提取网络， 从输入数据提取 特征。 4.根据权利要求1所述的一种基于视频的健身运动分类与计数方法， 其特征在于： 所述 Output模块 通过卷积操作将通道数变为16， 分别对应人体16个关节点的信息 。 5.根据权利要求1所述的一种基于视频的健身运动分类与计数方法， 其特征在于： 主干 网络进行初始化时， 导入MobileNetV3预训练的网络模 型参数， 主干网络共包含尺度不一的 Bottleneck结构共15个， 采用两个反卷积层 进行上采样来扩 大特征图的分辨率， 此外， 反卷 积部分还将分离的上采样过程和卷积操作进行融合， 最终使用一个卷积层将特征输出为 64x64x16， 16个通道分别对应16个关节点数据， 使用MPII数据集进行训练， 重复训练共140 轮。 6.根据权利要求1所述的一种基于视频的健身运动分类与计数方法， 其特征在于： 在训 练时， 对MPI I数据集进行图片大小的缩 减， 定制成为25 6x256的像素的图片大小。 7.根据权利要求1所述的一种基于视频的健身运动分类与计数方法， 其特征在于： 所述 KNN算法的输入参数为16个骨骼 点位置向量， 输出为单帧分类结果， 其中每种运动选取两种 阈值动作 作为该运动的标志分类结果。 8.根据权利要求1 ‑7中任一项所述的一种基于视频的健身运动分类与计数方法， 其特 征在于： 步骤S3的所述计数 方法包括如下步骤： 步骤一、 计数标准制定： 针对分类的五种运动， 每种运动选择一种标志性动作作为基 准， 通过标志性动作上 的分类置信度来制 定计数标准， 计数标准的进入条件和完成计数退 出的条件为标志动作的置信度阈值， 只有当分别达到进入阈值和退出阈值时， 计数才加1， 倘若由于动作不 规范， 只达 到了进入阈值， 而退 出阈值未达 到， 则此次动作不计数； 步骤二、 数据输入： 基于KNN模型得到的单帧分类结果， 将分类结果转化为每一个动作 选取的计数 标志动作的置信度， 用于 输入到五种运动对应的计数器中； 步骤三、 绘制曲线： 基于五种运动对应的计数器， 通过步骤二的数据输入来实时绘制标 志动作的置信度曲线， 从而完成五种运动的计数。权　利　要　求　书 1/1 页 2 CN 114998803 A 2一种基于视频的健身运动分类与计数方 法 技术领域 [0001]本发明涉及计算机视觉术领域， 特别涉及 一种基于视频的健身运动分类与计数方 法。 背景技术 [0002]人们在健身和做运动时， 往往需要量化运动量， 将运动量转化为数据， 能够助力全 民科学健身， 为全民健身提供科学指导。 在统计运动量时， 自动监控 执行运动并识别与 记录 重复次数要比手动跟踪更加高效与方便。 目前， 通过手环等传感器来实现运动类型识别并 进行计数的方法往往需要耗费大量的人力、 物力。 并且， 通过该类传感器进行运动识别与计 数又往往依赖于硬件条件， 存在可视化效果差、 计数不精准等问题， 此外， 该类传感器的方 法大多只能完成计数功能， 而无法进行运动识别。 [0003]例如： 中国专利(专利申请 号CN202111298269.9)公开了一种基于可穿戴设备的健 身动作计数方法， 该技术基于可穿戴设备来进行健身动作计数， 所使用可穿戴设备具有惯 性测量单元， 通过所述惯性测量单元获取六轴 数据并计算三个姿态角数据， 选取一个姿态 角,根据选取的姿态角的数据拟合正弦曲线， 完成单个动作周期的拟合后， 判断单个动作周 期内拟合的正弦曲线的特征参数是否 符合预设标准范围， 若 是， 则健身动作计数加1； 若否， 则健身动作计数不变。 该技术存在的缺点： 1.其是基于穿戴设备进 行的计数， 使用便利性较 差， 且穿戴设备往往昂贵； 2.实时性不佳， 可视化效果差， 计数精度 依赖于传感器的灵敏性， 导致计数精度不佳， 且无法进行实时的可视化显示。 [0004]又如： 中国专利(专利申请号CN201921540149.3)公开了一种健身用计数手套， 其 技术方案通过控制手套上的电路及三轴加速度传感器、 控制按钮组件、 显示屏、 指示灯、 蜂 鸣器等硬件设备完成健身计数。 该手套包括开关键、 计数/复位键、 菜单键、 上调键、 下调键， 该计数手套采用按扣结构， 方便安装与拆卸， 可以在使用各种不同重量规格哑铃的时候计 数， 还可以在使用健身器械的时候计数， 具有 “一器多用 ”的功能,使用三轴加速度传感器进 行检测， 其灵敏度高， 计数准确性高， 可计数的运动方向不受限制。 该技术存在的缺点： 1.只 能完成运动计数， 却无法识别是哪种运动。 2.一次只能对一种运动进 行计数， 对于一次做多 种运动的情景， 需要频繁按计数复位键， 使用便利性差。 3.手套价格昂贵， 且穿戴便利性不 佳。 [0005]综上所述， 目前健身运动与分类计数方法均未能实现对运动的识别， 无法从多个 维度来科 学合理为 健身提供对应的指导。 发明内容 [0006]本发明意在 提供一种基于视频的健身运动分类与计数方法， 解决了现有的健身运 动与分类 计数方法无法实现运动识别的问题。 [0007]为了达到上述目的， 本发明的技术方案如下： 一种基于视频的健身运动分类与计 数方法， 包括如下步骤：说　明　书 1/4 页 3 CN 114998803 A 3