(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211553077.2 (22)申请日 2022.12.06 (71)申请人 南京华苏 科技有限公司 地址 211300 江苏省南京市高淳区淳溪街 道宝塔路258号苏宁雅居39幢10号 (72)发明人 李鹏博　陈晓芳　孟维　 (74)专利代理 机构 南京北辰联和知识产权代理 有限公司 323 50 专利代理师 陆中丹 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/52(2022.01) G06V 10/774(2022.01) (54)发明名称 基于目标检测时序跟踪并识别人员摔倒后 的危险性的方法 (57)摘要 本发明公开了一种基于目标检测时序跟踪 并识别人员摔倒后的危险性的方法， 步骤为： S1： 首先生成原始图像数据集， 并对原始图像数据集 进行数据增强， 获得增强数据集； S2： 采用增强数 据集训练目标检测模型获得摔倒检测模型， 采用 摔倒检测模 型检测选定区域内是否有人摔倒， 若 有， 则转至步骤S3； 若无， 则返回步骤S1； S3： 判断 并分析该摔倒的人员摔倒后的状态， 根据分析的 结果状态输出相应的危险性等级的告警信息。 该 基于目标检测时序跟踪并识别人员摔倒后的危 险性的方法， 显著地提高了告警信息的准确性和 效率， 减少摔倒的误报。 权利要求书3页 说明书9页 附图8页 CN 115546904 A 2022.12.30 CN 115546904 A 1.一种基于目标检测时序跟踪并识别人员摔倒后的危险性的方法， 其特征在于， 具体 包括以下步骤： S1： 首先生成原 始图像数据集， 并对原 始图像数据集进行 数据增强， 获得增强数据集； S2： 采用增强数据集训练目标检测模型获得摔倒检测模型， 采用摔倒检测模型检测选 定区域内是否有人摔倒， 若 有， 则转至步骤S3； 若无， 则返回步骤S1； S3： 判断并分析该摔倒的人员摔倒后的状态， 根据分析的结果状态输出相应的危险性 等级的告警信息 。 2.根据权利要求1所述的基于目标检测时序跟踪并识别人员摔倒后的危险性的方法， 其特征在于， 所述 步骤S1的具体步骤为： S11： 采集开放场景下的摔倒过程的数据作为正样本数据， 以及摔倒相似的状态作为负 样本数据， 生成原 始图像数据集； S12： 对原 始图像数据集依次进行两次增强处 理， 获得增强数据集； S13： 将增强数据集划分为训练集和 测试集。 3.根据权利要求2所述的基于目标检测时序跟踪并识别人员摔倒后的危险性的方法， 其特征在于， 所述步骤S11中通过视频抽帧的方式， 对视频进行抽帧处理， 生成相应的原始 图像数据， 即摔倒数据集； 所述步骤S12中对抽帧后的原始图像数据进行数据增强处理， 具 体步骤为： 首先使用Mosaic数据增强、 模糊、 裁剪、 旋转、 色亮度调整进行数据增强， 即进行 第一次预 处理， 其次再将经过第一次预处理后的图像使用目标遮挡技术对其进行第二次图 像预处理， 从而获得增强数据集。 4.根据权利要求2所述的基于目标检测时序跟踪并识别人员摔倒后的危险性的方法， 其特征在于， 在所述步骤S2中， 采用yolov5目标检测模型或SSD目标检测模型或Retinanet 目标检测模型， 使用训练集作为模型训练的输入， 训练获得摔倒检测模型。 5.根据权利要求4所述的基于目标检测时序跟踪并识别人员摔倒后的危险性的方法， 其特征在于， 所述步骤S2中采用摔倒检测模型检测选定区域内是否有人摔倒的具体步骤 为： 将采集到的数据的视频流接入训练好的摔倒检测模型进行摔倒检测， 当检测到人员摔 倒时， 即摔倒过程的第一帧开始 通过设置队列缓存， 以字典形式进 行保存， 获得以字典形式 的缓存结果。 6.根据权利要求5所述的基于目标检测时序跟踪并识别人员摔倒后的危险性的方法， 其特征在于， 所述步骤S2中获得以字典形式的缓存结果的具体步骤为： 设一个ID_Count对 应一个目标框的中心点坐标； 即保存目标物体检测框的中心点， 并赋予该中心点一个ID_ Count， 存放在全局变量c enter_point和fall_temp中， 其中c enter_point和fall_temp均为 字典类型的全局变量， fall_temp全局变量中的键为ID_Count， 值为累加值， center_point 全局变量中的键为ID_Count， 值为对应的中心点坐标； 所述ID_Count是一个计数器， 当检测 到新的目标对象时， 所述计数器将自动进行累加处理， 其中设置一个标志位， 记为same_ object_detected， 所述标志位用于判断是否是同一个目标对象的标志， 其初始值默认为 False； 当该标志位为True时， 表明检测到的目标对象为同一个目标， 当该标志位为False 时， 表明检测到的目标对象为新的目标对象， 并为该新的目标对象分配ID_Count； 即该ID_ Count自动累加一并存放在fal l_temp全局变量中， 从而获得以字典形式缓存的结果。 7.根据权利要求6所述的基于目标检测时序跟踪并识别人员摔倒后的危险性的方法，权　利　要　求　书 1/3 页 2 CN 115546904 A 2其特征在于， 所述步骤S2中若当前图像中通过摔倒检测模型检测到有人员摔倒时， 则 保存 检测结果； 即检测到人员摔倒的目标框， 将目标框的坐标 xmin、ymin、xmax、ymax放入一个队 列列表中保存， 并缓存设定帧数的结果， 计算出该目标框的中心点坐标； 计算公式为： ； 其中， 、 、 、 表示该目标框的两个顶点的坐标， 、 表示该目标框的中心点 坐标； 再将该目标框的前后帧目标框的中心点进行差值处理， 公式为 ， 其中A、 B分 别表示为 、 ； 若差值范围在 [0， 8]， 则表示目标框是同一个目标对象， 否则为 新的目标对象。 8.根据权利要求7所述的基于目标检测时序跟踪并识别人员摔倒后的危险性的方法， 其特征在于， 所述步骤S2中还包括对摔倒检测模 型进行C化即将摔倒检测模型转化为C++能 处理的模型， 具体步骤为： 首先将yolov5目标检测模型训练的摔倒模型文件由.pt文件转 为.torchscript文件， 获得C化后的摔倒检测模型； 再搭建libtorch环 境， 且需要安装相关C ++代码库； 再将python形式的逻辑推理转为C++语 言编写的逻辑推理； 最终将其部署 于边缘 计算盒子， 进行C化 算法运行。 9.根据权利要求8所述的基于目标检测时序跟踪并识别人员摔倒后的危险性的方法， 其特征在于， 所述 步骤S3的具体步骤为： S31判断人员摔倒后的状态： 根据步骤S2获得的以字典形式的缓存结果， 依次进行中心 点位移差值对比， 判断人员是否处理静止状态， 若摔倒后立即爬起， 则不推送告警信息， 并 结束判断； 若摔倒 后不爬起， 则转至步骤S32； S32告警提醒： 若该摔倒后处理静止状态的目标对象的ID_Count的值出现的累计次数 大于阈值一， 触发红色告警并发送一级紧急短信给相关人员， 如果非静止的ID_Count的值 累计出现次数 大于阈值 二， 触发黄色告警并发送二级紧急短信给相关人员。 10.根据权利要求9所述的基于目标检测时序跟踪 并识别人员摔倒后的危险性的方法， 其特征在于， 所述 步骤S31中判断人员是否处 理静止状态的具体步骤为： S311： 根据步骤S2中的差值处理公式计算前后两帧的中心点距离， 用变量distance表 示， 根据中心点距离distance判断目标对象在摔倒后是否处于 静止状态； 具体为： 若中心点 距离distance的值的范围在[ 0， 8]范围内， 则表 示目标框为同一个目标对象， 并进行第二次 判断； 若中心 点距离distance的值在[0， 1]范围内， 则表 示目标框的同一个目标对象并处于 静止状态； 若中心点距离distance的值在 （1， 8]范围内， 则表 示目标框的同一个目标对象并 处于非静止状态； S312： 当目标对象出现不超过75帧的漏检时， 该目标对象之前赋予的ID_Count并不会 立即清除， 将会保留设定的帧数阈值， 若后续匹配到新的检测结果， 且该新的检测结果与前 期保存的检测结果一致， 那么ID_Count则不变； 具体为： 利用一个计数空结果的flag， 即变 量null_count， 当摔倒检测 模型因为角度 或短暂遮挡未检测到人员摔倒时， 该flag进行空 结果累加计数， 如果空结果的累加值不超过设定的帧数阈值， 之前检测到的目标对象的ID_ Count结果则不会自动清空， 从而实现目标框的平 滑处理， 避免的目标框闪动的情况； S313： 若步骤S311中的中心点距离distance的值小于设定的静止阈值范围， 即 ， 则默认为该目标对象是处于静止状态的， 且静止状态的flag， 即变量static_权　利　要　求　书 2/3 页 3 CN 115546904 A 3