(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210651273.7 (22)申请日 2022.06.10 (71)申请人 湖北微模式科技发展 有限公司 地址 430074 湖北省武汉市东湖开发区关 东科技工业园七号 地块 (72)发明人 张志坚　陈友斌　申意萍　徐一波　 (74)专利代理 机构 湖北高韬律师事务所 42 240 专利代理师 鄢志波 (51)Int.Cl. G06V 40/16(2022.01) G06V 40/10(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/20(2017.01) G06T 7/70(2017.01) G06T 7/11(2017.01) (54)发明名称 一种签字人身份识别的方法与系统 (57)摘要 一种签字人身份识别的方法与系统， 首先， 把可能执行签字动作的人的人脸图像注册到系 统中， 形成签字人的人脸库； 其次， 进行签字动作 检测， 获得视频中签字动作出现的起始时间和结 束时间； 再次， 在视频的签字动起止时间范围内 进行人脸检测； 然后， 把视频中签字动作的手与 视频中的人脸进行关联； 最后， 把关联的人脸与 签字人脸库进行人脸比对， 确定签字动作的执行 人的身份。 该方法具有高效准确的优点， 能够准 确的判断视频中签字者的身份。 对应的硬件系统 能完成对待稽核视频的采集存储， 同时完成对视 频的签字人身份识别并输出识别结果， 高效精 准。 权利要求书2页 说明书7页 附图1页 CN 114724230 A 2022.07.08 CN 114724230 A 1.一种签字人身份识别的方法， 其特 征在于： 包括以下步骤： 步骤1： 创建签字人的人脸数据库， 把具 备签字权限的所有人的人脸信息 录入数据库； 步骤2： 签字动作检测， 获取签字视频， 并对签字视频进行签字动作检测， 得到签字关联 信息， 所述签字关联信息包括签字动作发生的开始 时间点、 结束时间点以及该时间点内的 视频帧图像集 合， 获得视频帧图像集 合中每帧图像中签字的手的坐标位置信息； 步骤3： 人脸检测与跟踪， 对于步骤2中视频帧图像集合中图像帧进行逐帧或抽帧方式 的人脸检测， 获得检测到的人脸 坐标信息； 步骤4： 将视频中签字动作的手与视频中的人脸进行关联， 对步骤2中获得视频帧图像 集合的图像 帧进行出去背景部分的人体图像分割， 图像分割的每个区域为一个人 的人体， 所述人体至少包括人脸、 人手和躯干， 判断每个分割的人体区域中是否同时包含签字的手 和人脸， 如果同时包 含， 则把对应的签字的手和人脸关联进行关联 标记； 步骤5： 把关联标记的人脸与签字人脸库进行人脸比对， 确定签字动作的执行人身份信 息。 2.根据权利要求1所述的一种签字人身份识别的方法， 其特征在于： 所述步骤1具体是 指把具备签字权限的所有人的人脸图像录入数据库DB={Ima ge_i, i=0,1,2,3, …,M}。 3.根据权利要求1所述的一种签字人身份识别的方法， 其特征在于： 所述步骤2中， 签字 动作检测具体采用动作检测 算法检测人 的手部， 对检测到的手进行跟踪， 获取同一个手对 应的手部视频， 对获得的手的视频判断该视频中手部动作是否是签字动作， 若判断是签字 动作， 则获得该签字动作发生的开始时间点t_start和结束时间点t_final， 同时获得签字 过程中的每帧图像中签字的手的坐标位置信息 （hxi， hyi， hwi， hhi） ， i=0,1,2， ...， N。 4.根据权利要求3所述的一种签字人身份识别的方法， 其特征在于： 签字动作检测具体 采用yolov3算法检测人的手部； 具体采用slowfast算法对获得的手的视频判断手部动作否 是签字动作。 5.根据权利要求3所述的一种签字人身份识别的方法， 其特 征在于： 所述步骤3 中具体对t_start和t_final之间的视频帧Fi， i=0,1,2， ...， N进行人脸检测 与跟踪， 获得人脸每张图上的人脸坐标 （fxj i， fyj i， fwj i， fhj i） ， i=0,1,2， ...， N， j=0,1, 2， ...， Ki， Ki是指第i帧图像中的人脸数。 6.根据权利要求5所述的一种签字人身份识别的方法， 其特征在于： 所述步骤3中具体 采用yolov5s算法对t _start和t _final之间的视频帧进行人脸检测， 并采用KCF算法进行人 脸跟踪。 7.根据权利要求3所述的一种签字人身份识别的方法， 其特征在于： 所述步骤4具体是 对t_start和t_final之间的视频 帧Fi， i=0,1,2， ...， N采用yoloact算法进行实例分割， 把 图像中除背景之外的人体目标分割 出来， 并且可以区分 同一类别下 的不同个体， 由此把图 像分为Mi个区域AiMi， Mi为第i帧分割的区域数量， 即第i帧中包 含的人体数量。 8.根据权利要求1 ‑7任一所述的一种签字人身份识别的方法， 其特征在于： 所述步骤5 具体方法是： 设定Max_roi_h， 表示人体区域和检测到的签字的手的最大交并 并比， 初始化 为0； 设定Max_roi_f表示人体区域和人脸区域的最大交并比， 初始化 为0； 采用yoloact算法逐一遍历t_start和t_final中的每帧图像， 逐一遍历每帧图的每个权　利　要　求　书 1/2 页 2 CN 114724230 A 2分割区域AiMi； 计算AiMi和 （hxi， hyi， hwi， hhi） ， i=0,1,2， ...， N的交并比， 记为ro i_hand； 计算AiMi和 （fxj i， fyj i， fwj i， fhj i） ， i=0,1,2， ...， N， j=0,1,2， ...， Ki， 的最大交并比， 记 为roi_face， 把交并比最大的人脸标记为 （fxi， fyi， fwi， fhi） ； 如果当前帧的交并比更 大， 则跟新Max_ro i_h和Max_ro i_f。 9.根据权利要求8所述的一种签字人身份识别的方法， 其特征在于： 所述步骤5具体是 把最终关联的人脸M ax_roi_f跟人脸库DB={Image_i,  i=0,1,2,3, …,M}进行人脸比对， 确 定签字动作的执 行人身份信息 。 10.一种签字人身份识别的系统， 其特征在于： 包括录音录像设备、 处理器、 存储器和显 示设备， 所述存储器内预装有根据权利要求1 ‑9中任一项所述方法设计的签字人身份识别 程序， 所述录音录像设备采集到的视频储存在存储器， 所述处理器运行存储器内的签字人 身份识别程序完成对录音录像设备采集到的视频的签字人身份识别， 所述处理器通过显示 设备显示签字人身份识别程序运行界面和结果。权　利　要　求　书 2/2 页 3 CN 114724230 A 3