(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210927709.0 (22)申请日 2022.08.03 (71)申请人 苏州壹刻度文化传媒有限公司 地址 215000 江苏省苏州市苏州工业园区 唯新路60号启迪时尚科技城西区8幢 315室 (72)发明人 仓凯　沈庆庆　 (74)专利代理 机构 广州华智创益知识产权代理 有限公司 4 4568 专利代理师 赵姗姗 (51)Int.Cl. G06T 7/246(2017.01) G06V 40/16(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06F 16/23(2019.01) (54)发明名称 一种网络直 播用可追 踪人脸系统 (57)摘要 本发明公开了一种网络直播用可追踪人脸 系统， 属于人脸追踪技术领域， 包括影像采集模 块、 音频采集模块、 数据处理模块、 人脸追踪模 块、 追踪规则库、 更新分析模块、 管理平台、 数据 封装模块、 服务器以及用户端； 本发明通过级联 神经网络， 能够大幅提高对人脸追踪的准确性， 提高系统运行效率， 能够自行对追踪规则库进行 更新， 节省工作人员手动更新的时间， 简化操作 步骤， 提高工作人员工作效率， 同时能够更加直 观地将运行信息反馈给工作人员， 方便工作人员 进行数据分析。 权利要求书2页 说明书5页 附图1页 CN 115439502 A 2022.12.06 CN 115439502 A 1.一种网络直播用可追踪人脸系统， 其特征在于， 包括影像采集模块、 音频采集模块、 数据处理模块、 人脸追踪模块、 追踪规则库、 更新分析模块、 管理平台、 数据封装模块、 服务 器以及用户端； 其中， 所述影 像采集模块用于对外 部环境以及人物进行采集并处 理生成影 像数据； 所述音频采集模块用于对外 部环境音以及人声 进行采集并处 理生成音频 数据； 所述数据处 理模块用于 接收影像数据与音频 数据， 并对两组数据进行优化处 理； 所述人脸追踪模块用于接收处理后的影像数据， 并对影像数据中的人脸进行级联追 踪； 所述追踪规则库用于存 储人脸追踪规则数据； 所述更新分析模块用于对 追踪规则库进行进行调整更新； 所述管理平台用于接收更新分析模块反馈的调整数据， 并对追踪规则库进行手动更 新； 所述数据封装 模块用于将影 像数据与音频 数据进行信息 封装处理； 所述服务器用于对封装后的影像数据与音频数据进行缓存以及调度， 并通过流式协议 进行分发， 之后对缓存的数据进行 数据回收； 所述用户端用于对各直 播进行查看， 并依据用于操作信息进行选择播 放。 2.根据权利要求1所述的一种网络直播用可追踪人脸系统， 其特征在于， 所述数据处理 模块优化处 理具体步骤如下： 步骤一： 将各影像数据逐帧分割成多组图片数据， 依据各图片数据的显示比例来确定 分块数量， 并对各组图片数据进行分块处理， 同时对分块完成的图片数据通过低通滤波进 行模糊处 理； 步骤二： 将处理后的图片数据通过傅里叶正反变换进行滤波处理减少噪声， 再对处理 完成的各组图片数据中的每一个像素逐点进行阈值计算， 并对各组图片数据进行灰度处 理， 之后将各组图片数据进行 逐帧拼接还原回相对应的影 像数据； 步骤三： 将音频数据的左右声道分离， 分别保存左右声道数据， 之后对保存的左右声道 数据进行混音以及降噪处 理， 再对处 理后的视频 数据以及音频 数据进行编码处 理。 3.根据权利要求2所述的一种网络直播用可追踪人脸系统， 其特征在于， 所述人脸追踪 模块级联追踪具体步骤如下： 步骤(1)： 人脸追踪模块构建级联神经网络， 再从追踪规则库里提取人脸追踪规则数据 作为检测 规则， 之后将各组影像数据导入级联神经网络中， 并使用一级检测神经网络进行 目标检测， 依据多尺度训练策略对各组影像数据各帧图像相 应的尺寸生成 图片切块， 并将 不同尺度的图片切块 放缩到同样的大小； 步骤(2)： 对各组图片切块进行尺度归一化处理， 再对各组图片切块进行特征提取， 并 将提取出 的特征送入双向特征金字塔， 进行特征融合， 再将 融合输出结果进行分类回归以 输出检测框、 类别和分数； 步骤(3)： 对图片切块中人脸检测框信息进行收集， 并生成对应检测框坐标， 再对相关 图片切块进行扩大化剪裁， 二级检测神经网络接 收扩大化剪裁后生成的各组人脸图片， 并 通过RPN过 滤掉各组人脸图片中属于背景的简单负 样本； 步骤(4)： 挑选出可能含有人脸信息的区域进行分类和回归， 之后在五个语义信息有高权　利　要　求　书 1/2 页 2 CN 115439502 A 2有低的人脸图片的每一个点上生成不同大小的九个锚框并对这些锚框进 行分类和回归， 再 通过扩大化剪 裁对各组人脸图片中的人脸 位置进行检测。 4.根据权利要求3所述的一种网络直播用可追踪人脸系统， 其特征在于， 所述扩大化剪 裁具体计算公式如下： x1′＝max(x1 ‑|x2‑x1|*e,0)                 (1) x2′＝min(x2+|x2 ‑x1|*e,width)             (2) y1′＝max(y1 ‑|y2‑y1|*e,0)                  (3) y2′＝min(y2+|y2 ‑y1|*e,height)             (4) 其中， width,hei ght分别代表待检测图片切块的宽和高， 单位为像素， e代表扩大率， 且 e从0依次递增0.2到 0.8。 5.根据权利要求1所述的一种网络直播用可追踪人脸系统， 其特征在于， 所述更新分析 模块调整更新具体步骤如下： 第一步： 更新分析模块实时提取追踪规则库中存储的人脸追踪规则数据， 并将其中非 二进制的数据转换为二进制， 之后通过归一化处理将各组人脸追踪规则数据转换至规定区 间内， 再对处 理完成的人脸追踪规则数据进行 特征降维； 第二步： 之后构建更新网络模型， 之后更新网络模重复多次对处理完成的各组人脸追 踪规则数据进行精度验证， 同时对每组数据都进行一次预测， 并将预测结果最好的数据作 为最优参数输出， 并依据最优参数对各组数据进行标准化处理， 并通过更新网络模型采用 长期迭代法对各 人脸追踪规则数据进行实时优化； 第三步： 更新分析模块接收更新网络模型运行信息， 并通过焦点损 失函数对更新网络 模型运行损失值进行计算， 并判断该损失值是否满足系统默认或管理人员设定的期望值， 若不满足， 则对该更新网络模型进行准确率、 检出率以及误报率分析， 并生 成相对应的数据 图表反馈 至管理平台进行显示。 6.根据权利要求1所述的一种网络直播用可追踪人脸系统， 其特征在于， 所述服务器数 据回收具体步骤如下： P2： 服务器依据系统默认或管理人员设定的循环时间值定期对各组缓存数据进行回收 率计算， 同时下发回收指令， 服 务器内部数据回收单 元定期接收回收指令以及回收率数值； P3： 之后数据回收单元依据设定的循环时间值， 定期抽取服务器 内部缓存数据， 并按照 计算出的回收率对缓存数据进行回收， 再将回收信息反馈 至管理平台以供 管理人员查看。权　利　要　求　书 2/2 页 3 CN 115439502 A 3