(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211298585.0 (22)申请日 2022.10.24 (71)申请人 山东大学 地址 250061 山东省济南市历下区经十路 17923号 (72)发明人 刘成云　张玉娇　陈振学　曹佳倩　 孙露娜　钟昆儒　秦皓　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 于凤洋 (51)Int.Cl. G06T 3/40(2006.01) G06V 10/80(2022.01) G06V 20/40(2022.01) G06V 20/52(2022.01)G06V 40/16(2022.01) (54)发明名称 一种多尺度特征融合的人脸超分辨率重构 方法及系统 (57)摘要 本公开提供了一种多尺度特征融合的人脸 超分辨率重构方法及系统， 涉及计算机视觉技术 领域， 包括采集待检测的监控视频， 从所述监控 视频中提取行人的低分辨率人脸图像； 对所述低 分辨率人脸图像进行预处理； 对处理后的低分辨 率图像输入至多尺度特征融合人脸超分辨率重 构网络中提取不同尺度的特征图， 将所述特征图 通过由最大池化层组成的跳跃连接提取高频信 息后再进行特征通道的级 联融合； 将级联融合后 的图像进行超分辨率重建， 将其与通过双三次插 值上采样的输入图片逐像素相加输出最后的超 分辨率图像； 本公开将网络任务的重点集中在人 脸的五官 上， 使重建的五官 更加清晰明朗。 权利要求书2页 说明书6页 附图3页 CN 115358932 A 2022.11.18 CN 115358932 A 1.一种多尺度特 征融合的人脸超分辨 率重构方法， 其特 征在于， 包括： 采集待检测的监控视频， 从所述 监控视频中提取 行人的低分辨 率人脸图像； 对所述低分辨 率人脸图像进行 预处理； 对处理后的低分辨率图像输入至多尺度特征融合人脸超分辨率重构网络中提取不同 尺度的特征图， 将所述特征图通过由最大池化层组成的跳跃连接提取高频信息后再进 行特 征通道的级联融合； 将级联融合后的图像进行超分辨率重建， 将其与通过双三 次插值上采样的输入图片逐 像素相加输出最后的超分辨 率图像。 2.如权利要求1所述的一种 多尺度特征融合的人脸超分辨率重构方法， 其特征在于， 所 述预处理的过程包括首先将图像进行裁剪操作， 随后再随机旋转90 °， 180°， 270°和水平翻 转以进行 数据增强。 3.如权利要求1所述的一种 多尺度特征融合的人脸超分辨率重构方法， 其特征在于， 在 预处理时， 同一行人 的高低分辨率图像以相同名字命名， 分别存入高低分辨率图像训练集 中， 低分辨 率图像训练集输入多尺度特 征融合人脸超分辨 率重构网络中进行重构。 4.如权利要求1所述的一种 多尺度特征融合的人脸超分辨率重构方法， 其特征在于， 所 述多尺度特征融合人脸超分辨率重构网络由四个SRn模块以近似U ‑NET网络结构堆叠起来， 跳跃连接采用MP模块。 5.如权利要求1所述的一种 多尺度特征融合的人脸超分辨率重构方法， 其特征在于， 所 述对处理后的低分辨率图像输入至多尺度特征融合人脸超分辨率重构网络中提取不同尺 度的特征图， 将所述特征图通过由最大池化层组成的跳跃连接提取高频信息后再进行特征 通道的级联融合的过程为： 输入的低分辨率图像经过前三个SRn模块后得到不同尺寸的超 分辨率图像特征图， 再分别对其进行高频信息提取， 依次进行两两融合， 进入最后一个SRn 模块进行最后的超分辨率重 建， 并将其与通过双三次插值上采样的输入图片逐像素相加得 到最后的超分辨 率图像。 6.如权利要求5所述的一种 多尺度特征融合的人脸超分辨率重构方法， 其特征在于， 在 最后一个SRn模块中提取特征图三 维信息， 特征通道信息以及空间特征信息， 优化超分辨率 结果。 7.如权利要求4所述的一种 多尺度特征融合的人脸超分辨率重构方法， 其特征在于， 在 所述SRn模块中， 首先利用3 ×3卷积和Pixelshuffle串联结构将图像进行一个浅层特征提 取操作， 接着进入SRFBN中的卷积循环反馈模块， 进行特征提取与图像超分恢复， 使用了残 差结构， 连接卷积循环反馈模块的结构与经过注意力机制后的结果， 最后通过1 ×1卷积压 缩特征通道输出。 8.一种多尺度特 征融合的人脸超分辨 率重构系统， 其特 征在于， 包括： 图像采集模块， 用于采集待检测的监控视频， 从所述监控视频中提取行人的低分辨率 人脸图像； 图像处理模块， 用于对所述低分辨 率人脸图像进行 预处理； 图像特征提取模块， 用于对处理后的低分辨率图像输入至多尺度 特征融合人脸超分辨 率重构网络中提取不同尺度的特征图， 将所述特征图通过由最大池化层组成的跳跃连接提 取高频信息后再进行 特征通道的级联融合；权　利　要　求　书 1/2 页 2 CN 115358932 A 2图像重建模块， 用于将级联融合后的图像进行超分辨率重建， 将其与通过双三次插值 上采样的输入图片逐像素相加输出最后的超分辨 率图像。 9.一种计算机可读存储介质， 其特征在于， 其中存储有多条指令， 所述指令适于由终端 设备的处理器加载并执行权利要求 1‑7中任一项 所述的一种多尺度特征融合的人脸超分辨 率重构方法。 10.一种终端设备， 其特征在于， 包括处理器和计算机可读存储介质， 处理器用于实现 各指令； 计算机可读存储介质用于存储多条指令， 所述指令适于由处理器加载并执行如权 利要求1‑7中任一项所述的一种多尺度特 征融合的人脸超分辨 率重构方法。权　利　要　求　书 2/2 页 3 CN 115358932 A 3