(19)中华 人民共和国 国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111576971.7 (22)申请日 2021.12.2 2 (65)同一申请的已公布的文献号 申请公布号 CN 113949592 A (43)申请公布日 2022.01.18 (73)专利权人 湖南大学 地址 410082 湖南省长 沙市岳麓区麓山 南 路1号 (72)发明人 卢继武　鲁玉峰　肖靖　吴迪　 刘敏　高兵　翟东媛　何敏　 (74)专利代理 机构 长沙麓创时代 专利代理事务 所(普通合伙) 43249 代理人 贾庆 (51)Int.Cl. H04L 9/40(2022.01)H04L 41/16(2022.01) (56)对比文件 CN 110458279 A,2019.1 1.15 CN 109376843 A,2019.02.2 2 WO 2020062284 A1,2020.04.02 CN 109086867 A,2018.12.25 WO 2021179587 A1,2021.09.16 审查员 龚力 (54)发明名称 一种基于FPGA的对抗 攻击防御系统及方法 (57)摘要 本发明公开了一种基于FPGA的对抗攻击防 御系统及方法， 基于FPGA 的对抗攻击防御平台， 构建基于 FPGA的异构流架构， 将PC端 算法在不影 响其防御效果的情况下移植到 FPGA上， 用于快速 正确识别原始样本以及对抗攻击产生的对抗样 本， 且功耗很低， 满足实际应用场景需求， 提高实 际应用场景安全性。 权利要求书2页 说明书6页 附图4页 CN 113949592 B 2022.03.22 CN 113949592 B 1.一种基于FPGA的对抗攻击防御系统， 其特征在于， 包括图像采集模块、 图像数据存储 模块以及FPGA防御模块； 所述图像采集模块用于获取图像数据， 并将图像数据转化为预设大小的输入特征图以 供FPGA防御模块分辨； 所述图像数据存 储模块用于存 储输入数据以及FPGA防御模块输出的图像处 理结果； 所述FPGA防御模块是基于FPGA的异构流架构， 包括第一滑动窗口单元、 矩阵向量相乘 单元、 批归一化和激活合并单元、 第二滑动窗口单元和特征参数比较单元， 用于加速具有防 御功能的CNN模型推断的过程， 识别未添加扰动的原始样本和添加扰动的对抗样本； 所述第 一滑动窗口单元用于将图像采集模块处理得到的输入特征图生成相应的输入特征矩阵； 所 述输入特征矩阵在矩阵向量相乘单元中完成输入 特征矩阵与FPGA中存储的权重矩阵相乘， 得到完整的输出特征矩阵； 所述批归一化和激活合并单元用于将矩阵向量相乘单元处理后 的输出特征矩阵进行归一化和激活处理得到输出特征参数， 同时起到减少计算量以及片上 缓存空间使用量的作用； 批归一化和激活合并单元 处理后得到的输出特征参数进入第二滑 动窗口单元并按照预设的池化窗口以及步长依次输出输入特征图的每个像素数据； 第二滑 动窗口单元输出的像素数据在特征参数比较单元按照像素数据所在通道进 行比较后， 输出 第二滑动窗口内的最大像素数据； 特征参数比较单元依次输出最大像素数据进入矩阵向量 相乘单元中， 矩阵向量相乘单 元最后输出图像 类别。 2.如权利要求1所述的一种基于FPGA的对抗攻击防御系统， 其特征在于， 所述第一滑动 窗口单元以像素为单位接收输入特征图参数， 然后按照输入特征矩阵的顺序依次输出特征 图参数。 3.如权利 要求1所述的一种基于FP GA的对抗攻击防御系统， 其特征在于， 所述基于FP GA 的异构流架构以流水线架构实现各模块， 基于FPGA的异构流架构的每一层设有独立的计算 引擎和独立缓存空间存 储对应层参数， 每一层通过 FPGA片上的数据流进行通信。 4.如权利 要求3所述的一种基于FP GA的对抗攻击防御系统， 其特征在于， 所述基于FP GA 的异构流架构通过计算 量分配各层所需要的逻辑资源， 使得每层的时序趋向一 致。 5.如权利要求1所述的一种基于FPGA的对抗攻击防御系统， 其特征在于， 所述矩阵向量 相乘单元由输入缓冲区、 PE单 元和输出缓冲区组成， 每 个PE单元都有若干个SIMD通道。 6.如权利 要求5所述的一种基于FPGA的对抗攻击防御系统， 其特征在于， 所述PE单元的 数据路径每次并行计算每个像素中若干个输入特征参数和与输入特征参数对应的权重参 数之间的乘累加操作， 然后使用累加寄存器依 次累加这些结果， 直至卷积窗口内的所有像 素数据都与对应权重完成乘累加操作后得到对应输出通道的特征图参数， 将得到的特征图 参数进行批归一 化和激活合并操作， 得到 输出特征参数。 7.如权利要求1所述的一种基于FPGA的对抗攻击防御系统， 其特征在于， 所述第一滑动 窗口单元和 第二滑动窗口单元中使用的缓存资源为BRAM， 数据位宽为输入特征图的像素位 宽， 深度为卷积核高度乘以输入特 征图宽度。 8.一种基于FPGA的对抗 攻击防御的方法， 其特 征在于， 包括以下步骤： S1： 通过摄 像头采集图像数据， 将图像数据转 化为预设大小以供 FPGA防御模块分辨； S2： 将图像数据储 存在外部存储器内； S3： 利用FPGA防御模块读取图像数据；权　利　要　求　书 1/2 页 2 CN 113949592 B 2S4： 图像数据依次经过FPGA防御模块中的第一滑动窗口单元、 矩阵向量相乘单元、 批归 一化和激活合并单元、 第二滑动窗口单元、 特征参数比较单元和矩阵向量相乘单元输出正 确的图像 类别； 所述第一滑动 窗口单元用于将图像采集模块处理得到的输入特征图生成相应的输入 特征矩阵； 所述输入特征矩阵在矩阵向量相乘单元中完成输入 特征矩阵与FPGA中存储的权 重矩阵相乘， 得到完整的输出特征矩阵； 所述批归一化和激活合并单元用于将矩阵向量相 乘单元处理后的输出特征矩阵进 行归一化和激活处理得到输出特征参数， 同时起到减少计 算量以及片上缓存空间使用量的作用； 批归一化和激活合并单元 处理后得到的输出特征参 数进入第二滑动窗口单元并按照预设的池化窗口以及步长依 次输出输入特征图的每个像 素数据； 第二滑动窗口单元输出的像素数据在特征参数比较单元按照像素数据所在通道进 行比较后， 输出第二滑动窗口内的最大像素数据； 特征参数比较单元依 次输出最大像素数 据进入矩阵向量相乘单 元中， 矩阵向量相乘单 元最后输出图像 类别。 9.如权利要求8所述的一种基于FPGA的对抗攻击防御系统的方法， 其特征在于， 所述 FPGA防御模块为PC端CNN模 型的映射； 所述CNN模 型为通过量化 感知训练获得的具有防御 功 能的CNN模型。权　利　要　求　书 2/2 页 3 CN 113949592 B 3