(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210940140.1 (22)申请日 2022.08.05 (71)申请人 中国科学院计算 技术研究所 地址 100080 北京市海淀区中关村科 学院 南路6号 (72)发明人 胡杏　韩虎生　贺文凯　杜子东　 郭崎　 (74)专利代理 机构 北京律诚同业知识产权代理 有限公司 1 1006 专利代理师 祁建国　张燕华 (51)Int.Cl. G06F 21/55(2013.01) G06V 20/40(2022.01) G06V 20/56(2022.01) G06V 10/74(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 对抗补丁检测定位硬件架构及对抗补丁检 测定位方法 (57)摘要 本发明提出一种对抗补丁检测定位硬件架 构， 包括： 深度神经网络加速器， 用于输出视频帧 的浅层特征图， 以及输出对该视频帧和遮挡图像 进行识别的识别结果； 该遮挡图像为以掩膜窗口 对该视频帧进行遮挡后的图像； 掩膜窗口搜索单 元， 用于从该视频帧的浅层特征图中选取该掩膜 窗口； 投票逻辑单元， 用于对所有该遮挡图像的 识别结果进行投票， 并根据投票结果确定该视频 帧中对抗补丁的位置。 以及一种基于该对抗补丁 检测定位硬件架构的对抗补丁检测定位方法。 权利要求书2页 说明书8页 附图6页 CN 115422531 A 2022.12.02 CN 115422531 A 1.一种对抗补丁检测定位硬件架构， 其特 征在于， 包括： 深度神经网络加速器， 用于输出视频帧的浅层特征图， 以及输出对该视频帧和遮挡图 像进行识别的识别结果； 该遮挡图像为以掩膜窗口对该视频帧进行遮挡后的图像； 掩膜窗口搜索单 元， 用于从该视频帧的浅层特 征图中选取 该掩膜窗口； 投票逻辑单元， 用于对所有该遮挡图像的识别结果进行投票， 并根据投票结果确定该 视频帧中对抗补丁的位置 。 2.如权利要求1所述的对抗补丁检测定位硬件架构， 其特 征在于， 还 包括： 遮蔽神经 元缓存， 用于缓存 掩膜窗口 的填充边界区域的边界特 征； 对遮挡图像进行识别时， 将该遮挡图像对应的掩膜窗口和边界特征组合后输入至该深 度神经网络加速器进行识别， 并以获取到的识别结果 为该遮挡图像的识别结果； 其中， 通过该掩膜窗口搜索电路获取该填充边界区域， 通过该深度神经网络加速器获 取该边界特 征并缓存至该遮蔽神经 元缓存。 3.如权利要求1所述的对抗补丁检测定位硬件架构， 其特征在于， 该掩膜窗口搜索单元 选取该浅层特征图中激活值大于第一选取阈值的神经元为局部浅层重要神经元， 并以局部 浅层重要神经 元的聚集区域 为掩膜窗口。 4.如权利要求3所述的对抗补丁检测定位硬件架构， 其特征在于， 以该深度神经网络加 速器对该视频帧进行识别的第一层输出的特 征图为该浅层特 征图。 5.如权利要求4所述的对抗补丁检测定位硬件架构， 其特征在于， 该掩膜窗口搜索单元 获取该掩膜 窗口的过程中， 首先获取该浅层特征图中局部浅层重要神经元 的二值图； 对该 二值图进行滑 窗操作， 并对每个滑 窗窗口内的局部浅层重要神经元进行计数； 以局部浅层 重要神经 元数量大于第二选取阈值的滑窗 窗口为掩膜窗口。 6.如权利要求5所述的对抗补丁检测定位硬件架构， 其特征在于， 该掩膜窗口搜索单元 获取该掩膜窗口的过程中， 若两个以上掩膜窗口存在重叠且两两之 间的重叠面积均大于等 于第三选取阈值， 则仅保留该两个以上掩膜窗口中的任一个； 反 之则保留该多个掩膜窗口。 7.如权利要求6所述的对抗补丁检测定位硬件架构， 其特征在于， 若三个以上掩膜窗口 存在重叠且两两之 间的重叠面积大于等于第三选取阈值， 则仅保留该三个以上掩膜窗口中 处于中心位置的任一个。 8.如权利要求1所述的对抗补丁检测定位硬件架构， 其特征在于， 该投票逻辑单元使用 比较器阵列实现对遮挡图像的识别结果执行垄断者投票， 若存在某一识别结果与其他识别 结果相异， 且其他识别结果均相同， 则该视频帧存在 对抗补丁， 该识别结果对应的掩膜窗口 为该对抗补丁所在位置， 反 之则该关键 视频帧为 正常图像。 9.一种对抗补丁检测定位方法， 用于基于如权利要求1 ‑8任一项所述的对抗补丁检测 定位硬件架构进行对抗补丁的检测定位， 该对抗补丁检测定位方法包括： 掩膜窗口选取步骤， 通过深度神经网络加速器获取视频帧的浅层特征图； 通过掩膜窗 口搜索单 元在该浅层特 征图中选取 出至少一个掩膜窗口； 遮挡图像识别步骤， 以该深度神经网络加速器对遮挡图像进行识别， 获取该遮挡图像 的识别结果； 该遮挡图像为以该掩膜窗口对该视频帧进行遮挡后的图像； 对抗补丁检测步骤， 通过投票逻辑单元对所有该遮挡图像的识别结果进行投票， 并根 据投票结果确定该视频帧中对抗补丁的位置 。权　利　要　求　书 1/2 页 2 CN 115422531 A 210.如权利要求9所述的对抗补丁检测定位方法， 其特征在于， 该掩膜窗口选取步骤还 包括： 通过该掩膜 窗口搜索单元在该浅层特征图中选取出该掩膜 窗口的填充边界区域； 以 该深度神经网络加速器对该视频帧进行识别， 获取该填充边界区域的边界特征， 并将该边 界特征缓存至遮蔽神经 元缓存； 该遮挡图像识别步骤具体包括： 对遮挡图像进行识别时， 将该遮挡图像对应的掩膜窗 口和边界特 征组合到一 起输入至该深度神经网络加速器， 以获取 该遮挡图像的识别结果。权　利　要　求　书 2/2 页 3 CN 115422531 A 3