(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210940143.5 (22)申请日 2022.08.05 (71)申请人 中国科学院计算 技术研究所 地址 100080 北京市海淀区中关村科 学院 南路6号 (72)发明人 胡杏　韩虎生　贺文凯　杜子东　 郭崎　 (74)专利代理 机构 北京律诚同业知识产权代理 有限公司 1 1006 专利代理师 祁建国　张燕华 (51)Int.Cl. G06F 21/55(2013.01) G06V 20/56(2022.01) G06V 10/82(2022.01) G06V 10/74(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于局部浅层重要神经元的对抗补丁检测 定位方法及系统 (57)摘要 本发明提出一种基于局部浅层重要神经元 的对抗补丁检测定位方法， 包括： 获取视频帧的 浅层特征图， 从该浅层特征图中选取多个候选窗 口， 当任一候选窗口中LISF的个数超过筛选阈值 时， 以该候选窗口为重要窗口； 以每个该重要窗 口为掩膜遮挡该视频帧， 并执行图像检测， 得到 对应每个该重要窗口的掩膜检测结果； 对所有该 掩膜检测结果执行垄断者投票， 若存在某一掩膜 检测结果与其他掩膜检测结果相异， 且其他掩膜 检测结果均相同， 则该视频帧存在对抗补丁， 该 掩膜检测结果对应的重要窗口为该对抗补丁所 在位置， 反之则该视频帧为正常图像。 本发明还 提出一种基于局部重要浅层神经元的对抗补丁 检测定位系统， 以及一种用于对抗补丁检测定位 的数据处 理装置。 权利要求书2页 说明书8页 附图6页 CN 115422532 A 2022.12.02 CN 115422532 A 1.一种基于局部 浅层重要神经 元的对抗补丁检测定位方法， 其特 征在于， 包括： 获取视频帧的浅层特征图， 从该浅层特征图中选取多个候选窗口， 当任一候选窗口中 局部浅层重要神经 元的个数超过筛 选阈值时， 以该候选窗口为重要窗口； 以每个该重要窗口为掩膜遮挡该视频帧， 并执行图像检测， 得到对应每个该重要窗口 的掩膜检测结果； 对所有该掩膜检测结果执行垄断者投票， 若存在某一掩膜检测结果与其他掩膜检测结 果相异， 且其他掩膜检测结果均相同， 则该视频帧存在 对抗补丁， 该掩膜检测结果对应的重 要窗口为该对抗补丁所在位置， 反 之则该视频帧为 正常图像。 2.如权利要求1所述的对抗补丁检测定位方法， 其特征在于， 将该视频帧图像经过视频 检测神经网络的第一层得到该浅层特 征图。 3.如权利要求1所述的对抗补丁检测定位方法， 其特征在于， 通过滑窗方式从该浅层特 征图中选取多个候选窗口； 该滑窗的尺寸为预测该视频帧图像存在的对抗补丁的最大尺 寸， 该滑窗的滑动步幅为1像素； 当多个重要窗口相互之间有所重叠时， 保留该多个重要窗口中处于 中心位置的重要窗 口。 4.如权利要求1所述的对抗补丁检测定位方法， 其特征在于， 若该浅层特征图中仅得到 一个候选窗口， 则以该候选窗口为掩膜遮挡该视频帧， 并执行图像检测， 得到该候选窗口的 掩膜检测结果； 获取该视频帧执行图像检测的原始检测结果， 若该掩膜检测结果与该原始 检测结果相异， 则该视频帧存在 对抗补丁， 该候选窗口为该对抗补丁所在位置， 反之则该视 频帧为正常图像。 5.一种基于局部 浅层重要神经 元的对抗补丁检测定位系统， 其特 征在于， 包括： 掩膜选取模块， 用于获取作为掩膜 的重要窗口； 其中， 获取视频帧的浅层特征图， 从该 浅层特征图中选取多个候选窗口； 当任一候选窗口中局部浅层重要神经元的个数超过筛选 阈值时， 以该候选窗口为该重要窗口； 结果获取模块， 用于以每个该重要窗口为掩膜遮挡该视频帧， 并执行图像检测， 得到对 应每个该重要窗口 的掩膜检测结果； 检测定位模块， 用于对所有该掩膜检测结果执行垄断者投票， 若存在某一掩膜检测结 果与其他掩膜检测结果相异， 且其他掩膜检测结果均相同， 则该视频帧存在 对抗补丁， 该掩 膜检测结果对应的重要窗口为该对抗补丁所在位置， 反 之则该视频帧为 正常图像。 6.如权利要求5所述的对抗补丁检测定位系统， 其特征在于， 该掩膜选取模块包括， 将 该视频帧图像经 过视频检测 神经网络的第一层得到该浅层特 征图。 7.如权利要求5所述的对抗补丁检测定位系统， 其特 征在于， 该掩膜选取模块包括： 滑窗选取模块， 用于通过滑窗方式从该浅层特征图中选取多个候选窗口； 该滑窗的尺 寸为预测该视频帧图像存在的对抗补丁的最大尺 寸， 该滑窗的滑动步幅为 1像素； 当多个重 要窗口相互之间有所重 叠时， 保留该多个重要窗口中处于中心位置的重要窗口。 8.如权利要求5所述的对抗补丁检测定位系统， 其特 征在于， 该检测定位模块还 包括： 单独窗口检测模块， 用于该浅层特征图中仅存在一个候选窗口时， 检测该视频帧是否 存在对抗补丁； 其中， 若 该浅层特征图中仅得到一个候选窗口， 则以该候选窗口为掩膜遮挡 该视频帧， 并执行图像检测， 得到该候选窗口的掩膜检测结果； 获取该视频帧执行图像检测权　利　要　求　书 1/2 页 2 CN 115422532 A 2的原始检测结果， 若 该掩膜检测结果与该原始检测结果相异， 则该视频帧存在对抗补丁， 该 候选窗口为该对抗补丁所在位置， 反 之则该视频帧为 正常图像。 9.一种计算机可读存储介质， 存储有计算机可执行指令， 其特征在于， 当该计算机可执 行指令被执行时， 实现如权利要求 1～4任一项所述的基于局部浅层重要神经元的对抗补丁 检测定位方法。 10.一种数据处理装置， 包括如权利要求9所述的计算机可读存储介质， 当该数据处理 装置的处理器调取并执行该计算机可读存储介质中的计算机可执行指 令时， 执行基于局部 浅层重要神经 元的对抗补丁检测定位。权　利　要　求　书 2/2 页 3 CN 115422532 A 3