(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210940151.X (22)申请日 2022.08.05 (71)申请人 中国科学院计算 技术研究所 地址 100080 北京市海淀区中关村科 学院 南路6号 (72)发明人 胡杏　韩虎生　贺文凯　杜子东　 郭崎　 (74)专利代理 机构 北京律诚同业知识产权代理 有限公司 1 1006 专利代理师 祁建国　张燕华 (51)Int.Cl. G06F 21/55(2013.01) G06V 10/74(2022.01) G06V 10/42(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于帧间相似性的对抗补丁检测定位方法 及系统 (57)摘要 本发明提出一种基于帧间相似性的对抗补 丁检测定位方法， 包括： 提取关键视频帧的浅层 特征图， 通过滑窗方式从该浅层特征图中选取多 个候选窗口， 当任一候选窗口中LISF的个数超 过 筛选阈值时， 以该候选窗口为重要窗口； 以每个 该重要窗口为掩膜遮挡该视频帧， 并执行图像检 测， 得到对应每个该重要窗口的掩膜检测结果； 对所有该掩膜检测结果执行垄断者投票， 判断该 对抗补丁在该关键视频帧中的位置； 根据帧间相 似性消除该对抗补丁对该关键视频帧的相邻视 频帧的干扰。 本发明还提出一种基于帧间相似性 的对抗补丁检测定位系统， 以及一种用于对抗补 丁检测定位的数据处 理装置。 权利要求书2页 说明书8页 附图6页 CN 115422533 A 2022.12.02 CN 115422533 A 1.一种基于帧间相似性的对抗补丁检测定位方法， 其特 征在于， 包括： 获取关键视频帧， 提取该关键视频帧的浅层特征图， 通过滑窗方式从该浅层特征图中 选取多个候选窗口， 当任一候选窗口中局部浅层重要神经元 的个数超过筛选阈值时， 以该 候选窗口为重要窗口； 以每个该重要窗口为掩膜遮挡该视频帧， 并执行图像检测， 得到对应每个该重要窗口 的掩膜检测结果； 对所有该掩膜检测结果执行垄断者投票， 当存在某一掩膜检测结果与其他掩膜检测结 果相异， 且其他掩膜检测结果均相同， 则该掩膜检测结果对应的重要窗口为该对抗补丁在 该关键视频帧中的位置； 根据帧间相似性消除该对抗补丁对该关键 视频帧的相邻视频帧的干扰。 2.如权利要求1所述的对抗补丁检测定位方法， 其特征在于， 根据 该对抗补丁在该关键 视频帧中的位置， 采用DIS光流算法推 断该对抗补丁在与该关键视频帧的相邻视频帧中的 位置， 从该相邻视频帧中去除该对抗补丁后进行图像 检测。 3.如权利要求1所述的对抗补丁检测定位方法， 其特征在于， 提取该关键视频帧中去除 该对抗补丁后的深度特征， 将该深度特征映射到该相邻视频帧上， 获得该相邻视频帧的深 度特征， 通过该相邻视频帧的深度特 征对该相邻视频帧进行图像 检测。 4.如权利要求1所述的对抗补丁检测定位方法， 其特征在于， 该滑窗的尺寸为预测该关 键视频帧中存在的对抗补丁的最大尺 寸， 该滑窗的滑动步幅为1像素； 当多个重要窗口相互 之间有所重 叠时， 保留该多个重要窗口中处于中心位置的重要窗口。 5.一种基于帧间相似性的对抗补丁检测定位系统， 其特 征在于， 包括： 掩膜选取模块， 用于获取作为掩膜 的重要窗口； 其中， 获取关键视频帧， 提取该关键视 频帧的浅层特征图， 通过滑 窗方式从该浅层特征图中选取多个候选窗口， 当任一候选窗口 中局部浅层重要神经 元的个数超过筛 选阈值时， 以该候选窗口为重要窗口； 结果获取模块， 用于以每个该重要窗口为掩膜遮挡该视频帧， 并执行图像检测， 得到对 应每个该重要窗口 的掩膜检测结果； 检测定位模块， 用于对所有该掩膜检测结果执行垄断者投票， 当存在某一掩膜检测结 果与其他掩膜检测结果相异， 且其他掩膜检测结果均相同， 则该掩膜检测结果对应的重要 窗口为该对抗补丁在该关键 视频帧中的位置； 干扰消除模块， 用于根据帧间相似性消除该对抗补丁对该关键视频帧的相邻 视频帧的 干扰。 6.如权利要求5所述的对抗补丁检测定位系统， 其特 征在于， 该干扰消除模块包括： 对抗补丁映射模块， 用于根据该对抗补丁在该关键视频帧中的位置， 采用DIS光流算法 推断该对抗补丁在与该关键视频帧的相邻视频帧中的位置， 从该相邻视频帧中去除该对抗 补丁后进行图像 检测。 7.如权利要求5所述的对抗补丁检测定位系统， 其特 征在于， 该干扰消除模块包括： 深度特征映射模块， 用于提取该关键视频帧中去 除该对抗补丁后的深度特征， 将该深 度特征映射到该相邻视频帧上， 获得该相邻视频帧的深度特征， 并通过该相邻视频帧的深 度特征对该相邻视频帧进行图像 检测。 8.如权利要求5所述的对抗补丁检测定位系统， 其特征在于， 该滑窗的尺寸为预测该关权　利　要　求　书 1/2 页 2 CN 115422533 A 2键视频帧中存在的对抗补丁的最大尺 寸， 该滑窗的滑动步幅为1像素； 当多个重要窗口相互 之间有所重 叠时， 保留该多个重要窗口中处于中心位置的重要窗口。 9.一种计算机可读存储介质， 存储有计算机可执行指令， 其特征在于， 当该计算机可执 行指令被执行时， 实现如权利要求 1～4任一项所述的基于帧间相似性的对抗补丁检测定位 方法。 10.一种数据处理装置， 包括如权利要求9所述的计算机可读存储介质， 当该数据处理 装置的处理器调取并执行该计算机可读存储介质中的计算机可执行指 令时， 执行基于帧间 相似性的对抗补丁检测定位。权　利　要　求　书 2/2 页 3 CN 115422533 A 3