(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210763784.8 (22)申请日 2022.06.30 (71)申请人 浪潮 （北京） 电子信息产业有限公司 地址 100085 北京市海淀区上地信息路2号 2-1号C栋1层 (72)发明人 张英杰　史宏志　温东超　赵健　 崔星辰　尹云峰　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 任美玲 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) G06T 3/40(2006.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 对抗样本的检测方法、 系统、 设备及存储介 质 (57)摘要 本申请公开了一种对抗样 本的检测方法、 系 统、 设备及存储介质， 应用于 人工智能技术领域， 包括： 构建用于进行图像处理的图像超分辨率模 型； 将待测图像输入至所述图像超分辨率模型， 得到所述图像超分辨率模型输出的高分辨率的 第一输出图像； 分别将所述待测图像和所述第一 输出图像输入至分类模型中， 得到针对所述待测 图像的第一分类识别结果和针对所述第一输出 图像的第二 分类识别结果； 确定出所述第一分类 识别结果与所述第二分类识别结果之间的相似 度， 并判断所述相似度是否高于预设阈值； 如果 否， 则确定所述待测图像为对抗样本。 应用本申 请的方案， 能够方便， 准确地检测出对抗样本 。 权利要求书3页 说明书11页 附图2页 CN 115115884 A 2022.09.27 CN 115115884 A 1.一种对抗样本的检测方法， 其特 征在于， 包括： 构建用于进行图像处 理的图像超分辨 率模型； 将待测图像输入至所述图像超分辨率模型， 得到所述图像超分辨率模型输出的第 一输 出图像， 其中， 所述第一输出图像的分辨 率高于所述待测图像； 分别将所述待测图像和所述第 一输出图像输入至分类模型中， 得到针对所述待测图像 的第一分类识别结果和针对所述第一输出图像的第二分类识别结果； 确定出所述第 一分类识别结果与 所述第二分类识别结果之间的相似度， 并判断所述相 似度是否高于预设阈值； 如果否， 则确定所述待测图像为对抗样本 。 2.根据权利要求1所述的对抗样本的检测方法， 其特征在于， 得到的针对所述待测图像 的第一分类识别结果表示为： P[p1， p2，…pi…， pn]， 得到的针对所述第一输出图像的第二分 类识别结果表示 为： Q[q1， q2，…qi…， qn]； 其中， n表示的是所述分类模型的标签数量， i为正整数且1≤i≤n， pi表示的是所述待测 图像属于第i类的概 率值， qi表示的是 所述第一输出图像属于第i类的概 率值。 3.根据权利要求2所述的对抗样本的检测方法， 其特征在于， 所述确定出所述第 一分类 识别结果与所述第二分类识别结果之间的相似度， 包括： 基于第一相似度和/或第二相似度， 确定出所述第一分类识别结果与所述第二分类识 别结果之间的相似度； 其中， 所述第一相似度用于反映所述第一分类识别结果的概率值分布， 与所述第二分 类识别结果的概 率值分布之间的相似程度； 所述第二相似度用于反映所述第 一分类识别结果中的不同类的概率值的排名状态， 与 所述第二分类识别结果中的不同类的概 率值的排名状态之间的相似程度。 4.根据权利要求3所述的对抗样本的检测方法， 其特征在于， 所述第 一相似度为通过以 下操作确定出的第一相似度： 将所述第一分类识别结果与所述第二分类识别结果之间的余弦距离作为确定出的第 一相似度。 5.根据权利要求3所述的对抗样本的检测方法， 其特征在于， 所述第 一相似度为通过以 下操作确定出的第一相似度： 确定出所述第一分类识别结果与所述第二分类识别结果之间的余弦距离； 将所述余弦距离归一 化， 并将归一 化之后的数值作为确定出的第一相似度。 6.根据权利要求3所述的对抗样本的检测方法， 其特征在于， 所述第 二相似度为通过以 下操作确定出的第二相似度： 将第一分类识别结果 转换为第一 排序结果S P[p11， p22，…pii…， pnn]； 将第二分类识别结果 转换为第二 排序结果SQ[q11， q22，…qii…， qnn]； 通过R＝(x+u)/2n， 确定出的第二相似度R的数值； 其中， pii表示的是在p1至pn中， pi的数值大小排名， 且最大概率值的排名为1， 最小概率 值的排名为n， qii表示的是在q1至qn中， qi的数值大小排名， 且最 大概率值的排名为1， 最小概 率值的排名为n， x表示的是所述第一排序结果与所述第二排序结果的前x位是一致的， u表 示的是所述第一 排序结果与所述第二 排序结果中在相同位置处数值相同的位数。权　利　要　求　书 1/3 页 2 CN 115115884 A 27.根据权利要求3所述的对抗样本的检测方法， 其特征在于， 基于第 一相似度和第 二相 似度， 确定出 所述第一分类识别结果与所述第二分类识别结果之间的相似度， 包括： 将所述第一相似度与第 二相似度求和， 并将求和结果作为确定出的所述第 一分类识别 结果与所述第二分类识别结果之间的相似度； 或者； 将所述第一相似度与第 二相似度相乘， 并将相乘结果作为确定出的所述第 一分类识别 结果与所述第二分类识别结果之间的相似度。 8.根据权利要求1所述的对抗样本的检测方法， 其特征在于， 所述分类模型具体为基于 softmax的多类别卷积神经网络分类模型。 9.根据权利要求1所述的对抗样本的检测方法， 其特征在于， 在所述确定所述待测图像 为对抗样本之后， 还 包括： 记录所述待测图像的采集信息 。 10.根据权利要求1所述的对抗样本的检测方法， 其特征在于， 在所述确定所述待测图 像为对抗样本之后， 还 包括： 对所述待测图像重新进行一 次对抗样本的检测， 并且当仍然将所述待测图像确定为对 抗样本时， 输出提 示信息。 11.根据权利要求1至10任一项所述的对抗样本的检测方法， 其特征在于， 预设阈值为 通过以下操作确定出的阈值： 预先将正常图像输入至所述图像超分辨率模型， 得到所述图像超分辨率模型输出的第 二输出图像； 分别将所述正常图像和所述第 二输出图像输入至分类模型中， 得到针对所述正常图像 的第三分类识别结果和针对所述第二输出图像的第四分类识别结果； 确定出所述第 三分类识别结果与 所述第四分类识别结果之间的相似度， 并作为预设阈 值。 12.根据权利要求1 1所述的对抗样本的检测方法， 其特 征在于， 还 包括： 选取K张不同的正常图像作为输入， 以重复确定出 预设阈值的过程； 将各次确定出的预设阈值中的最小值作为 最终确定的预设阈值。 13.一种对抗样本的检测系统， 其特 征在于， 包括： 图像超分辨 率模型构建模块， 用于构建用于进行图像处 理的图像超分辨 率模型； 第一执行模块， 用于将待测图像输入至所述图像超分辨率模型， 得到所述图像超分辨 率模型输出的第一输出图像， 其中， 所述第一输出图像的分辨 率高于所述待测图像； 分类识别模块， 用于分别将所述待测图像和所述第一输出图像输入至分类模型中， 得 到针对所述待测图像的第一分类识别结果和针对所述第一输出图像的第二分类识别结果； 相似度判断模块， 用于确定出所述第 一分类识别结果与 所述第二分类识别结果之间的 相似度， 并判断所述相似度是否高于预设阈值， 如果否， 则触发第二执 行模块； 所述第二执 行模块， 用于确定所述待测图像为对抗样本 。 14.一种对抗样本的检测设备， 其特 征在于， 包括： 存储器， 用于存 储计算机程序； 处理器， 用于执行所述计算机程序以实现如权利要求1至12任一项所述的对抗样本的权　利　要　求　书 2/3 页 3 CN 115115884 A 3