(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210676865.4 (22)申请日 2022.06.14 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 王新宇　刘巍　车婷婷　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 专利代理师 鄢功军 (51)Int.Cl. G06V 40/70(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06F 3/01(2006.01) G06F 3/04847(2022.01)G10L 15/01(2013.01) G10L 15/22(2006.01) G10L 15/26(2006.01) (54)发明名称 交互信息测试方法、 装置、 电子设备和存储 介质 (57)摘要 本公开提供了一种交互信息测试方法， 涉及 人工智能技术领域， 尤其涉及自动化测试、 深度 学习和增强现实等技术领域， 可应用于智能家居 和智能客服等场景下。 具体实现方案为： 对来自 于交互信息的多个待测试图像分别进行目标检 测， 得到多个第一检测结果， 其中， 第一检测结果 包括待测试图像中至少一个待测试对象的第一 检测框； 根据第一检测结果， 确定至少一个第一 局部图像； 根据至少一个第一局部图像和至少一 个第二局部图像， 确定图像比较结果， 其中， 至少 一个第二局部图像是根据第二检测结果确定的， 第二检测结果是对预设图像进行目标检测得到 的； 以及根据图像比较结果， 确定测试结果。 本公 开还提供了一种交互信息测试装置、 电子设备和 存储介质。 权利要求书3页 说明书17页 附图7页 CN 114999009 A 2022.09.02 CN 114999009 A 1.一种交 互信息测试 方法， 包括： 对来自于交互信息的多个待测试图像分别进行目标检测， 得到多个第一检测结果， 其 中， 所述第一检测结果包括所述待测试图像中至少一个待测试对象的第一检测框； 根据所述第一检测结果， 确定 至少一个第一局部图像； 根据所述至少一个第一局部图像和至少一个第 二局部图像， 确定图像比较结果， 其中， 所述至少一个第二局部图像是根据第二检测结果确定的， 所述第二检测结果是对预设图像 进行目标检测得到的； 以及 根据所述图像比较结果， 确定测试 结果。 2.根据权利要求1所述的方法， 其中， 所述多个待测试图像来自于待测试视频， 所述待 测试视频 是根据所述交 互信息确定的， 所述对来自于交互信 息的多个待测试图像分别进行目标检测， 得到多个第 一检测结果 包括： 获取多个所述第二检测结果， 其中， 所述第二检测结果包括所述预设图像中至少一个 预设对象的第二检测框， 多个所述预设图像是对预设视频进行抽帧得到的； 对所述待测试视频进行抽帧， 得到所述多个待测试图像； 以及 对所述多个待测试图像分别进行目标检测， 得到多个所述第一检测结果。 3.根据权利要求2所述的方法， 其中， 所述待测试图像与一个所述预设图像匹配， 所述 与所述待测试图像匹配的预设图像是根据所述待测试图像与多个所述预设图像之间的多 个第一相似度确定的。 4.根据权利要求3所述的方法， 其中， 所述根据所述第一检测结果， 确定至少一个第一 局部图像包括： 针对所述待测试对象， 从与所述待测试图像匹配的预设图像中确定第一目标预设对 象， 其中， 所述第一目标预设对象的类别信息与所述待测试对象 的类别信息一致， 所述第一 目标预设对象来自于所述至少一个预设对象； 根据所述待测试对象的第一检测框， 确定所述第一局部图像； 以及 根据所述第一目标 预设对象的第二检测框， 确定所述第二局部图像。 5.根据权利要求 4所述的方法， 其中， 所述图像比较结果包括第一子比较结果， 所述根据 所述至少一个第 一局部图像和至少一个第 二局部图像， 确定图像比较结果包 括： 根据所述至少一个第 一局部图像和所述至少一个第 二局部图像， 得到至少一个第 二相 似度； 响应于确定所述第 二相似度小于第 一预设相似度阈值， 将所述待测试图像确定为第 一 目标待测试图像； 以及 根据所述待测试图像的数量和所述第 一目标待测试图像的数量， 确定所述第 一子比较 结果。 6.根据权利要求3所述的方法， 其中， 所述根据所述第一检测结果， 确定至少一个第一 局部图像包括： 根据与所述待测试图像匹配的预设图像的时间信 息， 从除与 所述待测试图像匹配的预 设图像之外的多个预设图像中， 确定 至少一个目标 预设图像；权　利　要　求　书 1/3 页 2 CN 114999009 A 2针对所述待测试对象， 从所述目标预设图像 中确定第 二目标预设对象， 其中， 所述第二 目标预设对象的类别信息与所述待测试对象的类别信息一致， 所述第二目标预设对象来自 于所述目标 预设图像中的至少一个预设对象； 根据所述待测试对象的第一检测框， 确定所述第一局部图像； 以及 根据所述第二目标 预设对象的第二检测框， 确定所述第二局部图像。 7.根据权利要求6所述的方法， 其中， 所述图像比较结果包括第二子比较结果， 所述根据 所述至少一个第 一局部图像和至少一个第 二局部图像， 确定图像比较结果包 括： 根据所述至少一个第 一局部图像和所述至少一个第 二局部图像， 得到至少一个第 三相 似度； 响应于确定所述至少一个第 三相似度均 大于或等于第 二预设相似度阈值， 将所述待测 试图像确定为第二目标待测试图像； 以及 根据所述待测试图像的数量和所述第 二目标待测试图像的数量， 确定所述第 二子比较 结果。 8.根据权利要求2或3所述的方法， 其中， 所述根据 所述图像比较结果， 确定测试结果包 括： 根据所述待测试视频， 得到 至少一个待测试音频； 根据所述预设视频， 得到至少一个预设音频， 其中， 所述待测试音频与一个所述预设音 频对应； 分别对所述至少一个待测试音频和所述至少一个预设音频进行语音识别， 得到至少一 个待测试音频文本和至少一个预设音频文本； 根据所述至少一个待测试音频文本和所述至少一个预设音频文本， 确定音频文本比较 结果； 以及 根据所述音频文本比较结果和所述图像比较结果， 确定所述测试 结果。 9.根据权利要求8所述的方法， 其中， 所述待测试音频文本包括待测试输入文本和待测 试反馈文本， 所述预设音频文本包括预设输入文本和预设反馈文本， 所述分别对所述至少一个待测试音频和所述至少一个预设音频进行语音识别， 得到至 少一个待测试音频文本和至少一个预设音频文本包括： 对所述待测试音频进行划分， 得到待测试输入音频和待测试反馈音频； 对所述待测试输入音频进行语音识别， 得到所述待测试输入文本； 对所述待测试反馈音频进行语音识别， 得到所述待测试反馈文本； 对所述预设音频进行划分， 得到预设输入音频和预设反馈音频； 对所述预设输入音频进行语音识别， 得到所述预设输入文本； 以及 对所述预设反馈音频进行语音识别， 得到所述预设反馈文本 。 10.根据权利要求9所述的方法， 其中， 所述根据所述至少一个待测试音频文本和所述 至少一个预设音频文本， 确定音频文本比较结果包括： 将与所述待测试音频对应的所述预设音频作为目标 预设音频； 将所述待测试输入音频的所述待测试输入文本与所述目标预设音频的预设输入文本 进行匹配， 得到第一匹配结果；权　利　要　求　书 2/3 页 3 CN 114999009 A 3