(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211016337.2 (22)申请日 2022.08.24 (65)同一申请的已公布的文献号 申请公布号 CN 115082713 A (43)申请公布日 2022.09.20 (73)专利权人 中国科学院自动化研究所 地址 100190 北京市海淀区中关村东路95 号 (72)发明人 杨明浩　蒋逸铭　 (74)专利代理 机构 北京市恒有知识产权代理事 务所(普通 合伙) 11576 专利代理师 郭文浩　尹文会 (51)Int.Cl. G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 113591735 A,2021.1 1.02 CN 114764778 A,202 2.07.19 CN 111027547 A,2020.04.17 CN 113313688 A,2021.08.27 WO 20212326 52 A1,2021.1 1.25 US 2022099576 A1,202 2.03.31 US 2018174046 A1,2018.0 6.21 WO 2019232836 A1,2019.12.12 范丽丽等.基于深度卷积神经网络的目标检 测研究综述. 《光学精密工程》 .2020,(第0 5期), 刘沛鑫.基 于数据关联的视频多目标跟踪关 键技术研究. 《中国优秀博硕士学位 论文全文数 据库(硕士)信息科技 辑》 .2020, 审查员 陈静 (54)发明名称 引入空间对比信息的目标检测框提取方法、 系统及设备 (57)摘要 本发明属于图像识别领域， 具体涉及了引入 空间对比信息的目标检测框提取方法、 系统及设 备， 旨在解决现有的目标检测方法在小样本的条 件下进行目标检测的精度较低的问题。 本发明包 括： 将预测边界框分为大目标边界框和小目标边 界框； 对于所述大目标边界框， 根据预设的第一 缩放系数 生成多个第一候选框； 对于所述小 目标边界框， 根据预设的第二缩放系数 生成 多个第二候选框； 通过引入空间对比信息的孪生 神经网络的目标检测框准确提取模型选取优选 目标检测框。 本发明通过对预测边界框进行二次 判定， 结合滑动窗口的思想， 通过生成多个不同 候选框的方式提取出目标的信息， 再通过孪生网 络计算出与目标最接近的边界框， 进一步提升了 小样本目标检测的精度。 权利要求书4页 说明书8页 附图4页 CN 115082713 B 2022.11.25 CN 115082713 B 1.一种引入空间对比信息的目标检测框提取 方法， 其特 征在于， 所述方法包括： 步骤S100， 基于原 始图像， 获取的检测目标的预测边界框； 步骤S200， 将所述预测边界框分为大目标边界框和小目标边界框； 步骤S300， 对于所述大目标边界框， 根据预设的第一缩放系数 生成多个第一候选 框； 对于所述小目标边界框， 根据预设的第二缩放系数 生成多个第 二候选框； 其中第一 候选框的尺寸小于大目标边界框， 第二 候选框的尺寸大于小目标边界框； 所述第一 候选框和所述第二 候选框， 获取方法为： 基于所述大目标边界框， 以中心点坐标 为基准获取n个第一候选框的中心 点坐标 ， 其中， 为大目标边界框的宽度， 表示大目标 边界框的长度， 和 表示‑0.5到0.5之间的随机数； 基于所述第一候选框的中心点坐标， 通过第一偏移缩放系数 对大目标边界框进行 偏移和缩小获得一 一对应的n个第一 候选框； 基于所述小目标边界框， 以中心点坐标 为基准获取m个第二候选框的中心 点坐标 ， 其中， 为小目标边界框的宽度， 表示小目标 边界框的长度， 和 表示‑0.5到0.5之间的随机数； 基于所述第二候选框的中心点坐标， 通过第二偏移缩放系数 对小目标边界框进行偏移和放大获得一 一对应的m个第二 候选框； 步骤S400， 构建引入空间信息度量的孪生神经网络， 从第一候选框和第二候选框中推 测优选的目标框集 合； 所述引入空间信息度量的孪生神经网络， 其训练方法为： 步骤A100， 获取训练集图像； 步骤A200， 从所述训练集图像中选出 预设目标图像； 步骤A300， 基于训练集图像， 通过如步骤S100 ‑步骤S300的方法， 获取训练集第一候选 框或训练集第二 候选框； 步骤A400， 将所述训练集第一候选框或训练集第二候选框输入其中一个特征提取子网 络， 将所述预设目标图像输入另一个特征提取子网络， 获取训练集候选框特征和预设目标 图特征； 步骤A500， 计算集候选框特征和预设目标图特征的相似度， 并计算引入空间对比信息 的Loss函数； 所述引入空间对比信息的L oss函数， 具体为： 权　利　要　求　书 1/4 页 2 CN 115082713 B 2其中， 和 分别表示候选框与目标框的特征， 为P维向量； P的值为5， 其中， 第1维为 候选框与目标框目标是否为同一类别的标识； 第2、 3维为归一化的目标框与候选框的中心 偏移量， 第4、 5向量为目标框与候选框的归 一化宽高比例； 、  和 分别为第1维类 别， 第2、 3维中心偏移量， 第4、 5维宽高权重， 且 ， 第2、 3、 4和5维为网 络结构中的空间信息， ， 使得引入空间信 息度量的Loss函数的类别计算部 分 的权重更大； 针对所述第一候选框， 通过引入空间对比信息的孪生神 经网络选出相似度 大于设定阈值 的， 且类别相同的将Loss函数计算结果由小到大排序后的前k个 候选框， 作 为优选的目标框， 组成优选的目标框集 合； 针对所述第二候选框， 通过引入空间对比信息的孪生神经网络选出挑选出相似度 大于设定阈值 的， 且类别相同的将Loss函数计算结果由小到大排序后的前k 个候选框， 作为优选的目标框， 组成优选的目标框集 合； 步骤A600， 重 复步骤A100 ‑步骤A500的方法， 通过随机梯度下降算法调整网络参数直至 所述Loss函数低于预设的损失阈值或达到预设的迭代 次数获得训练好的引入空间信息度 量的孪生神经网络； 根据所述相似度对第一候选框或训练集第二候选框进行排序， 选取相 似度大于预设的设定阈值 且Loss函数计算结果最小的k个第一候选框或训练集第二候选 框作为优选的目标框； 步骤S500， 根据优选的目标框集合中优选的目标框的中心和宽高偏移量， 归纳出最优 目标检测框 。 2.根据权利要求1所述的引入空间对比信 息的目标检测框提取方法， 其特征在于， 将所 述预测边界框分为大目标边界框和小目标边界框， 具体包括： 预设比例阈值 ， 当所述预测边界框与原始图像的面积占比大于所述比例阈值 ， 则判 定该预测边界框为大目标边界框； 当所述预测边界框与 原始图像的面积占比小于或等于所 述比例阈值 ， 则判定该 预测边界框为小目标边界框 。 3.根据权利要求1所述的引入空间对比信 息的目标检测框提取方法， 其特征在于， 所述 引入空间信息度量的孪生神经网络， 其具体结构为： 基于2个结构相同且 共享权重的特征提取子网络构建； 2个所述特 征提取子网络连接 至同一个相似度计算子网络； 所述相似度计算子网络依次连接两个全连接层， 在输出端输出候选框与预设的目标框 的类型是否相同的判别信号、 归一化的目标框与候选框的归一化中心偏移量， 以及目标框 与候选框的归一 化宽高比例。 4.根据权利要求1所述的引入空间对比信 息的目标检测框提取方法， 其特征在于， 所述 步骤S500， 具体包括： 最优目标框的中心坐标 为： ， ， 其中 和 为第i个权　利　要　求　书 2/4 页 3 CN 115082713 B 3