(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210643115.7 (22)申请日 2022.06.08 (71)申请人 湖南大学 地址 410082 湖南省长 沙市岳麓区麓山 南 路1号 (72)发明人 方乐缘　郭广淼　刘强　李庆鹏　 (74)专利代理 机构 长沙市护航专利代理事务所 (特殊普通 合伙) 43220 专利代理师 莫晓齐 (51)Int.Cl. G06V 10/25(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06V 20/13(2022.01) G06T 7/11(2017.01) (54)发明名称 基于原型对比学习的遥感图像目标检测系 统及方法 (57)摘要 基于原型对比学习的遥感图像目标检测系 统及方法， 所述系统包括连接的特征图提取模 块、 区域特征提取模块以及与区域特征提取模块 分别连接的类别对比模块、 位置预测模块和类别 预测模块； 特征图提取模块用于在遥感图像中提 取多尺度的特征图； 区域特征提取模块用于在特 征图内筛选多个感兴趣区域， 并提取每个感兴趣 区域的特征向量； 类别对比模块用于将特征向量 与对应的初始 类别原型进行比对； 位置预测模块 用于对目标进行位置预测； 类别预测模块用于对 目标进行类别预测； 本发明利用目标的高级语义 特征进行对比学习， 具有较强的泛化性和可移植 性； 同时本发 明在不增加训练与测试成本的情况 下， 对目标的判别性特征进行重点关注， 提升了 遥感目标检测的精度。 权利要求书3页 说明书11页 附图2页 CN 114972737 A 2022.08.30 CN 114972737 A 1.基于原型对比学习的遥感图像目标检测系统， 其特征在于， 包括连接的特征图提取 模块、 区域特征提取模块以及与区域特征提取模块分别连接的类别对比模块、 位置预测模 块和类别预测模块； 所述特征图提取模块用于提取遥感图像中的多尺度特 征图； 所述区域特征提取模块用于筛选多尺度特征图内的多个感兴趣区域， 并提取每一个感 兴趣区域的特 征向量zi； 所述类别对比模块用于将所提取的特征向量zi分别与设定的k个初始类别原型pk进行 比对， 以求得所述特征向量zi与对应的初始类别原型pk的相似度qi,k； 所述类别对比模块通 过对比损失函数Lcon进行对比学习， 以提升 遥感图像目标检测系统的判别性特 征提取能力； 所述位置预测模块用于在多个特征向量zi中提取目标的位置信息， 并对所提取的目标 进行位置预测； 所述位置预测模块通过定位损失函数Lreg进行学习， 以提升遥感图像目标检 测系统的位置预测能力； 所述类别 预测模块用于在多个特征向量zi中提取目标的类别信息， 并对所提取的目标 进行类别预测； 所述类别预测模块通过分类损失函数Lcls进行学习， 以提升遥感图像目标检 测系统的类别预测能力。 2.根据权利要求1所述的遥感图像目标检测系统， 其特征在于， 所述区域特征提取模块 包括依次连接的区域 生成网络、 类别平衡采样器、 区域池化网络和区域特 征提取网络； 所述区域生成网络与所述特征图提取模块连接， 用于对多尺度特征图进行区域划分， 以筛选出多个感兴趣区域， 并生成每一个感兴趣区域的索引； 所述类别平衡采样器用于对多个感兴趣区域及其对应的索引进行采样， 以将多个感兴 趣区域分别划分到对应的标签类别中， 同时， 使得每个标签类别中的感兴趣区域的数量相 差不超过第一预设值， 并生成指定数量的索引， 采样后的感兴趣区域的数量和采样后的索 引的数量相等， 且分别对应； 所述区域池化网络用于接收所述特征金字塔网络输出的多尺度特征图和所述类别平 衡采样器输出 的索引， 根据索引将对应的感兴趣区域裁剪出来， 并将裁剪出来的多个感兴 趣区域分别池化成尺寸相同的多个特 征图； 所述区域特征提取网络用于提取所述区域池化网络输出的多个特征图分别对应的特 征向量zi。 3.基于原型对比学习的遥感图像目标检测方法， 其特征在于， 使用权利要求2所述的遥 感图像目标检测系统对遥感图像进行目标检测， 其具体包 含以下步骤： 步骤S100、 随机生成每一类目标的初始类别原型pk； 步骤S200、 将遥感图像输入到所述特征图提取模块， 所述特征图提取模块利用深度神 经网络， 进行多层次特 征提取， 得到多尺度特 征图； 步骤S300、 将多尺度特征图输入到所述区域生成网络， 所述区域生成网络对多个特征 图进行区域划分， 得到多个感兴趣区域， 并形成多个感兴趣区域所对应的索引； 步骤S400、 将多个感兴趣区域传输到所述类别平衡采样器， 所述类别平衡采样器用于 对多个感兴趣区域和多个对应的索引进行采样， 依据多个感兴趣区域所对应的类别标签进 行采样， 以使每 个类别标签中的感兴趣区域的数量 不超过预设值， 并形成指定数量的索引； 步骤S500、 将多尺度特征图和多个索引传输到所述区域池化网络， 所述区域池化网络权　利　要　求　书 1/3 页 2 CN 114972737 A 2根据索引将对应的感兴趣区域裁剪出来， 并将裁剪出来的多个感兴趣区域分别池化成尺寸 相同的多个特 征图； 步骤S600、 将所述区域池化网络输出的多个特征图传输到所述区域特征提取网络， 所 述区域特 征提取网络分别提取多个特 征图所对应的特 征向量zi； 步骤S700、 将多个特征向量zi分别传输到 所述类别对比模块、 所述位置 预测模块和所述 类别预测模块中以构建对应的对比损失函数Lcon、 定位损失函数Lreg以及分类损失函数Lcls； 步骤S800、 依据对比损失函数Lcon、 定位损失函数Lreg以及分类损失函数Lcls建立总损失 函数， 并重复步骤S200至步骤S800， 最小化总损失函数， 直至总损失函数收敛， 或循环次数 达到第二设定值； 步骤S900、 分别使用所述位置预测模块和所述类别预测模块进行测试， 以分别预测目 标的位置信息和目标的类别 信息。 4.根据权利要求3所述的遥感图像目标检测方法， 其特征在于， 步骤S400中的对多个感 兴趣区域进行采样具体包 含如下步骤： 步骤S410： 计算当前批次中每类别期望采样数目num_acls， 根据设定 的总期望采样数 目num_aim和 当前批次类总数num_cls， 计算出每类别期望采样数目num_acls＝num_aim/ num_cls； 步骤S420： 进行各类别感兴趣区域的随机采样， 将抽中的感兴趣区域放入标签类别 sampled， 未抽中的感兴趣区域 放入标签 类别unsampled； 步骤S430： 进行感兴趣区域的重采样， 计算标签类别sampled包含的感兴趣区域数目 num_sampled， 若num_sampled<num_aim， 在标签类别unsampled中随机抽取num_aim ‑num_ sampled个感兴趣区域放入标签类别sampled； 最终实现每个标签类别中的感兴趣区域的数 量相差不超过第一预设值。 5.根据权利要求4所述的遥感图像目标检测方法， 其特征在于， 所述步骤S600具体包含 如下步骤： 步骤S621： 使用第一全连接层对经过初步特征提取得到的多个特征向量zi进行进一步 特征提取， 特 征向量zi维度均不发生变化； 步骤S622： 使用ReLu激活函数对步骤S621中提取后的多个特 征向量zi进行依次激活； 步骤S623： 使用第二全连接层对激活后的多个 特征向量zi进行进一步提取， 将特征向量 的维度降至与初始类别原型pk相同， 得到多个特 征图所对应的特 征向量zi。 6.根据权利要求5所述的遥感图像目标检测方法， 其特征在于， 所述步骤S700中的构建 对比损失函数Lcon具体包含如下步骤： 步骤S710、 所述类别对比模 块将多个特征向量zi映射到对应的对比空间内， 并分别 与对 应的初始类别原型pk进行比对， 以求得 特征向量zi与对应的初始类别原型pk的相似度qi,k； 步骤S720： 利用相似度qi,k计算并建立 最终的对比损失函数Lcon。 7.根据权利要求6所述的遥感图像目标检测方法， 其特征在于， 所述步骤S710中求得特 征向量zi与对应的初始类别原型pk的相似度qi,k具体包含如下步骤： 步骤S711： 归 一化初始类别原型pk， 使每一类初始类别原型的模长为1， 同时归一化感兴 趣区域样本的特 征向量zi， 使之模长为1； 步骤S712： 计算感兴趣区域特征向量与初始类别原型pk的相似度qi,k， 将归一化后的初权　利　要　求　书 2/3 页 3 CN 114972737 A 3