(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210900842.7 (22)申请日 2022.07.28 (71)申请人 北京卫星信息 工程研究所 地址 100086 北京市海淀区知春路61号 (72)发明人 金世超　鲁俊喆　贺广均　邓岳　 冯鹏铭　梁银川　张昊东　王勇　 刘世烁　杨志才　 (74)专利代理 机构 北京谨诚君睿知识产权代理 事务所 (特殊普通合伙) 11538 专利代理师 延慧 (51)Int.Cl. G06V 20/10(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/52(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01) G06V 10/82(2022.01) (54)发明名称 遥感图像目标精细识别方法、 电子设备及存 储介质 (57)摘要 本发明涉及一种遥感图像目标精细识别方 法、 电子设备及存储介质， 以遥感图像提取的目 标特征向量作为输入， 充分利用其中编码的多实 例信息， 将同一幅图片上各实例的相似度信息进 行对比学习， 结合粗粒度的任意目标检测网络进 行端到端的训练， 而无需额外设计， 通过已知的 目标类别标签应用于分类损失以训练相似度计 算网络； 同时应用于对比损失， 增大相同细粒度 类别实例之间的相似度， 而削减不同细粒度类别 实例之间的相似度， 增强了模型对实例之间的辨 别区分能力。 权利要求书3页 说明书8页 附图5页 CN 114998748 A 2022.09.02 CN 114998748 A 1.一种遥感图像目标精细识别方法， 包括以下步骤： 步骤S1、 获取遥感图像， 构建包 含目标实例的数据集； 步骤S2、 获取目标实例的特 征向量， 并利用特 征向量进行粗粒度检测； 步骤S3、 利用步骤S2中得到的目标实例的特征向量， 计算任意两个目标实例的特征向 量之间的相似度， 得到其相似度矩阵， 并利用交叉熵损失和对比损失来训练相似度计算网 络； 步骤S4、 构建总损失函数， 训练得到 遥感图像目标精细识别模型； 步骤S5、 利用训练好的遥感图像目标精细识别模型实现遥感图像目标精细识别。 2.根据权利要求1所述的方法， 其特征在于， 在所述步骤S2中， 获取目标实例的特征向 量， 具体包括： 步骤S21、 将输入遥感图像通过残差网络提取 特征， 得到多层级的特 征图； 步骤S22、 利用多层级的特 征图， 获得通道数对齐的多尺度输入； 步骤S23、 将通道数对齐的多尺度输入经过三角函数的位置编码和可学习的层级编码 后， 输入encoder结构进行自注意力编码； 步骤S24、 在decoder结构， 将queries作为输入， 经过自注意力和与encoder结构输出的 交叉注意力， 输出提取有 多实例信息的D维的目标 特征向量 。 3.根据权利要求2所述的方法， 其特征在于， 在步骤S2中， 利用特征向量进行粗粒度检 测， 具体包括： 步骤S25、 将目标特征向量 输入具有ReLU激活函数且具有隐藏层的3层感知器， 进行 位置坐标回归预测 ， 目标的中心坐标， 高度和宽度 相对于输入图片的相对大小的四维向量； 步骤S26、 将 通过线性层利用softmax函数， 获得预测类别标签 ， ； 步骤S27、 采用匈牙利算法进行匹配， 将queries的预测结果 与真值匹配， 使预测损失 最小， 同时进行背景与目标实例的分类， 匈 牙利算法的匹配公式为： 其中 ， 为对匹配集合的所有枚举 ， 为使得总的预测损失最小的匹配 ， 为预测损失函数， 计算公式为： 权　利　要　求　书 1/3 页 2 CN 114998748 A 2其中， , 用于权衡广义交并比损失和L1损失的权 重。 4.根据权利要求3所述的方法， 其特 征在于， 在步骤S2中， 还 包括： 步骤S28、 计算分类与回归损失， 公式为： 。 5.根据权利要求4所述的方法， 其特征在于， 在步骤S3中， 计算任意两个目标实例的特 征向量之间的相似度， 得到其相似度矩阵， 具体包括： 步骤S31、 将目标特征向量 进行两两枚举配对， 得到2D维的目标特征 组合向量 ； 步骤S32、 通过全连接层将目标特征组合向量进行特征融合， 得到k维的目标特征关系 向量 ； 步骤S33、 以全连接层回归计算目标特征向量两两之间的相似度 ； 其中， 所得到的相似度 ， 其值越接近1则表示两个实例越相似。 6.根据权利要求5所述的方法， 其特征在于， 在步骤S3中， 利用交叉熵损失和对比损失 来训练相似度计算网络， 具体包括： 步骤S34、 利用相似度矩阵， 计算交叉熵损失函数以训练此相似度计算网络， 交叉熵损 失函数额计算公式为： 其中， 为分类监督信息， 表示目标向量是否相似， 由目标的标签信息直接得出， 相同 细粒度类别 则 为1， 否则 为0； 步骤S35、 利用相似度矩阵， 计算对比损失函数以增大相同细粒度类别实例之间的相似 度， 削减不同细粒度类别实例之间的相似度， 对比损失函数的计算公式为： 其中， 为超参数， 用于约束不同细粒度类别的实例之间的相似度。 7.根据权利要求6所述的方法， 其特 征在于， 在步骤S3中， 还 包括： 步骤S36、 利用分类与回归损失函数、 交叉熵损失函数和对比损失函数， 计算总损失函 数， 公式为：权　利　要　求　书 2/3 页 3 CN 114998748 A 3