(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210920610.8 (22)申请日 2022.08.02 (71)申请人 大连理工大 学 地址 116024 辽宁省大连市甘井 子区凌工 路2号 (72)发明人 赵文达　解世赓　王海鹏　赵凡　 刘兴惠　黄友澎　李至立　 (74)专利代理 机构 辽宁鸿文知识产权代理有限 公司 21102 专利代理师 许明章　王海波 (51)Int.Cl. G06V 20/13(2022.01) G06V 10/40(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 多模态遥感图像联合学习的目标检测统一 模型 (57)摘要 本发明属于图像信息处理技术领域， 提供了 一种多模态遥感图像联合学习的目标检测统一 模型。 本发明利用一个模型应对两种模态的图 像， 并且均可 以获得良好的检测 效果。 本发明通 过对比学习的方式让模型可以整合两种模态的 目标信息从而形成一个多模态统一的检测网络。 本发明的方法不存在这个问题， 对于任一模态下 的图像均可以做出有效的检测， 并且对比学习 仅 在训练过程中开展， 训练完毕后在测试阶段并没 有增加额外的计算 量。 权利要求书2页 说明书4页 附图2页 CN 115223057 A 2022.10.21 CN 115223057 A 1.一种多模态遥感图像联合学习的目标检测统一模型， 其特 征在于， 步骤如下： 采用对比学习训练一个用于多模态统一的目标检测器， 多模态包括SAR模态与可见光 模态； 该目标检测器采用ResNet50作 为骨干网络， 来提取多模态图像的特征并用于实现目标 检测； 在网络训练阶段， 对于目标检测中的目标与背景分类过程， 采用FacolLoss损失函数作 为目标检测任务中目标与背景的分类约束： 其中， N1用于对分类约束的数值平均， 为训练过程中一个输入网络图像批次中的目标数 目； Yxyc为图像中类别的真值， 为网络预测的区域类别， 类别包括目标与背景； γ和β 为损 失函数中的两个超参数， 用于对区域分类过程中的目标与背景 数目的平衡； 对于目标检测任务中的目标位置与大小的计算， 需要用锚框回归分支来预测， 该锚框 回归分支实际上预测的是目标检测真值框与设置目标锚框之间的差距； 本方法假设目标检 测真值框为(x,y,h,w)， 其中四个位置分别代表目标锚框在图像中的横坐标、 纵坐标以及 锚 框的高度和宽度； 设置目标锚框为 则目标检测网络计算目标检测真值框与设置 目标锚框之间的差距 表示为： 对于目标位置约束为： 其中， N2为符合重叠度要求的网络预测值数目； 为网络预测值中第i个符合重叠度要 求的预测 值， 其中， 符合重叠度要求是指根据网络预测出 的目标检测真值框与设置目标锚 框之间的差距所计 算出的目标框与第j个目标检测真值框重叠度大于阈值； tmj为第j个与网 络预测值 对应的目标检测真值框， 对于目标检测任务的总的损失为： Ldet＝Lclass+ εLloc  (7) 其中， ε为超参数， 用于平衡目标与背景分类与目标框回归； 对比学习 整合多模态图像目标信 息， 提出一个基于对比学习的多模态目标图像信 息整 合方法， 选取不同模态的目标区域作为对比学习的正样本， 选取不同模态的背景信息作为 对比学习的负样本； 约束正样本之间的距离在特征空间中逐渐减小， 正样本与负样本间的 距离不断加大， 从而使目标检测器对于不同模态的目标均能提取到比较一致的效果， 实现 利用统一的模型来对多模态的图像进行检测；权　利　要　求　书 1/2 页 2 CN 115223057 A 2将ResNet50提取到的特征， 利用目标检测真值框选取目标特征和背景特征， 然后送入2 层全连接层映射到一个隐空间中来加大正样本 即目标间特征的相似度， 减小目标和负样本 即背景特征间的相似度； 采用如下损失函数： 其中， N3为一个批次中选取正样本的数量； K为超参数， 用于确定选取负样本特征的数 目； h(a,b)＝aTb/||a||||b||用于计算提取到的特征之间的相似性， fiT和 分别代表 SAR图像中第j 个、 可见光图像中第i个目标向量和两种模态图像中的第k个背 景向量； τ为 温 度系数， 用于控制对目标检测器难以检测出的样本的关注程度； 对比学习的多模态遥感图像目标检测统一模型在训练过程中的损失函数为： L＝Ldet+α Lc  (9) 其中， α 为平衡两种损失的超参数。权　利　要　求　书 2/2 页 3 CN 115223057 A 3