(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210927707.1 (22)申请日 2022.08.03 (71)申请人 中南大学 地址 410083 湖南省长 沙市岳麓区中南大 学校本部 (72)发明人 王思远　侯东阳　 (74)专利代理 机构 北京润平知识产权代理有限 公司 11283 专利代理师 王斌 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06F 16/583(2019.01) G06F 16/55(2019.01) (54)发明名称 基于自监督对比学习的跨域遥感场景分类 与检索方法 (57)摘要 本发明涉及基于自监督对比学习的跨域遥 感场景分类与检索方法， 包括如下步骤： A)获取 遥感图像， 构建输入数据； B)基于自监督对比学 习并结合目标域图像的已知类样本和未知类样 本构建损失函数， 并构建深度域适应学习网络， 并利用输入数据和损失函数对其进行训练； C)利 用深度域适应学习网络对目标域图像进行分类， 提取目标域图像的目标图像特征向量构建特征 数据库， 提取目标域查询图像的查询图像特征向 量， 计算查询图像特征向量与特征数据库中的目 标图像特征向量的欧式距离， 以基于欧式距离选 出所需的检索目标。 本发明的基于自监督对比学 习的跨域遥感场景分类与检索方法能够在目标 域存在未知类别的情况下仍具有良好的跨域分 类与检索精度。 权利要求书4页 说明书10页 附图7页 CN 115471739 A 2022.12.13 CN 115471739 A 1.基于自监 督对比学习的跨 域遥感场景分类与检索方法， 其特 征在于， 包括如下步骤： A)获取遥感图像， 并划分所述遥感图像的源域图像与目标域图像， 以构建输入数据； B)基于自监督对比学习 并结合所述目标域图像的已知类样本和未知类样本构建损 失 函数， 构建深度域适应学习网络， 并利用所述输入数据和所述损失函数训练所述深度域适 应学习网络； C)利用训练好的所述深度域适应学习网络对所述目标域图像进行分类， 提取所述目标 域图像的目标图像特征向量构建特征数据库， 提取目标域查询图像的查询图像特征向量， 计算所述查询图像特征向量与所述特征数据库中所有的所述目标图像特征向量的欧式距 离， 按欧式距离进行排列， 并按照设定的欧氏距离范围， 得 出所需的检索目标。 2.根据权利要求1所述的基于自监督对比学习的跨域遥感场景分类与检索方法， 其特 征在于， 所述输入数据的构建步骤包括： 从所述遥感图像的数据集中抽取若干张图像{1， 2， ...， N}， 构建所述源域图像 所述源域图像包含ns张有标注源域图像 表示有标注源域图像 所对应的标签， 其中， 表示所述有标注源 域图像的标签空间， C表示所述有标注源域图像的类别总数； 所述目标域图像为 所述目标域图像包含nt张无标注目标域图像 其中， 目标域图像 的标 签空间为： {1， 2， . ..， C， C+1}， C+1表示所述无 标注目标域图像的未知类别。 3.根据权利要求2所述的基于自监督对比学习的跨域遥感场景分类与检索方法， 其特 征在于， 所述深度域适应学习网络包括多个特征编码 网络f(·)、 多个对比学习网络g( ·) 和多个分类 器c(·)。 4.根据权利要求3所述的基于自监督对比学习的跨域遥感场景分类与检索方法， 其特 征在于， 所述特征编码网络f( ·)为去除全连接层的深度 残差网络， 且 所述深度 残差网络的 平均池化层替换为 瓶颈层。 5.根据权利要求4所述的基于自监督对比学习的跨域遥感场景分类与检索方法， 其特 征在于， 所述对比学习网络g( ·)为带有ReLU激活函数的感知机 。 6.根据权利要求5所述的基于自监督对比学习的跨域遥感场景分类与检索方法， 其特 征在于， 所述分类器c( ·)为全连接网络， 所述分类器c( ·)的输出维度与所述目标域图像 的类别数量 一致。 7.根据权利要求6所述的基于自监督对比学习的跨域遥感场景分类与检索方法， 其特 征在于， 所述损失函数的构建步骤 包括： B11)构建源域分类损失： 对所述源域 图像进行有监督学习， 采取交叉熵损失计算其分 类的准确性： 其中， Lsoftmax为分类损失函数， 表示所述源域图像的源域有标注图像 的真实类 别分布， 函数 表示所述分类 器输出的源域弱增强样本类别概 率分布， 表示源域 有标注图像的标签样本的合 集；权　利　要　求　书 1/4 页 2 CN 115471739 A 2B12)构建自监督对比损失： 构建所述目标域图像的目标域强增强样本 和目标域弱增 强样本 以计算对比损失Lssl： 其中， 其中sim( ·)是相似性度量函数， θ是缩放因子， A∈{0， 1}是一个指示函数， 用于 评估k与是否等于j， B表示 一次训练所选取的样本数； B13)构建已知类识别损失为： 其中， μ表示一次训练内满足已知类阈值选择要求的样本比例， H( ·)表示交叉熵损失， 为由所述目标域弱增强样本 筛选得到的目标域已知类伪标签的合集， ind表示 所述目标域弱增强样本 由所述已知 类伪标签筛选后所属的类别， 且ind∈{1， 2， ...， C}， 表示所述目标域强增强样本 的预测类别概率分布， 表示目标域强增强样本 的标签样本的合 集； B14)构建未知类识别损失： 未知类识别损失为高置信度未知类别样本的一致性分类损 失Lunknown： 其中， 为由所述目标域弱增强样本 筛选得到的目标域未知类伪标签的合 集， 表示所述目标域强增强样本 的预测类别概 率分布； B15)构建的总损失函数L 为： L＝Lsoftmax+α Lssl+β Lknown+γLunknown 其中， α， β 和γ为权衡模型优化目标的参数。 8.根据权利要求7所述的基于自监督对比学习的跨域遥感场景分类与检索方法， 其特 征在于， 所述目标域弱增强样本 由对所述无标注目标域图像 利用随机裁剪和翻转得 出； 所述目标域强增强样本 由对所述无标注目标域图像 利用随机增强方法得出； 所述 源域弱增强样本由对所述有标注源域图像 利用随机 裁剪和翻转得 出。 9.根据权利要求8所述的基于自监督对比学习的跨域遥感场景分类与检索方法， 其特 征在于， 所述深度域 适应学习网络的训练步骤 包括： B21)将所述源域弱增强样本、 目标域弱增强样本 和目标域强增强样本 输入到所 述特征编码网络f( ·)中， 以分别得到源域特征fis、 目标域弱增强图像特征fjw和目标域强 增强图像特 征 权　利　要　求　书 2/4 页 3 CN 115471739 A 3