(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211374754.4 (22)申请日 2022.11.04 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号 (72)发明人 鲁一鸣　任仲乐　侯彪　任博　 杨晨　焦李成　 (74)专利代理 机构 西安智大知识产权代理事务 所 61215 专利代理师 贺建斌 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/778(2022.01) G06V 10/26(2022.01) G06T 3/40(2006.01) (54)发明名称 基于自监督拼图学习的SAR图像地物分类方 法 (57)摘要 一种基于自监督拼图学习的SAR图像地物分 类方法， 利用自监督学习的思想挖掘无标签数据 自身的特性作为监督信息， 提升场景分类模型的 特征提取能力， 实现地物特征的有效表示； 设计 拼图作为上游拼图任务在无标签的数据上进行 训练得到 上游任务预训练模型， 迁移预训练模型 并对下游场景分类任务进行微调， 在下游场景分 类任务中使用少量有 标签的样 本， 并在数景真实 大场景下检验场景分类模型的分类性能， 可以缓 解有标签训练样本不足以及地物目标表现形式 多样导致地物特征判别性不足的缺陷， 提升场景 分类模型的分类性能。 权利要求书3页 说明书9页 附图6页 CN 115527071 A 2022.12.27 CN 115527071 A 1.一种基于自监督拼图学习的SAR图像地物分类方法， 其特征在于： 利用自监督学习的 思想挖掘无标签数据自身的特性作为监督信息， 实现地物特征的有效表示； 设计拼图作为 上游任务在无标签的数据上进 行训练得到上游拼图任务预训练模型， 迁移预训练模型并对 下游场景分类任务进行微调， 在下游场景分类任务中使用少量有标签的样本， 并在数景真 实大场景 下检验场景分类模型的分类性能。 2.一种基于自监 督拼图学习的SAR图像地物分类方法， 其特 征在于， 包括以下步骤： 步骤1， 输入SAR图像， 对每一类区域随机截取固定尺寸的图像块组成训练集以及验证 集； 步骤2， 将列表[1,2,3,4,5,6,7,8,9 ]进行随机打乱， 并计算打乱后的最大汉明距离， 选 取最大汉明距离前八十个的排列 作为排列集； 步骤3， 将步骤1得到的图像块切分为3x3的小块， 切割时采取有间隙的切割方式， 对得 到的9个图像块单独进行归一 化处理； 步骤4， 从步骤2得到的排列集中随机选择一个排列作为排列顺序， 将步骤3 中经过数据 处理之后的9个图像块按照选出 的排列顺序送入上游任务网络中进行预测， 目标是得到所 选排列的索引； 步骤5， 从步骤1中得到的训练集样本 中每类随机选用20张图像作为下游场景分类任务 的训练样本并进 行数据处理； 将上游拼图任务模型作为下游场景分类任务的预训练模型进 行迁移学习， 对下游场景分类任务进行微调； 步骤6， 将完整的SAR图像按照有覆盖的切割方式切割为与 步骤1同样尺寸的小块， 利用 下游场景分类任务模型进行分类， 对分类后特定的类别赋予特定的颜色， 按照切割的方式 拼接成大图； 步骤7， 对于SAR图像的未知类， 找出未知类在标签图上对应的区域， 在结果图上相应的 区域覆盖为未知类的颜色， 将结果图转换为索引图； 步骤8， 将得到结果图与SAR图像的标签图计算评价指标， 计算每个类别的评价指标 CPA、 Recal l、 F1score， 以及整体评价指标PA、 Kap pa、 MIoU、 FWIoU。 3.根据权利要求2所描述的方法， 其特 征在于， 所述 步骤1具体为： 输入SAR图像， 从水域、 森林、 建筑以及农田四个类别的区域中按照尺寸为50x50、 75x75、 100x100、 12 0x120、 150x150、 200x200的大小分别从每个类别中取500个图像块， 以探 究图像的尺 寸对于SAR图像地物分类的影响， 对于每一组实验按照 8： 2的比例划分训练集以 及验证集。 4.根据权利要求2所描述的方法， 其特 征在于， 所述 步骤2具体为： 为上游拼图任务设置排列集， 对于3x3拼图排列问题， 总共可能的排列有9！ ＝362880 种， 需要与 原始排列差异大的排列方式， 采用了最大汉明距离， 汉明距离是使用在数据传输 差错控制编码里面的， 表示两个相同长度字符串对应位置的不同字符 的数量， 以d(x,y)表 示两个字x， y之间的汉明距离， 对两个字符串进行异或运算， 并统计结果为 1的个数， 作为排 列的汉明距离 。 5.根据权利要求2所描述的方法， 其特 征在于， 所述 步骤3具体为： 对图像进行剪裁， 得到9个图像块， 其中超出图像的像素值设置成255； 对图像进行预处 理， 对每个图像块进行 单独的归一 化处理， 计算每 个图像块的均值和标准差 。权　利　要　求　书 1/3 页 2 CN 115527071 A 26.根据权利要求2所描述的方法， 其特 征在于， 所述 步骤4具体为： 上游拼图任务网络是对Alexnet的改进， 对每一层 卷积层的卷积核个数进行了更改， 采 用了更少的参数， 在第一个全连接层(fc6)之前都是共享权重的； 随机从步骤2排列集中选 择一个排列， 对步骤3中经过预 处理后的9个图像块按照选择排列的顺序依次送入上游任务 网络， 所有图像块在经过第二层全连接之前的操作相同， 经过第一层全连接层(fc6)后将9 个图像块的输出整合在一起形成fc7的输入， 再经过两层 全连接层以及softmax分类器后得 到最终输出值， 目标是预测所选排列的索引值， 计算损失反向传播对网络参数进 行更新， 判 断是否满足到 达一定的训练轮数的终止条件； 为预先定义好的排列集分配一个索引， 最终上游拼图任务网络返回一个向量， 包含每 个索引的概 率值， 上游拼图任务网络的输出看作是对象空间排列的条件概 率密度函数； 其中S代表 所选出的排列， Ai代表的是第i个图像块， Fi形成中间的特征表示， p代表条件 概率密度函数， 目标 是使特征Fi具有可以识别图像块之间相对位置的语义属性； 将配置S中每一部分生成一个位置列表是S＝(L1,L2,…,L9)， 那么p(S|F1,F2,…,F9)就 写作： Li代表的是第i个图像块位置， Fi代表中间的特征表示， p代表概率密度函数； 这样每个 图像块的位置都由相应的特 征决定； 在上游拼图任务网络中使用交叉熵损 失函数， 交叉熵是信息论中的概念， 给定两个概 率分布d和e， 通过 e来表示d的交叉熵为： d代表真实分布的概 率分布， e代 表非真实分布的概 率分布， H代 表交叉熵； 使用的交叉熵损失函数定义 为： 其中yi为标签值， 为所选排列的索引值， y ′i为预测的索引值， n代 表类别。 7.根据权利要求2所描述的方法， 其特 征在于， 所述 步骤5具体为： 下游场景分类任务的训练集是从上游拼图任务的训练集中每类随机抽取20张图片组 成的， 其余作为验证集； 下游场景分类任务网络全连接层前 的部分是与上游拼图任务网络 一致的， 使用上游拼图任务网络的权重来初始 化下游场景分类任务网络最后一层卷积层前 面的部分并冻 结， 在下游场景分类任务训练的时候不进行梯度的更新， 让最后一层卷积层 的部分与新的全连接层一起参与训练； 下游场景分类任务是当作有监督的分类任务， 使用权　利　要　求　书 2/3 页 3 CN 115527071 A 3