(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211012661.7 (22)申请日 2022.08.23 (71)申请人 上海交通大 学 地址 200240 上海市闵行区东川路80 0号 (72)发明人 杨华　杨锦海　 (74)专利代理 机构 上海恒慧知识产权代理事务 所(特殊普通 合伙) 31317 专利代理师 徐红银　张琳 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/74(2022.01) G06V 10/40(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于相似性正则化类内挖掘的跨粒度 小样本学习方法 (57)摘要 本发明提供一种基于相似性正则化类内挖 掘的跨粒度小样本学习方法， 包括： 利用图像特 征提取网络生成训练图像样本特征； 实施第一优 化环， 利用弱监督对深度学习模 型的粗粒度类别 间语义辨识性进行约束； 实施第二优化环， 通过 对称的特征嵌入器和非对称的特征预测器， 实现 粗粒度类别内部的相似性正则化； 将第一优化环 与第二优化环损失相加， 对整个网络结构进行端 到端的误差反向传播， 对网络参数进行优化； 利 用场景式微调使得到的图像特征提取网络适应 小样本分类任务， 最终得到细粒度小样本分类模 型。 本发明联合并改进弱监督和自监督两种学习 范式的协同优化， 同时考虑粗粒度类别的类内和 类间辨识性， 能得到更具有细粒度辨识能力的小 样本分类模型。 权利要求书3页 说明书9页 附图1页 CN 115359294 A 2022.11.18 CN 115359294 A 1.一种基于相似性 正则化类内挖掘的跨粒度小样本学习方法， 其特 征在于， 包括： 利用图像特 征提取网络生成训练图像样本特 征； 基于所述图像样本特征， 实施第一优化环， 利用弱监督对深度学习模型的粗粒度类别 间的语义 辨识性进行约束； 基于所述图像样本特征， 实施第二优化环， 通过对称的特征嵌入器和非对称的特征预 测器， 实现粗粒度类别内部的相似性 正则化约束； 将所述第一优化环与 所述第二优化环两部分损失相加， 对整个网络结构进行端到端的 误差反向传播， 对网络参数进行优化， 得到优化的图像特 征提取网络； 利用场景式微调使得所述优化的图像特征提取网络适应小样本分类任务， 最终得到细 粒度小样本分类模型。 2.根据权利要求1所述的一种基于相似性正则化类内挖掘的跨粒度小样本学习方法， 其特征在于， 所述利用图像特 征提取网络生成训练图像样本特 征， 包括： 构建所述图像特 征提取网络； 定义数据增广集 合； 训练集中的图像样本基于所述数据增广集合和所述图像特征提取网络， 生成隐层视 图。 3.根据权利要求2所述的一种基于相似性正则化类内挖掘的跨粒度小样本学习方法， 其特征在于， 还 包括如下一种或多种选择： ‑所述图像特征提取网络包括若干有监督的深度 卷积神经网络和输出为设定维度 数据 的全局平均池化层； 输入图像在所述深度卷积神经网络中， 减小 特征分辨率， 同时拓宽特征 通道数， 提取出高维特征； 所述高维特征通过全局平均池化层， 对每个通道的特征分别取全 局平均， 最终得到设定维度的特 征向量； ‑所述数据增广集 合包括至少五组图像 变化技术， 分别为： 随机变形裁剪： 对于任意输入图像， 随机采取其一部分， 该部分大小范围限制在全图的 20％‑100％以内， 并重采样至所述图像特 征提取网络所需的指定大小； 随机色彩抖动： 对于任意输入图像， 以设定的概率对其进行随机色彩变换， 所述色彩变 换包括调整亮度、 对比度、 饱和度和色调的一种或多种； 随机灰度转换： 对于任意输入图像， 以设定的概率对其进行随机灰度转换， 将彩色图像 转换为各通道值相同的灰度图像； 随机高斯模糊： 对于任意输入图像， 以设定的概率对其进行随机高斯模糊， 所述高斯核 标准差范围在[0.1,2.0]之间； 随机水平翻转： 对于任意输入图像， 以设定的概 率对其进行随机水平翻转； ‑所述训练集中的图像样本基于数据增广集合和图像特征提取网络， 生成隐层视图， 包 括： 对训练集的每个图像样本， 在每一 次迭代中均 经过所述数据增广集合采样得到两个增 广函数； 基于所述两个增广函数， 将每 个图像样本投射 为正样本对； 对所述正样本对中的两个样本矩阵， 分别利用图像特征提取网络将其从样本空间投射 为设定维数的实数向量空间， 得到 两个增广的训练图像样本特 征， 称为隐层视图。权　利　要　求　书 1/3 页 2 CN 115359294 A 24.根据权利要求1所述的一种基于相似性正则化类内挖掘的跨粒度小样本学习方法， 其特征在于， 所述基于所述图像样 本特征， 实施第一优化环， 利用弱监督对深度学习模型的 粗粒度类别间语义 辨识性进行约束， 包括： 基于全连接神经网络和Softmax激活层， 形成粗粒度类别分类 器； 将所述训练图像样本特征作为输入， 利用所述粗粒度类别分类器得到粗粒度类别概 率； 基于粗粒度类别概率， 执行粗粒度图像分类任务， 计算交叉熵损失， 作为粗粒度类间语 义监督， 并将误差反向传播。 5.根据权利要求4所述的一种基于相似性正则化类内挖掘的跨粒度小样本学习方法， 其特征在于， 所述基于粗粒度类别概 率， 执行粗粒度图像分类任务， 计算交叉熵损失， 包括： 设粗粒度类别的集合为 输入的隐层视图v∈Rd， 则分类器 执行从特征空间到 类别标签空间的映射 并得到前向传播输出qi： 记qi的第j维值为qi,j， 以及图像样本的真实粗粒度标签为yj， 则粗粒度分类的交叉熵损 失计算如下： 6.根据权利要求2所述的一种基于相似性正则化类内挖掘的跨粒度小样本学习方法， 其特征在于， 基于所述图像样本特征， 实施第二优化环， 通过对称的特征嵌入器和非对称的 特征预测器， 实现粗粒度类别内部的相似性 正则化约束， 包括： 基于多层感知机， 构建三层的特 征嵌入器和双 层的特征预测器； 基于所述特征嵌入器和特征预测器对所述 隐层视图进行对称的嵌入预测， 其中， 利用 所述特征嵌入器将所述隐层视图投射为嵌入向量； 利用所述特征预测器执行所述嵌入向量 之间的相互预测， 获得预测向量； 计算一个嵌入向量的对应的预测向量与另一个嵌入向量 本身的余弦相似度。 7.根据权利要求6所述的一种基于相似性正则化类内挖掘的跨粒度小样本学习方法， 其特征在于， 对所述隐层视图进 行对称的嵌入预测， 其中， 计算取得粗粒度内部自监督损失 为： 其中， stopgrad为梯度截断操作， 防止两侧样本出现特征崩塌现象， p1和z1分别为一个 隐层视图对应的预测向量和嵌入向量； p2和z2分别为另一个隐层视图对应的预测向量和嵌 入向量。 8.根据权利要求1所述的一种基于相似性正则化类内挖掘的跨粒度小样本学习方法， 其特征在于， 所述利用场景式微调使得所述优化的图像特征提取网络适应小样本分类任 务， 最终得到细粒度小样本分类模型， 包括： 从训练集中采样若干小样本分类场景； 使用经过第一优化环和第二优化环优化后的图像特征提取器从所述若干个小样本分 类场景中提取图像特 征；权　利　要　求　书 2/3 页 3 CN 115359294 A 3