(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210640838.1 (22)申请日 2022.06.08 (71)申请人 马上消费金融股份有限公司 地址 401121 重庆市渝北区黄山大道中段 52号渝兴广场B2栋4至8楼 (72)发明人 吕乐宾　王洪斌　权佳成　李宽　 (74)专利代理 机构 北京国昊天诚知识产权代理 有限公司 1 1315 专利代理师 付先智 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/74(2022.01) G06V 10/40(2022.01) G06V 10/82(2022.01)G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 基于对比学习的模型训练方法及装置 (57)摘要 本说明书实施例提供了基于对比学习的模 型训练方法及装置， 其中， 一种基于对比学习的 模型训练方法包括： 获取第一样 本图像和第二样 本图像， 将第一样本图像和第二样 本图像输入待 训练模型进行模型训练， 得到图像处理模型； 所 述模型训练的具体方式有： 对第一样本图像和第 二样本图像进行图像特征加权计算得到第一加 权向量和第二加权向量； 对所述第一加权向量进 行特征提取， 得到第一特征提取向量， 对所述第 二加权向量进行特征提取， 得到第二特征提取向 量， 对所述第一特征提取向量和所述第二特征提 取向量进行特征相似度计算， 得到特征相似度； 将特征相似度与实际特征相似度输入损失函数 计算对比损失， 并基 于对比损失进行参数 更新。 权利要求书3页 说明书19页 附图7页 CN 115115904 A 2022.09.27 CN 115115904 A 1.一种基于对比学习的模型训练方法， 其特 征在于， 所述方法包括： 获取第一样本图像和第 二样本图像； 所述第 二样本图像为所述第 一样本图像的对比样 本； 将所述第一样本图像和所述第 二样本图像输入待训练模型进行模型训练， 得到图像处 理模型； 其中， 所述待训练模型包括权重计算模块、 第 一神经网络、 第二神经网络和相似度计算 模块； 所述模型训练的具体方式有： 所述权重计算模块对所述第 一样本图像和所述第 二样本图像进行图像特征加权计算， 得到所述第一样本图像的第一加权向量和所述第二样本图像的第二加权向量； 所述第一神经网络对所述第 一加权向量进行特征提取， 得到第一特征提取向量， 以及， 所述第二神经网络对所述第二加权向量进行 特征提取， 得到第二特 征提取向量； 所述相似度计算模块对所述第一特征提取向量和所述第二特征提取向量进行特征相 似度计算， 得到特 征相似度； 将所述特征相似度与实际特征相似度输入损失函数计算对比损失， 以及基于所述对比 损失对所述权重计算模块、 所述第一神经网络、 所述第二神经网络和所述相似度计算模块 进行参数更新； 所述 实际特征相似度根据所述对比样本与所述第一样本图像的样本 关系确 定。 2.根据权利要求1所述的基于对比学习的模型训练方法， 其特征在于， 所述权重计算模 块， 采用如下 方式进行图像特 征加权计算： 对所述第 一样本图像进行向量转化， 得到第一图像向量， 以及， 对所述第 二样本图像进 行向量转化， 得到第二图像向量； 计算所述第 一图像向量中向量元素与所述第 二图像向量的相似度， 得到第 一正向权重 向量， 以及， 计算所述第二图像向量中 向量元素与所述第一图像向量的相似度， 得到第二正 向权重向量； 基于所述第一正向权重向量计算第一反向权重向量， 以及， 基于所述第二正向权重向 量计算第二反向权 重向量； 基于所述第一正向权重向量和所述第一反向权重向量对所述第一图像向量进行加权 处理， 得到第一正向加权向量和 第一反向加权向量， 以及， 基于所述第二正向权重向量和所 述第二反向加权向量对所述第二图像向量进 行加权处理， 得到第二正向加权向量和第二反 向加权向量； 对所述第一正向加权向量和所述第 一反向加权向量进行拼接处理， 得到所述第 一加权 向量， 以及， 对所述第二正向加权向量和所述第二反向加权向量进 行拼接处理， 得到所述第 二加权向量。 3.根据权利要求2所述的基于对比学习的模型训练方法， 其特征在于， 所述基于所述第 一正向权重向量和所述第一反向权重向量对所述第一图像向量进 行加权处理， 得到第一正 向加权向量和第一反向加权向量， 包括： 将所述第一正向权重向量中的正向权重值与所述第一图像向量中向量元素的特征值 进行对位相乘， 得到所述第一正向加权向量； 以及， 将所述第一反向权重向量中的反向权重 值与所述第一图像向量中向量元 素的特征值进行对位相乘， 得到所述第一反向加权向量；权　利　要　求　书 1/3 页 2 CN 115115904 A 2以及， 所述基于所述第 二正向权重向量和所述第 二反向权重向量对所述第 一图像向量 进行加权处 理， 得到第二 正向加权向量和第二反向加权向量， 包括： 将所述第二正向权重向量中的正向权重值与所述第二图像向量中向量元素的特征值 进行对位相乘， 得到所述第二正向加权向量； 以及， 将所述第二反向权重向量中的反向权重 值与所述第二图像向量中向量元 素的特征值进行对位相乘， 得到所述第二反向加权向量。 4.根据权利要求2所述的基于对比学习的模型训练方法， 其特征在于， 所述第 一加权向 量中向量元素的数目， 等于所述第一正向加权向量中向量元素的数目与所述第一反向加权 向量中向量元 素的数目之和； 以及， 所述第二加权向量中向量元素的数目， 等于所述第二正向加权向量中向量元素 的数目与所述第二反向加权向量中向量元 素的数目之和。 5.根据权利要求2所述的基于对比学习的模型训练方法， 其特征在于， 所述第 一反向权 重向量中第一向量元素 的反向权重值， 等于1减去所述第一正向权重 向量中与所述第一向 量元素对位的第二向量元素 的正向权重值； 其中， 所述第一向量元素与所述第二向量元素 对应于所述第一样本图像的同一特 征点； 以及， 所述第 二反向权重向量中第 三向量元素的反向权重值， 等于1减去所述第 二正向 权重向量中与所述第三向量元素对位的第四向量元素 的正向权重值； 其中， 所述第三向量 元素与所述第四向量元 素对应于所述第二样本图像的同一特 征点。 6.根据权利要求1所述的基于对比学习的模型训练方法， 其特征在于， 所述对比样本包 括正例样本和负例样本； 其中， 所述 正例样本， 通过对所述第一样本图像进行图像增强处 理获得； 所述负例 样本包括： 训练样本图像集中与 所述第一样本图像的图像类别不同的样本图 像， 或者， 所述训练样本图像集中与所述第一样本图像的图像相似度小于相似度阈值的样 本图像。 7.根据权利要求6所述的基于对比学习的模型训练方法， 其特征在于， 所述正例 样本与 所述第一样本图像的样本关系为正例样本 关系， 所述负例样本与所述第一样本图像的样本 关系为负例样本关系； 其中， 若所述样本关系为 正例样本关系， 所述实际特 征相似度为1； 若所述样本关系为负例样本关系， 所述实际特 征相似度为0 。 8.一种图像分类方法， 其特 征在于， 所述方法包括： 将第一图像和第二图像输入相似度计算模型进行特征相似度计算， 得到特征相似度； 其中， 所述相似度计算模型包括权重计算模块、 第一神经网络、 第二神经网络和相似度计算 模块， 所述特征相似度计算的方式有： 所述权重计算模块对所述第一图像和所述第二图像 进行图像特征权重计算， 得到所述第一图像的第一加权向量和所述第二图像的第二加权向 量； 所述第一神经网络对所述第一加权向量进行特征提取， 得到第一特征提取向量， 以及， 所述第二神经网络对所述第二加权向量进 行特征提取得到第二特征提取向量； 所述相似度 计算模块基于所述第一特征提取向量和所述第二特征提取向量进 行特征相似度计算， 得到 所述特征相似度； 根据所述特 征相似度确定所述第一图像与所述第二图像的分类结果。 9.一种基于对比学习的模型训练装置， 其特 征在于， 所述装置包括：权　利　要　求　书 2/3 页 3 CN 115115904 A 3