(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210658065.X (22)申请日 2022.06.10 (71)申请人 合肥工业大 学 地址 230009 安徽省合肥市屯溪路193号 (72)发明人 陆阳　赵明　杨帆　白婷　闻斌　 张立　卫星　 (74)专利代理 机构 上海汉之律师事务所 31378 专利代理师 冯华 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/74(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 图像描述模型的训练和描述方法、 系统、 设 备及存储介质 (57)摘要 本发明提供图像描述模型的训练和描述方 法、 系统、 设备及存储介质， 属于图像识别技术领 域。 图像描 述模型的训练方法包括： 获取训练集， 训练集包括带有标签的源域图像和不带标签的 目标域图像； 获取跨域图像描述模型， 跨域图像 描述模型包括风格迁移模块、 对比学习模块和目 标检测模块； 基于训练集对风格迁移模块、 对比 学习模块和目标检测模块进行联合训练， 获得训 练好的跨域图像描述模型， 跨域图像描述模型基 于源域图像的标签分类对具有目标域图像风格 的图像进行目标识别。 本发明能够最大化减小对 比损失以及源域和目标域之间的差异， 有效提升 了不同域下的检测能力， 不需对 人工采集的目标 域图像进行标注， 便能实现对目标域图像进行描 述。 权利要求书2页 说明书11页 附图8页 CN 115147644 A 2022.10.04 CN 115147644 A 1.一种跨 域图像描述模型的训练方法， 其特 征在于， 包括： 获取训练集， 所述训练集包括带有标签的源域图像和不带 标签的目标域图像； 获取跨域图像描述模型， 所述跨域图像描述模型包括风格迁移模块、 对比学习模块和 目标检测模块； 基于所述训练集对所述风格迁移模块、 对比学习模块和目标检测模块进行联合训练， 获得训练好的所述跨域图像描述模型， 所述跨域图像描述模型基于源域图像的标签分类对 具有目标域图像风格的图像进行目标识别。 2.根据权利要求1所述跨域图像描述模型的训练方法， 其特征在于， 所述基于所述训练 集对所述风格迁移模块、 对比学习模块和目标检测模块进行联合训练， 获得训练好的所述 跨域图像描述模型， 包括： 将所述训练集输入所述跨域图像描述模型， 获得所述风格迁移模块、 对比学习模块和 目标检测模块的损失函数， 计算得到所述 跨域图像描述模型总损失函数； 采用小批量随机梯度下降的方式， 将所述训练集按批次输入所述风格迁移模块、 对比 学习模块和目标检测模块进行迭代训练， 使所述总损失函数最小化， 获得训练好的跨域图 像描述模型。 3.根据权利要求2所述跨域图像描述模型的训练方法， 其特征在于， 所述将所述训练集 输入所述跨域图像描述模型， 获得所述风格迁移模块、 对比学习模块和目标检测模块的损 失函数， 计算得到所述 跨域图像描述模型总损失函数， 包括： 将所述训练集输入所述 跨域图像描述模型； 通过所述风格迁移模块对所述源域图像进行风格迁移， 将所述训练集中源域图像的风 格迁移为目标域图像风格， 根据带有目标域图像风格的源域图像与所述源域图像和目标域 图像的比对， 获得 所述风格迁移模块的第一损失函数Lneural； 通过所述对比学习模块的自监督对比学习， 获得所述训练集中图像的相似特征， 比对 特征获取所述对比学习模块的第二损失函数LNCE， 并基于所述源域图像的标签为具有相同 相似特征的所述目标域图像打上伪标签； 通过所述目标检测模块对所述训练集的图像进行目标识别， 获得对所述具有目标域图 像风格的源域图像和目标域图像的目标识别结果， 根据所述目标识别结果确定所述目标检 测模块的第三损失函数LSSD； 获得所述跨域图像描 述模型的总损失函数Ltotal， 所述总损失函数Ltotal为所述第一损失 函数Lneural、 第二损失函数LNCE和第三损失函数LSSD之和。 4.根据权利要求3所述跨域图像描述模型的训练方法， 其特征在于， 所述风格迁移模块 的第一损失函数Lneural为风格迁移时内容损失函数Lcontent和风格损失函数Lstyle的线性叠 加； 其中， 所述风格损失函数为所述 目标域图像和带有所述 目标域图像风格的源域图像之 间的风格特征之差， 所述内容损失函数Lcontent为所述源域图像和带有所述目标域图像风格 的源域图像之间的内容特 征之差。 5.根据权利要求3所述跨域图像描述模型的训练方法， 其特征在于， 所述通过所述对比 学习模块的自监督对比学习， 获得所述训练集中图像的相似特征， 比对特征获取所述对比 学习模块的第二损失函数LNCE， 并基于所述源域图像的标签为具有相同相 似特征的所述目 标域图像打上伪标签， 包括：权　利　要　求　书 1/2 页 2 CN 115147644 A 2对所述训练集中的图像进行两次锚点增强； 选取所述训练集中同一图像的两张锚点图像作为正样本， 将其他锚点图像作为负样 本； 对比所述正样本和 负样本， 计算获得所述对比学习模块的第二损失函数LNCE， 并获得所 述正样本对应图像的相似特 征； 根据所述训练集中图像的相似特征， 基于所述源域图像的标签为具有相同相似特征的 所述目标域图像打上伪标签。 6.根据权利要求3所述跨域图像描述模型的训练方法， 其特征在于， 所述通过所述目标 检测模块对所述训练集的图像进 行目标识别， 获得对所述具有目标域图像风格的源域图像 和目标域图像的目标识别结果， 根据所述目标识别结果确定所述目标检测模块的第三损失 函数LSSD， 包括： 通过所述目标检测模块的卷积神经网络提取所述训练集中图像的特征图， 获得所述训 练集中图像在不同卷积层下提取的特 征图； 使用卷积核对所述特征图进行检测， 获取所述训练集的图像中识别目标的定位信 息和 特征信息； 基于所述训练集中源域图像的标签和目标域图像的伪标签对齐所述训练集中图像的 特征信息， 获得 所述训练集中图像的分类信息； 基于所述训练集中图像的定位信 息和分类信 息， 计算获得所述目标检测模块的第 三损 失函数LSSD， 并获取所述训练集中图像的目标识别结果。 7.一种跨域图像描述方法， 其特征在于， 采用权利要求1至6任意一项所述跨域图像描 述模型的训练方法训练得到的跨 域图像描述模型， 所述 跨域图像描述方法包括： 获取图像数据； 将所述图像数据输入所述 跨域图像描述模型， 获取 所述图像数据的目标识别结果。 8.一种跨 域图像描述模型的训练系统， 其特 征在于， 包括： 数据获取单元， 用于获取训练集， 所述训练集包括带有标签的源域图像和不带标签的 目标域图像； 模型调用单元， 用于获取跨域图像描述模型， 所述跨域图像描述模型包括风格迁移模 块、 对比学习模块和目标检测模块； 联合训练单元， 基于所述训练集对所述风格迁移模块、 对比学习模块和目标检测模块 进行联合训练， 获得训练好的所述跨域图像描述模型， 所述跨域图像描述模型基于源域图 像的标签分类对具有目标域图像风格的图像进行目标识别。 9.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现权利要求1至7中任一项所 述方法的步骤。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。权　利　要　求　书 2/2 页 3 CN 115147644 A 3