(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211164282.X (22)申请日 2022.09.23 (71)申请人 杭州海康机 器人股份有限公司 地址 310051 浙江省杭州市滨江区丹 枫路 399号2号楼B楼3 04室 (72)发明人 尹宗宇　 (74)专利代理 机构 北京柏杉松知识产权代理事 务所(普通 合伙) 11413 专利代理师 丁芸　马敬 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 5/00(2006.01) G06V 10/774(2022.01) (54)发明名称 一种基于多任务学习的迁移学习方法、 装置 及系统 (57)摘要 本发明实施例提供了一种基于多任务学习 的迁移学习方法、 装置及系统， 通过第一差异和 第二差异值对辅助网络和主网络进行训练， 由于 辅助网络是对破坏的图像进行修复然后得到第 一差异， 可以不需要对图像进行额外的标注， 因 此本申请中仅需使用少量的经过标注的目标域 上的图像。 辅助网络和主网络的主干网络部分是 公用的， 基于第一差异和第二差异对神经网络进 行训练时， 可以通过优化第一差异不断调整主干 网络来提高其在目标域上的特征提取能力， 同时 通过第二差异来进一步调整主网络的其他网络 部分， 故， 训练后的主网络能够准确提取目标域 上的图像的图像特征， 因此， 本申请能够在降低 训练成本的情况下， 提高训练得到的目标主网络 的性能。 权利要求书2页 说明书10页 附图3页 CN 115511049 A 2022.12.23 CN 115511049 A 1.一种基于多任务学习的迁移学习方法， 其特 征在于， 所述方法包括： 获取目标域上的第一图像数据集和第二图像数据集， 其中， 所述第二图像数据集为对 所述第一图像数据集中的图像进行破坏得到的； 将所述第二图像数据集输入至 辅助网络中进行修复， 得到第三图像数据集； 将所述目标域上的经过标注的第四图像数据集输入至主网络 中， 得到所述第四图像数 据集各图像的预测值； 基于第一差异和第二差异训练所述辅助网络和所述主网络； 其中， 所述第一差异为所 述第三图像数据集与所述第一图像数据集的差异； 所述第二差异为所述目标域上的第四图 像数据集的标注值与所述第四图像数据集各图像的预测值差异训练； 所述辅助网络和所述 主网络中的主干网络是公用的。 2.根据权利要求1所述的方法， 其特征在于， 所述获取目标域上的第一图像数据集， 包 括： 获取目标域上的目标 数据集； 对所述目标 数据集中的图像进行 标准化处理和/或数据增强， 得到第一图像数据集。 3.根据权利要求1所述的方法， 其特征在于， 所述获取目标域上的第二图像数据集， 包 括： 在所述第一图像数据集的图像上叠加噪声块， 得到第二图像数据集。 4.根据权利要求1所述的方法， 其特征在于， 所述基于第 一差异和第 二差异训练所述辅 助网络和所述主网络， 包括： 通过所述第一差异， 计算图像修复损失； 所述图像修复损失和所述差异负相关； 通过所述第二差异， 计算预测损失； 所述预测损失与所述差异负相关； 基于所述图像修复损失和所述预测损失， 计算总损失； 基于所述总损失， 训练所述辅助网络和所述主网络 。 5.一种基于多任务学习的迁移学习装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取目标域上的第 一图像数据集和第 二图像数据集， 其中， 所述第二图 像数据集 为对所述第一图像数据集中的图像进行破坏得到的； 修复模块， 用于将所述第二图像数据集输入至辅助网络中进行修复， 得到第三图像数 据集； 预测模块， 用于将所述目标域上的经过标注的第 四图像数据集输入至主网络中， 得到 所述第四图像数据集各图像的预测值； 训练模块， 用于基于第一差异和第 二差异训练所述辅助网络和所述主网络； 其中， 所述 第一差异为所述第三图像数据集与所述第一图像数据集的差异； 所述第二差异 为所述目标 域上的第四图像数据集的标注值与所述第四图像数据集各图像的预测值差异训练； 所述辅 助网络和所述主网络中的主干网络是公用的。 6.根据权利要求5所述的装置， 其特征在于， 所述获取模块具体用于获取目标域上的目 标数据集； 对所述目标数据集中的图像进 行标准化处理和/或数据增强， 得到第一图像数据 集； 在所述第一图像数据集的图像上叠加噪声块， 得到第二图像数据集。 7.根据权利要求5所述的装置， 其特征在于， 所述训练模块具体用于通过所述第一差权　利　要　求　书 1/2 页 2 CN 115511049 A 2异， 计算图像修复损失； 所述图像修复损失和所述差异负相关； 通过所述第二差异， 计算预测损失； 所述预测损失与所述差异负相关； 基于所述图像修复损失和所述预测损失， 计算总损失； 基于所述总损失， 训练所述辅助网络和所述主网络 。 8.一种基于多任务学习的迁移学习系统， 其特征在于， 所述系统包括如用于实现权利 要求1‑4任一所述的方法步骤的辅助网络和主网络 。 9.一种电子设备， 其特征在于， 包括处理器、 和存储器， 其中， 存储器， 用于存放计算机 程序； 处理器， 用于执 行存储器上所存放的程序时， 实现权利要求1 ‑4任一所述的方法步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质内存储有计算机 程序， 所述计算机程序被处 理器执行时实现权利要求1 ‑4任一所述的方法步骤。权　利　要　求　书 2/2 页 3 CN 115511049 A 3