(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210596296.2 (22)申请日 2022.05.30 (71)申请人 大连理工大 学 地址 116024 辽宁省大连市甘井 子区凌工 路２ 号 (72)发明人 王智慧　李豪杰　王宁　 (74)专利代理 机构 辽宁鸿文知识产权代理有限 公司 21102 专利代理师 许明章　王海波 (51)Int.Cl. G06T 11/40(2006.01) G06T 11/00(2006.01) G06T 5/50(2006.01) G06T 7/73(2017.01) G06T 13/00(2011.01)G06V 10/56(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的动画视频线稿上色方 法 (57)摘要 本发明属于计算机视觉中的图像上色领域， 涉及一种基于深度学习的动画视频线稿上色方 法， 可应用于图像处理场景。 该上色算法依据前 帧与首帧， 使用区域定位模块和特征增强模块增 强当前线稿帧关键转换区域的着色， 通过生成对 抗网络实现高质量的动画帧上色。 本发明提出的 多尺度欧氏距离差图， 有效定位了几何变换区 域， 同时设计了两种特征增强模块降低了模型计 算成本。 实验结果表明， 与其它的动画线稿以及 视频动画线稿上色方法相比， 我们的方法可以在 实现更快的速度的同时， 得到更好的上色效果。 权利要求书2页 说明书6页 附图4页 CN 114913273 A 2022.08.16 CN 114913273 A 1.一种基于深度学习的动画视频线稿上色方法， 其特征在于， 分为三个阶段来实现动 画视频线稿的上色； 第一阶段为基于欧式距离差图和卷积神经网络的视频帧变化区域定 位， 第二阶段为基于注意力机制的变化区域特征增强， 第三阶段为基于生成对抗网络的特 征图片生成， 包括如下步骤： 第一阶段， 基于欧式距离 差图和卷积神经网络的视频帧变化区域定位 步骤1， 线稿帧通过 卷积神经网络得到多尺度欧式距离 差图 输入目标帧、 前帧与首帧线稿， 计算得到三张图片的欧式距离图， 再分别将前帧与目标 帧、 首帧与目标帧的欧式距离图逐像素相减， 得到两张 欧式距离差图； 将所得到的两张 欧式 距离差图输入卷积神经网络， 分别得到前帧与首帧的多尺度欧式距离 差图； 步骤2， 彩色帧通过 卷积神经网络得到高维特 征图 将两张参 考彩图即前帧与首帧通过 卷积神经网络， 得到前帧与首帧的高维特 征图； 第二阶段， 基于注意力机制的变化区域特 征增强 若选择轻量化模块： 步骤3， 通过注意力机制得到参 考特征图 将前帧与首帧的多尺度欧式距离差图与高维特征图按尺度成对通过注意力 机制计算， 得到首帧的对目标帧的彩色映射特征与前帧的对目标帧的彩色映射特征， 将彩色映射特征 按尺度成对在通道层面叠加， 得到最终的多维参 考特征图； 若选择复杂化模块： 步骤4， 获取掩码处 理的图片 将在步骤1中所得到前帧的多尺度 欧式距离差 图进行二值化； 将前帧的二值化欧氏距 离差图分别与前帧线稿、 目标线稿、 前帧彩图、 目标彩图进行元素相乘， 得到前帧掩码遮挡 的前帧线稿、 前帧掩码遮挡的目标线稿、 前帧掩码遮挡的前帧彩图、 前帧掩码遮挡的目标彩 图； 将首帧的二值化欧氏距离差图分别与首帧线稿、 目标线稿、 首帧彩图、 目标彩图进行元 素相乘， 得到首帧掩码遮挡的首帧线稿、 首帧掩码遮挡的目标线稿、 首帧掩码遮挡的首帧彩 图、 首帧掩码遮挡的目标彩图； 步骤5， 利用相似性矩阵得到参 考特征图 将在步骤4中得到的前帧掩码遮挡的前帧线稿与 前帧掩码遮挡的目标线稿进行矩阵变 形， 使得二者变形为一维向量， 再进行相乘得到前帧相似性矩阵； 再将步骤4中得到的前帧 掩码遮挡的前帧彩图进行矩阵变形， 将其与前帧相似性矩阵进行矩阵相乘后， 得到根据前 帧预测的当前帧的参考特征图； 将在步骤4中得到的首帧掩码遮挡的首帧线稿与首帧掩码 遮挡的目标线稿进行矩阵变形， 使得二者变形为一维向量， 再进行相乘得到首帧相似性矩 阵； 再将步骤4中得到的首帧掩码遮挡的首帧彩图进 行矩阵变形， 将其与首帧相似性矩阵进 行矩阵相乘后， 得到根据首帧预测的当前帧的参考特征图； 最终将根据前帧与首帧预测的 当前帧的参考特征图按尺度成对在通道层面叠加， 得到初步的多维参考特征图； 再将其与 上述轻量 化模块中得到的多维参 考特征图进行通道叠加， 得到最终的多维参 考特征图； 第三阶段， 基于生成对抗网络的特 征图片生成 步骤6， 利用生成对抗网络预测彩色目标帧 将第二阶段轻量化模块或复杂化模块得到的最终的多维参考特征图按尺度输入生成 对抗网络的编码器， 同时向编码器输入目标帧线稿； 将生成的结果输入鉴别器经过训练得权　利　要　求　书 1/2 页 2 CN 114913273 A 2到目标帧的上色图像。 2.根据权利要求1所述基于深度学习的动画视频线稿上色方法， 其特征在于， 在步骤6 中， 使用以下损失函数对生成器生成的彩色目标帧与真实彩色目标帧的差别进行量化与训 练： 注意力损失： 它可约束网络根据欧式距离差图对几何变换区域的着色给予更多的关 注： 其中， (前帧线稿， 目标线稿， 首帧线稿， 前帧彩图， 首帧彩图)， G是生成器， Ref是 根据前帧或首帧预测的当前帧的参考特征图， 是根据欧式距离差图得到的几何变换 区域， 它是一个用来指导||Yg‑Y||1和||Ref‑Y||1的权重图； 在计算Lattention时， 中的像 素将会反向传播； Y是真实彩色目标帧， 是真实分布， 是生成分布； 感知损失： 利用感知损失来 惩罚结果Yg和真实彩色目标帧Y之间的特 征重建不匹配； 其中， φi表示来自预训练的VGG ‑16网络的第i层的激活图； 从预训练的VGG ‑16网络中选 择层relu1‑2， relu2‑2， relu3‑3和relu4‑3； 风格损失： 与感知损失不同的是， 格拉姆 矩阵被用来测量高维特 征图的差异； 其中， 是由激活图φi构建的格拉姆矩阵； 从预训练的VGG ‑16网络中选择层relu2‑2， relu3‑3和relu4‑3； 对抗性损失： 使用WGAN ‑GP的对抗 性损失， 计算方式如下： 在对抗性损失中， 一个额外的漂移损失被结合进来， 以保持判别器的训练一 致性： 其中， 是真实帧的分布 和生成的分布 之间的内插点的分布； 设定α1＝10， α2＝1e‑ 3； 分布 中的插值 点 定义为： 模型整体的损失函数被定义 为： 其中λattention， λperceptual， λstyle和 λadv分别是注意力损失， l1损失， 感知损失， 风格损 失和对抗 性损失的参数。权　利　要　求　书 2/2 页 3 CN 114913273 A 3