(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210988431.8 (22)申请日 2022.08.17 (71)申请人 深圳数联天下智能科技有限公司 地址 518000 广东省深圳市南 山区粤海街 道高新区社区高新南七道20号深圳国 家工程实验室大楼B16 01 (72)发明人 陈仿雄　 (74)专利代理 机构 深圳市六加知识产权代理有 限公司 4 4372 专利代理师 唐梦云 (51)Int.Cl. G06T 3/00(2006.01) G06T 5/50(2006.01) G06T 7/73(2017.01) G06V 10/44(2022.01)G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 40/10(2022.01) G06Q 30/06(2012.01) (54)发明名称 训练衣服变形模 型的方法、 虚拟试衣 方法及 相关装置 (57)摘要 本申请实施例涉及图像处理技术领域， 公开 了一种训练衣服变形模型的方法、 虚拟试衣 方法 及相关装置， 该方法通过构建包括Transformer 模块、 特征匹配模块和变形模块的衣服变形网 络， 采用若干个图像组对应的第一模 特特征图和 第一衣服特征图对衣服变形网络进行训练， 得到 衣服变形模型。 利用Transformer模块的注意力 机制建立模 特图像和衣服图像 之间的特征联系， 可以得到具有全局稀疏特征的第一模特特征图 和第一衣服特征图， 两者中的稀 疏特征具有匹配 关联性， 从而可以筛选出更具有辨识度和代表性 的关联像素点。 变形模块依据这些关联像素点的 光流轨迹对衣服图像进行变形。 训练得到的衣服 变形模型能够使得变形后的衣服轮廓与人体相 适应， 还能使得衣服纹 理走向自然。 权利要求书2页 说明书17页 附图6页 CN 115439309 A 2022.12.06 CN 115439309 A 1.一种训练衣服变形模型的方法， 其特征在于， 衣服变形网络包括Transformer模块、 特征匹配模块和变形模块； 所述方法包括： 获取若干个图像组， 所述图像组包括衣服图像和模特图像， 所述模特图像中的模特穿 有所述衣服图像中的衣服； 将所述模特图像和衣服图像作为输入图像对， 将所述输入图像对输入所述 Transformer模块进行计算处 理， 得到第一模特 特征图和第一衣服特 征图； 将所述第一模特特征图和所述第一衣服特征图输入所述特征匹配模块进行特征匹配 关联， 得到关联矩阵， 所述关联矩阵反映模特和衣服之间的像素点关联匹配度； 所述变形模块 根据所述关联矩阵对所述衣服图像进行变形， 得到预测衣服变形图像； 采用损失函数计算所述预测衣服变形图像和真实衣服变形图像之间的损失， 并根据 所 述若干个图像组对应的损失和， 对所述衣服变形网络进 行迭代训练， 直至收敛， 得到所述衣 服变形模型， 其中， 所述真实衣服变形图像是通过从所述模特图像中提取衣服区域得到的。 2.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 对所述模特图像进行 人体关键点检测， 得到关键点图像； 所述将所述模特图像和衣服图像作为输入图像对， 包括： 将所述关键点图像和所述模特图像进行通道组合， 得到组合图像； 将所述组合图像和所述衣服图像作为所述输入图像对。 3.根据权利要求2所述的方法， 其特 征在于， 所述方法还 包括： 对所述模特图像进行人体解析， 得到解析图像， 并根据所述解析图像从所述模特图像 中提取躯 干区域， 得到模特躯 干图； 所述将所述关键点图像和所述模特图像进行通道组合， 得到组合图像， 包括： 将所述关键点图像和所述模特躯 干图进行通道组合， 得到所述组合图像。 4.根据权利要求2所述的方法， 其特征在于， 所述衣服变形网络还包括特征提取模块， 在所述将所述输入图像对输入 所述Transformer模块， 得到关联矩阵的步骤之前， 所述方法 还包括： 采用所述特 征提取模块对所述组合图像进行 特征提取， 得到第二模特 特征图； 采用所述特 征提取模块对所述衣服图像进行 特征提取， 得到第二衣服特 征图； 所述将所述组合图像和所述衣服图像作为所述输入图像对， 包括： 将所述第二模特 特征图和所述第二衣服特 征图作为所述输入图像对。 5.根据权利要求4所述的方法， 其特征在于， 所述将所述输入图像对输入所述 Transformer模块计算处 理， 得到得到第一模特 特征图和第一衣服特 征图， 包括： 计算所述第二模特特征图的第一位置编码， 计算所述第二衣服特征图的第二位置编 码； 将所述第一位置编码添加至所述第二模特特征图， 得到第三模特特征图； 将所述第二 位置编码添加至所述第二衣服特 征图， 得到第三衣服特 征图； 将所述第三模特特征图和所述第三衣服特征图分别输入所述Transformer模块进行计 算处理， 得到所述第一模特 特征图和所述第一衣服特 征图。 6.根据权利要求1所述的方法， 其特征在于， 所述特征匹配模块包括相关值计算层和权　利　要　求　书 1/2 页 2 CN 115439309 A 2softmax层； 所述相关值计算层用于计算所述第一模特特征图中像素点与所述第一衣服特 征图中对应的像素点之间的相关值； 所述将所述第一模特特征图和所述第一衣服特征图输入所述特征匹配模块进行特征 匹配关联， 得到关联矩阵， 包括： 采用所述相关值计算层对所述第 一模特特征图和所述第 一衣服特征图进行相乘 处理， 得到相关矩阵； 采用所述softmax层对所述相关矩阵进行归一 化处理， 得到所述关联矩阵。 7.根据权利要求1 ‑6任意一项所述的方法， 其特征在于， 所述所述变形模块根据 所述关 联矩阵对所述衣服图像进行变形， 得到预测衣服变形图像， 包括： 获取标准像素网格； 将所述标准像素网格与所述关联矩阵进行相乘处 理， 得到变形像素网格； 采用变形函数对所述变形像素网格和所述衣服图像进行计算处理， 得到所述预测衣服 变形图像。 8.一种虚拟试衣方法， 其特 征在于， 包括： 获取试穿者图像和待试衣服图像； 采用衣服变形模型对所述待试衣服图像进行变形， 得到待试衣服变形图像， 其中， 所述 衣服变形模型 是采用如权利要求1 ‑7项中任意 一个训练衣服变形模型的方法训练得到的； 对所述待试衣服变形图像和所述试穿 者图像进行融合， 得到试衣图像。 9.一种电子设备， 其特 征在于， 包括： 至少一个处 理器， 以及 与所述至少一个处 理器通信连接的存 储器， 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处 理器能够执 行权利要求1 ‑8任一项所述的方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机可 执行指令， 所述计算机可执行指令用于使计算机设备执行如权利要求1 ‑8任一项所述的方 法。权　利　要　求　书 2/2 页 3 CN 115439309 A 3