(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210931383.9 (22)申请日 2022.08.04 (71)申请人 佛山虎牙虎信科技有限公司 地址 528000 广东省佛山市南海区桂城街 道三山新城港口路12 号三山科创中心 2座501室 (72)发明人 芦爱余　谢鸿华　韩欣彤　 (74)专利代理 机构 成都极刻智慧知识产权代理 事务所(普通 合伙) 51310 专利代理师 陈万艺 (51)Int.Cl. G06V 10/74(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/46(2022.01)G06V 40/16(2022.01) (54)发明名称 虚拟形象匹配方法、 装置及电子设备 (57)摘要 本申请提供一种虚拟形象匹配方法、 装置及 电子设备， 通过提取2D的用户头部图像中目标区 域的局部特征和全局特征与2D的模板头部图像 进行特征比对， 然后将与用户头部图像最相似的 模板头部图像对应3D虚拟形象作为与所述用户 头部图像对应的用户虚拟形象。 如此， 以2D的模 板头部图像作为中间媒介并且使用局部特征和 全局特征进行匹配， 可以准确快速地确定出与2D 的用户头 部图像相符的3D虚拟形象。 权利要求书2页 说明书9页 附图4页 CN 115331028 A 2022.11.11 CN 115331028 A 1.一种虚拟形象匹配方法， 其特 征在于， 所述方法包括： 获取用户头 部图像； 对所述用户头 部图像进行目标区域识别， 获取 所述目标区域图像； 对所述目标区域图像进行局部特征提取及全局特征提取， 获得目标局部特征和目标全 局特征； 将所述用户头部图像的所述目标局部特征和目标全局特征分别与预存的多个模板头 部图像的模板局部特征和模板全局特征进 行相似度对比， 获得各个所述模板头部图像与所 述用户头 部图像之间的相似度值； 将所述相似度值最高的模板头部 图像对应的3D虚拟形象作为与所述用户头部 图像对 应的用户虚拟形象。 2.根据权利要求1所述的虚拟形象匹配方法， 其特 征在于， 所述方法还 包括： 针对每个所述模板头部图像， 根据一标准头部图像对所述模板头部图像进行人脸关键 点对齐调整； 对人脸关键点对齐调整之后的所述模板头部图像进行特征提取， 获得所述模板局部特 征和模板全局特 征； 在所述对所述用户头部 图像进行目标区域识别， 获取所述目标区域图像之前， 所述方 法还包括： 根据所述标准头 部图像对所述用户头 部图像进行 人脸关键点对齐调整。 3.根据权利要求2所述的方法， 其特征在于， 所述根据所述标准头部图像对所述用户头 部图像进行 人脸关键点对齐调整的步骤， 包括： 确定所述用户头 部图像的人脸关键点及多个预设的图像角点； 根据所述人脸关键点及所述图像角点， 构建德洛内三角形网， 获得由所述三角形网划 分出的多个目标三角面片； 针对各所述目标三角面片， 以所述标准头像图片中与 所述目标三角面片对应的标准三 角面片为基准进行插值处 理， 以调整所述用户头 部图像的位置和/或尺寸。 4.根据权利要求1所述的方法， 其特征在于， 所述对所述目标区域图像进行局部特征提 取及全局特 征提取， 获得目标局部特 征和目标全局特 征的步骤， 包括： 对所述目标区域进行SIFT特 征提取， 并将提取的特 征作为所述目标局部特 征； 对所述目标区域进行Hu矩特 征提取， 并将提取的特 征作为所述目标全局特 征。 5.根据权利要求4所述的方法， 其特征在于， 所述将所述用户头部图像的所述目标局部 特征和目标全局特征分别与预存的多个模板头部图像的模板局部特征和模板全局特征进 行相似度对比， 获得各个所述模板头部图像与所述用户头部图像之间相似度值的步骤， 包 括： 将所述目标局部特征中各SIFT特征点与所述模板局部特征中的各SIFT特征点进行特 征大小及特 征方向匹配； 计算相匹配的SIFT特 征点数量占SIFT特 征点总数量的百分比作为第一相似度参数； 将所述目标局部特征中各Hu矩特征与所述模板局部特征中的各Hu矩特征进行特征匹 配； 计算相匹配的Hu矩特 征数量占Hu矩特 征总数量的百分比作为第二相似度参数；权　利　要　求　书 1/2 页 2 CN 115331028 A 2计算所述第一相似度参数和第二相似度参数的加权和值作为所述模板头部图像与所 述用户头 部图像之间相似度值。 6.根据权利要求1所述的方法， 其特征在于， 所述对所述用户头部图像进行目标区域识 别， 获取所述目标区域图像的步骤， 包括： 对所述用户头部图像进行目标区域识别， 获得对应的掩膜图像作为所述目标区域图 像。 7.根据权利要求1所述的方法， 其特 征在于， 所述目标区域包括发型区域或脸部区域。 8.一种虚拟形象匹配装置， 其特 征在于， 所述装置包括： 数据获取模块， 用于获取用户头 部图像； 区域识别模块， 用于对所述用户头 部图像进行目标区域识别， 获取 所述目标区域图像； 特征提取模块， 用于对所述目标区域图像进行局部特征提取及全局特征提取， 获得目 标局部特 征和目标全局特 征； 特征匹配模块， 用于将所述用户头部图像的所述目标局部特征和目标全局特征分别与 预存的多个模板头部图像的模板局部特征和模板全局特征进 行相似度对比， 获得各个所述 模板头部图像与所述用户头 部图像之间的相似度值； 形象确定模块， 用于将所述相似度值最高的模板头部图像对应的3D虚拟形象作为与所 述用户头 部图像对应的用户虚拟形象。 9.一种电子设备， 其特征在于， 包括处理器及机器可读存储介质， 所述机器可读存储介 质存储有机器可执行指 令， 所述机器可执行指 令在被所述处理器执行时， 实现权利要求 1‑7 任意一项所述的方法。 10.一种机器可读存储介质， 其特征在于， 所述机器可读存储介质存储有机器可执行指 令， 所述机器可执行指 令在被一个或多个处理器执行时， 实现权利要求 1‑7任意一项 所述的 方法。权　利　要　求　书 2/2 页 3 CN 115331028 A 3