(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210716287.2 (22)申请日 2022.06.23 (71)申请人 科大讯飞股份有限公司 地址 230088 安徽省合肥市高新区望江西 路666号 (72)发明人 奚昌凤　殷兵　殷保才　殷实　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 王雨 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/74(2022.01) G06V 20/40(2022.01) G10L 19/16(2013.01) (54)发明名称 视频人脸表情识别模型训练方法、 装置、 设 备及存储介质 (57)摘要 本申请公开了一种视频人脸表情识别方法、 装置、 设备及存储介质， 本申请获取人脸视频集 合， 该集合无需进行表情类型的标注， 进一步可 以利用携带有标注的训练数据训练初始表情分 类模型， 利用该模型对集合中每一视频段进行表 情类型的预测， 得到预测的伪标签， 该伪标签可 能会存在少量的误差， 但是预测结果大部分还是 正确的， 本申请中以人脸视频集合中各视频段作 为训练样 本， 参考伪标签基于对比自监督学习策 略， 对视频人脸表情识别模型进行预训练， 采用 这种训练方式无需提供有 标注的训练数据， 也即 不需要大规模有标注人脸表情数据， 同时通过对 比学习策略， 能够很好的学习到不同表情类型的 表征特征， 基于此训练的视频人脸表情识别模型 的精度会更高。 权利要求书3页 说明书14页 附图2页 CN 115063858 A 2022.09.16 CN 115063858 A 1.一种视频 人脸表情识别模型训练方法， 其特 征在于， 包括： 获取人脸视频集 合， 集合中每一视频 段对应一种人脸身份； 获取基于标注有表情类型的视频人脸训练数据所训练的初始表情分类模型， 并利用所 述初始表情分类模型预测所述人脸视频集合中每一视频段的表情 类型伪标签， 得到每一视 频段的伪标签； 以所述人脸视频集合中各视频段作为训练样本， 基于对比自监督学习策略对视频人脸 表情识别模 型进行预训练， 训练过程， 从训练样 本中依次选取qu ery样本， 以最大化query样 本与其正例样本的表征特征间的相似度， 最小化query样本与其负例样本的表征特征间的 相似度为训练目标， 且与qu ery样本相同伪标签的视频段不会作为负例样 本与query样 本进 行相似度的计算； 得到预训练后的视频 人脸表情识别模型。 2.根据权利要求1所述的方法， 其特征在于， 在对视频人脸表情识别模型进行预训练之 前， 该方法还包括： 减少所述人脸视频集合中伪标签为第 一表情类型的视频段的数量， 得到处理后的人脸 视频集合， 所述处理后的人脸视频集合中伪标签为第一表情 类型的视频段的数量与其它表 情类型的视频段的数量差距不超过设定值， 所述第一表情类型为自然界中出现概率最高的 表情类型。 3.根据权利要求1所述的方法， 其特征在于， 在对所述视频人脸表情识别模型进行预训 练过程， query样本及对应的正例样本的确定过程， 包括： 从所述人脸视频集合中选取一视频段， 并在所述视频段中选择间隔第 一长度的两个视 频段， 两个视频 段的长度相同； 由选择的两个视频段中其 中一个作 为query样本， 另一个作 为query样本对应的正例样 本。 4.根据权利要求1所述的方法， 其特征在于， 在对所述视频人脸表情识别模型进行预训 练过程， query样本对应的负例样本的确定过程， 包括： 从所述人脸视频集合中选取第一视频段， 并在第一视频段中选取一段视频作为query 样本； 在所述人脸视频集合中除所述第一视频段外的各视频段中， 去除与所述query样本相 同伪标签的视频段， 并在剩余的各视频段中切分出设定数量的视频段加入到所述query样 本的负例池中， 负例池中每一视频 段作为所述query样本的负例样本； 所述训练目标 具体为： 其中， Lq表示训练损失函数， q表示query样本的表 征特征， k+表示query样本的正例样本 的表征特征， ki表示query样本的第i个样本的表征特征， K表示query样本的负例池中负例 样本的数量， τ 为预设的网络超参数。 5.根据权利要求1所述的方法， 其特征在于， 在对所述视频人脸表情识别模型进行预训 练过程， query样本对应的负例样本的确定过程， 包括：权　利　要　求　书 1/3 页 2 CN 115063858 A 2从所述人脸视频集合中选取第一视频段， 并在第一视频段中选取一段视频作为query 样本； 在所述人脸视频集合中除所述第 一视频段外的各视频段中， 切分出设定数量的视频段 加入到所述query样本的负例池中， 负例池中每一视频 段作为所述query样本的负例样本； 所述训练目标 具体为： 其中， Lq_mask表示训练损失函数， q表示query样本的表征特征， k+表示query样本的正例 样本的表征特征， ki表示query样本的第i个样本的表征特征， K表示query样本的负例池中 负例样本 的数量， τ为预设的网络超参数， mask的维度为1*K， pesudo_label(q)≠pesudo_ label(ki)表示query样本的伪标签不同于query样本的第i个负例样本的伪标签， pesudo_ label(q)＝pesudo_label(ki)表示query样本的伪标签与query样本的第i个负例样本的伪 标签相同。 6.根据权利要求1所述的方法， 其特征在于， 所述视频人脸表情识别模型包括视频编码 器， 所述视频编码器用于提取样本的视频表征 特征； 则所述训练目标， 具体包括： 以最大化query样本与 其正例样本的视频表征特征间 的相似度， 最小化query样本与 其 负例样本的视频表征特征间的相 似度为训练目标， 且与query样本相同伪标签的视频段不 会作为负例样本与query样本进行视频表征 特征间的相似度的计算。 7.根据权利要求1所述的方法， 其特征在于， 所述人脸视频集合中的视频段同时包含音 频信息和视频信息； 所述视频人脸表情识别模型包括视频编码器和音频编码器， 所述视频编码器用于提取 样本的视频表征特征， 所述音频编码 器用于提取样本的音频表征特征， 则所述训练目标， 具 体包括： 以最大化query样本与 其正例样本的视频表征特征间 的相似度， 最小化query样本与 其 负例样本的视频表征特征间的相 似度为第一训练目标， 且与query样本相同伪标签的视频 段不会作为负例样本与query样本进行视频表征 特征间的相似度的计算； 以最大化query样本与 其正例样本的音频表征特征间 的相似度， 最小化query样本与 其 负例样本的音频表征特征间的相 似度为第二训练目标， 且与query样本相同伪标签的视频 段不会作为负例样本与query样本进行音频表征 特征间的相似度的计算。 8.根据权利要求7 所述的方法， 其特 征在于， 所述训练目标还 包括： 以最小化query样本的视频表征 特征与音频表征 特征间的距离为第三训练目标。 9.根据权利要求7所述的方法， 其特征在于， 在得到预训练后的视频人脸表情识别模型 之后， 还包括： 识别各训练样本对应的人脸身份信息；权　利　要　求　书 2/3 页 3 CN 115063858 A 3