(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211058352.3 (22)申请日 2022.08.30 (71)申请人 北京字跳网络技 术有限公司 地址 100190 北京市海淀区紫金 数码园4号 楼2层0207 (72)发明人 游京翰　郭明宇　冉蛟　 (74)专利代理 机构 北京知帆远景知识产权代理 有限公司 1 1890 专利代理师 王佳璐 (51)Int.Cl. G06V 20/70(2022.01) G06V 20/30(2022.01) G06V 10/74(2022.01) G06V 10/40(2022.01) G06V 10/82(2022.01)G06F 40/289(2020.01) G06F 40/30(2020.01) (54)发明名称 表情符号预测方法、 装置、 设备及存 储介质 (57)摘要 本申请实施例提供了一种表情符号预测方 法、 装置、 设备及存储介质， 涉及人工智能技术领 域， 该方法包括： 获取目标图像和目标文本信息， 目标图像为具有标注信息的图像， 标注信息包括 目标文本信息和表情符号， 根据目标图像、 目标 文本信息和预先训练的表情符号预测模型， 确定 标注信息的至少一个预测表情符号， 表情符号预 测模型根据多个训练样本训练得到， 每个训练样 本包括样 本图像和样本图像的标注信息， 样本图 像的标注信息包括文本标注信息和标注表情符 号， 显示标注信息的至少一个预测表情符号。 从 而， 可预测图像的标注信息中包含的表情符号， 保证对图像的标注信息转录的完整性。 权利要求书2页 说明书14页 附图3页 CN 115424266 A 2022.12.02 CN 115424266 A 1.一种表情符号预测方法， 其特 征在于， 包括： 获取目标图像和目标文本信息， 所述目标图像为具有标注信息的图像， 所述标注信息 包括所述目标文本信息和表情符号； 根据所述目标图像、 所述目标文本信息和预先训练的表情符号预测模型， 确定所述标 注信息的至少一个预测表情符号， 其中， 所述表情符号预测模型根据多个训练样本训练得 到， 每个所述训练样本包括样本图像和所述样本图像的标注信息， 所述样本图像的标注信 息包括文本标注信息和标注 表情符号； 显示所述标注信息的至少一个预测表情符号。 2.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 响应于用户从所述标注信 息的至少一个预测表情符号中选择目标表情符号的操作， 将 所述目标文本信息和所述目标表情符号按照所述标注信息的分布顺序合并， 得到目标标注 信息； 显示所述目标 标注信息 。 3.根据权利要求1所述的方法， 其特 征在于， 所述获取目标图像和目标文本信息， 包括： 接收输入的所述目标图像和目标文本信息 。 4.根据权利要求1所述的方法， 其特征在于， 所述根据所述目标图像、 所述目标文本信 息和预先训练的表情符号预测模型， 确定所述标注信息的至少一个预测表情符号， 包括： 将所述目标图像和所述目标文本信息组成prompt范式输入所述表情符号预测模型， 输 出所述标注信息的至少一个预测表情符号， 所述prompt范式结构中待填充的内容为待 预测 的表情符号。 5.根据权利要求3所述的方法， 其特征在于， 所述表情符号预测模型包括图像特征提取 模型和文本特征提取模 型， 所述将所述目标图像和所述目标文本信息组成pr ompt范式输入 所述表情符号预测模型， 输出 所述标注信息的至少一个预测表情符号， 包括： 将所述目标图像输入所述图像特 征提取模型， 输出 所述目标图像的特 征向量； 依次将所述目标文本信息和表情库中的每一表情符号按照所述prompt范式结构合并 得到候选信息； 依次将每一所述候选信息输入所述文本特征提取模型， 输出所述候选信息的特征向 量； 分别计算所述目标图像的特征向量和所述候选信 息的特征向量之间的余弦相似度， 按 照所述余弦相似度从大到小的顺序， 选取前K个余弦相似度对应的候选信息， 将所述K个候 选信息中的表情符号作为所述标注信息的至少一个预测表情符号输出， 所述K为 正整数。 6.根据权利要求1 ‑5任一项所述的方法， 其特征在于， 所述表情符号预测模型根据N个 训练样本通过如下 方式训练得到： 针对所述N个训练样本中的每一训练样本， 以所述训练样本 中的样本图像、 所述样本图 像的文本标注信息和所述样本图像的标注表情符号为所述表情符号预测模 型的输入， 得到 所述样本图像的特 征向量和所述样本图像的标注信息的特 征向量； 根据所述N个样本 图像的特征向量和所述N个样本 图像的标注信息的特征向量之间的 余弦相似度， 构建损失函数； 根据所述损失函数调整所述表情符号预测模型的参数， 以得到已训练 的表情符号预测权　利　要　求　书 1/2 页 2 CN 115424266 A 2模型。 7.根据权利要求6所述的方法， 其特征在于， 所述表情符号预测模型包括图像特征提取 模型和文本特征提取模型， 所述以所述训练样本中的样本图像和所述样本图像的标注信息 为所述表情符号预测模型的输入， 得到所述样本图像的特征向量和所述样本图像的标注信 息的特征向量， 包括： 以所述训练样本 中的样本图像为所述图像特征提取模型的输入， 所述图像特征提取模 型输出所述样本图像的特 征向量； 以所述样本图像的标注信 息为所述文本特征提取模型的输入， 所述文本特征提取模型 输出所述样本图像的标注信息的特 征向量。 8.一种表情符号预测装置， 其特 征在于， 包括： 获取模块， 用于获取目标图像和目标文本信 息， 所述目标图像为具有标注信息的图像， 所述标注信息包括所述目标文本信息和表情符号； 确定模块， 用于根据所述目标图像、 所述目标文本信息和预先训练的表情符号预测模 型， 确定所述标注信息的至少一个预测表情符号， 其中， 所述表情符号预测模型根据多个训 练样本训练得到， 每个所述训练样本包括样本图像和所述样本图像的标注信息， 所述样本 图像的标注信息包括文本标注信息和标注 表情符号； 显示模块， 用于 显示所述标注信息的至少一个预测表情符号。 9.一种电子设备， 其特 征在于， 包括： 处理器和存储器， 所述存储器用于存储计算机程序， 所述处理器用于调用并运行所述 存储器中存 储的计算机程序， 以执 行权利要求1至7中任一项所述的方法。 10.一种计算机可读存储介质， 其特征在于， 包括指令， 当其在计算机程序 上运行时， 使 得所述计算机执 行如权利要求1至7中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115424266 A 3