(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210018101.6 (22)申请日 2022.01.07 (71)申请人 上海一者信息科技有限公司 地址 200090 上海市杨 浦区隆昌路58 8_1号 1210室 (72)发明人 陈件　潘丽婷　张井　 (74)专利代理 机构 上海骁象知识产权代理有限 公司 31315 代理人 赵俊寅 (51)Int.Cl. G06F 40/211(2020.01) G06F 40/247(2020.01) G06F 40/289(2020.01) G06F 40/30(2020.01) G06F 40/58(2020.01)G06K 9/62(2022.01) (54)发明名称 一种多语言的术语识别和双语术语对齐方 法 (57)摘要 一种多语言的术语识别和双语术语对齐方 法， 包括如下步骤： 步骤S1： 数据集获取； 步骤S2： 分词标注； 步骤S3： 模型训练， 输 出每个词是否为 术语； 步骤S4： 词向量加载； 步骤S5： 词向量相似 度计算； 步骤S6： 词对齐： 步骤S7： 术语对齐； 根据 词对齐结果， 查询对应的术语译文。 本发明克服 了现有技术的不足， 不再依赖多语言术语库， 相 对来说， 成本 更低， 准确率更高。 并且本发明支持 多语言， 之前针对于不同的语言都要调用机器翻 译， 现在利用多语言蒸馏后的模型， 成本大大降 低， 准确率 也有显著提高。 权利要求书2页 说明书4页 附图3页 CN 114357975 A 2022.04.15 CN 114357975 A 1.一种多语言的术语识别和双语术语对齐方法， 其特 征在于， 包括以下步骤： 步骤S1： 数据集获取： 从Wikidata多语言知识库 中获取数据集， 并筛选出500万个含有 术语的句子； 步骤S2： 分词： 将不同语言文本进行分词， 对分词后的文本进行 标注； 步骤S3： 模型训练： 使用预训练模型作为文本特征提取器， 接入一层全连接层， 最后输 出每个词是否为 术语； 步骤S4： 词向量加载： 使用预训练模型中自带的分词器对不同语言文本进行分词； 根据 分词结果， 使用预训练模型作为文本特 征提取器， 输出词向量； 步骤S5： 词向量相似度计算： 词向量相似度是语义相似度和位置相似度的乘积(公式1)， 语义相似度为原文句向量 和译文句向量的余弦距离(公式2)， 位置相似度为原文的句 子位置和译文的句 子位置的相 对距离(公式3)： Sij＝SEMij*POSij           (1) 其中， Sij表示原文第i个词向量和译文第j个词向量的相似度， SEMij表示原文第i个词向 量和译文第j个词向量的语义相似度， POSij表示原文第i个词向量和译文第j个词向量的位 置相似度， vi表示原文第i个词向量， vj表示译文第j个词向量， ls表示原文的词数， lt表示译 文的词数， α 为超参数， 经 过实验取0.5， 限制位置相似度的权 重； 步骤S6： 词对齐： 原文词向量和译文词向量使用双向最优 匹配， ， 即当原文第 i个词向量的相似度最高是 译文第j个词向量， 同时译文第j个词向量的相似度最高是原文第i个词向量时， 第i个原文 词向量与第j个译 文词向量匹配(公式4)： 其中， Mij为词对匹配矩阵， 1为匹配， 0为 不匹配； 步骤S7： 术语对齐； 使用多语言术语识别模型识别原文中的术语， 根据词对齐结果， 查 询对应的术语译 文。 2.根据权利要求1所述的一种 多语言的术语识别和双语术语对齐方法， 其特征在于： 所 述步骤S3模型训练中， 训练集和 测试集的比例为8： 2。 3.根据权利要求1所述的一种 多语言的术语识别和双语术语对齐方法， 其特征在于： 所 述步骤S6词对齐中， 还 包括： 步骤S61： 双向最优 匹配无法一次性将所有的原文句子和译文句子， 为了匹配剩下的句 向量， 需要在每一次双向最优匹配后更新相似度矩阵S'ij(公式5)； S'ij＝(1‑Mij)*Sij      (5) 将已匹配的词对(Mij＝1)的相似度变为0(S'ij＝0)， 进行下一次双向最优匹配， 并不断权　利　要　求　书 1/2 页 2 CN 114357975 A 2重复公式4和公式5的操作， 直到所有原文和译 文单词匹配。权　利　要　求　书 2/2 页 3 CN 114357975 A 3