(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210032776.6 (22)申请日 2022.01.12 (71)申请人 甲骨易 （北京） 语言科技股份有限公 司 地址 101399 北京市顺 义区南彩镇彩达二 街2号12-1 13 (72)发明人 李光华　 (74)专利代理 机构 北京金蓄专利代理有限公司 11544 专利代理师 马贺 (51)Int.Cl. G06F 40/58(2020.01) G06F 40/30(2020.01) G06F 40/194(2020.01) (54)发明名称 一种全自动语料对齐系统和方法 (57)摘要 本发明具体涉及一种全自动语料对齐系统 和方法， 该全自动语料对齐系统包括预训练英文 语言表示模型用于将英文段落或句子文本转化 为数学向量， 机器翻译模型用于将其他语种文本 自动翻译为英文文本， 相似度搜索算法模型用于 执行批量向量搜索， 字 符级模糊匹配算法模型用 于计算两个字符串之间的模糊匹配相似度， 语言 识别算法模型用于识别特定文档、 句段的语种。 该全自动语料对齐方法包括全自动语料双文档 对齐方法和全自动语料单文档对齐方法。 本发明 能够将文本内容自动对齐， 生 成互为翻译关系的 双语平行句对， 并生成tmx记忆库文件， 可供 Trados、 Memoq或Wor dfast等计算机辅助翻译软 件使用， 也可直接用于训练机 器翻译模型。 权利要求书2页 说明书5页 附图1页 CN 114564970 A 2022.05.31 CN 114564970 A 1.一种全自动语料对齐系统， 其特征在于， 包括预训练英文语言表示模型、 机器翻译模 型、 相似度搜索算法模型、 字符级模糊匹配算法模型和语言识别算法模型； 所述预训练英文语言表示模型用于将英文段落或句子文本转 化为数学向量； 所述机器翻译模型用于将其 他语种文本自动翻译为英文 文本； 所述相似度搜索算法模型用于执行批量向量搜索， 给定一批向量， 在另 外一批向量中 找到与每 个给定向量 最相似的前N个向量； 所述字符级模糊匹配算法模型用于计算两个字符串之间的模糊匹配相似度； 所述语言识别算法模型用于识别特定文档、 句段的语种。 2.根据权利要求1所述的全自动语料对齐系统， 其特征在于， 所述机器翻译模型为多语 种到英文方向的机器翻译模型， 包括中文到英语、 日语到英语、 德语到英语以及其他语种到 英语。 3.一种全自动语料双文档对齐方法， 其特 征在于， 主 要包括如下步骤： 步骤一： 分别读取两个未对齐文档中的文本内容， 保留原 始段落形式； 步骤二： 判断待对齐的文档的语种， 使用机器翻译模型将所有文本分别翻译为英文， 得 到原文文档和译 文文档的英文表示； 步骤三： 加载英文语言表示模型， 将步骤二中原文文档和译文文档的句段级别英文译 文进行编码， 转 化为高维数 学向量， 得到句段级别的原文 文档和译 文文档向量表示； 步骤四： 使用相似度搜索算法在所有译文句段向量中为每个原文句段向量找出前N个 最相似的向量； 步骤五： 采用字符级模糊匹配方法计算原文句段的英文表示文本与步骤四中N个与原 文句段向量最相似的向量代表的英文文本之间的字符模糊匹配相似度， 找出匹配度最高的 文本， 根据选出 的匹配度最高的文本以及上述流程列出对应的原文句段和译文句段， 将此 平行句段 标记为已对齐句段； 步骤六： 批量执 行所述步骤五的操作， 对齐所有句段； 步骤七： 根据预设标准将已对齐的较长句段分别拆分为句子， 再次执行对齐流程， 得到 句子级别的对齐结果， 根据长句段的位置信息将所述句子级对齐结果插入到所述句段级别 对齐结果中。 4.根据权利要求3所述的全自动语料双文档对齐方法， 其特征在于， 所述步骤二中判断 待对齐的文档的语种， 具体为： 如果原文文档或译文文档为英文， 对应的译文文档或原文文 档为其他语种， 使用机器翻译模型将其他语种文本翻译为英文， 得到原文文档和译文文档 的英文表示， 其中， 每个句段都为英文； 原文文档为 非英文语种， 译文文档也为 非英文语种， 使用上述机器翻译模型将所有非英文文本 分别翻译为英文， 得到原文文档和译文文档的英 文表示， 其中， 每 个句段都为英文。 5.根据权利要求3所述的全自动语料双文档对齐方法， 其特征在于， 所述步骤七中的预 设标准是指句段内的句子数量。 6.一种全自动语料 单文档对齐方法， 其特 征在于， 主 要包括如下步骤： 步骤一： 读取单文档中的所有文本内容， 保留原始段落形式， 按句段识别语种， 分别存 储为语种1集 合和语种2集 合； 步骤二： 判断待对齐的文档的语种， 使用机器翻译模型将所有文本翻译为英文， 得到语权　利　要　求　书 1/2 页 2 CN 114564970 A 2种1集合和语种2集 合的英文表示； 步骤三： 加载英文语言表示模型， 将语种1集合和语种2集合的句段级别英文译文进行 编码， 转化为高维数 学向量， 得到句段级别的语种1集 合和语种2集 合向量表示； 步骤四： 使用相似度搜索算法在所有语种2句段向量中为每个语种1句段向量找出前N 个最相似的向量； 步骤五： 采用字符级模糊匹配方法计算语种2句段的英文表示文本与所述N个与语种1 句段向量最相似的向量所代表的英文文本之间的字符模糊匹配相似度， 找出匹配度最高的 文本， 根据选出 的最佳文本以及列出对应的语种1句段和 语种2句段， 将此平行句段标记为 已对齐句段； 步骤六： 批量执 行所述步骤五的操作， 对齐所有句段； 步骤七： 根据预设标准将已对齐的较长句段分别拆分为句子， 再次执行对齐流程， 得到 句子级别的对齐结果， 根据长句段的位置信息将所述句子级对齐结果插入到所述句段级别 对齐结果中。 7.根据权利要求6所述的全自动语料单文档对齐方法， 其特征在于， 所述步骤二中判断 待对齐的文档的语种具体为： a.如果其中任一语种为英文， 另一语种为其他非英语语种， 使用机器翻译模型将其他 语种文本翻译为英文， 得到语种1集 合和语种2集 合的英文表示， 其中， 每 个句段都为英文； b.语种1集合和语种2集合均为非英文语种， 使用机器翻译模型将所有非英文文本分别 翻译为英文， 得到语种1集 合和语种2集 合的英文表示， 其中， 每 个句段都为英文。 8.根据权利要求6所述的全自动语料单文档对齐方法， 其特征在于， 所述步骤七中的预 设标准是指句段内的句子数量。权　利　要　求　书 2/2 页 3 CN 114564970 A 3