(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210110831.9 (22)申请日 2022.01.29 (71)申请人 珠海高凌信息科技股份有限公司 地址 519060 广东省珠海市南屏科技工业 园屏东一路1号 (72)发明人 刘立峰　石宪　李振华　王文重　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 张志辉 (51)Int.Cl. G06F 40/279(2020.01) G06F 40/30(2020.01) G06V 10/22(2022.01) G06V 30/40(2022.01) (54)发明名称 自然语言处 理方法、 电子设备、 存 储介质 (57)摘要 本发明提出一种自然语 言处理方法、 电子设 备、 存储介质， 能够提升处理模型对多模态自然 语言的处理效率， 其中方法包括： 获取待识别数 据； 解析待识别数据， 生成数据识别元素与元素 位置信息； 将数据识别元素、 元素位置信息、 与待 识别数据对应的模态类型嵌入向量进行整合， 形 成组合识别序列； 通过自然语言识别模型对组合 识别序列进行识别， 得到识别结果。 本发明中的 自然语言处理方法， 将最初获取的待识别数据解 析转化为易于处理的数据识别元素与元素位置 信息， 再将数据识别元素、 元素位置信息、 与待识 别数据对应的模态类型嵌入向量进行整合生成 组合识别序列供自然语言识别模 型进行识别， 进 一步提升了对多模态自然语言的处 理识别效率。 权利要求书2页 说明书10页 附图5页 CN 114510932 A 2022.05.17 CN 114510932 A 1.一种自然语言处 理方法， 其特 征在于， 包括： 获取待识别数据； 解析所述待识别数据， 生成数据识别元素与元素位置信息， 所述数据识别元素为所述 待识别数据的组成元素， 所述元素位置信息包括所述数据识别元素在所述待识别数据中的 位置排列顺序； 将所述数据识别元素、 所述元素位置信息、 与所述待识别数据对应的模态类型嵌入向 量进行整合， 形成组合识别序列； 通过自然语言识别模型对所述组合识别序列进行识别， 得到识别结果。 2.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 解析预设训练数据， 生成训练识别元素与训练元素位置信息， 所述训练识别元素为所 述预设训练数据的组成元素， 所述训练元素位置信息包括所述训练识别元素在所述预设训 练数据中的位置排列顺序； 将所述训练识别元素、 所述训练元素位置信息与对应的模态类型嵌入向量进行整合， 形成初始 识别序列； 将所述初始 识别序列输入原 始识别模型进行迭代训练； 每一轮所述迭代训练后， 计算模型识别准确率并对所述原 始识别模型进行 更新； 当所述模型识别准确率收敛于 定值， 得到训练好的所述自然语言识别模型。 3.根据权利要求1所述的方法， 其特征在于， 所述数据识别元素包括字符元素， 所述元 素位置信息包括所述字符元素 的位置排列顺序， 所述解析所述待识别数据， 生成数据识别 元素与元素位置信息， 包括: 解析所述待识别数据中的待识别文本， 获取所述字符元素以及所述字符元素的位置排 列顺序。 4.根据权利要求3所述的方法， 其特 征在于， 所述方法还 包括： 将所述字符元素纳入字符嵌入矩阵T， 并将所述字符元素的位置排列顺序纳入字符位 置矩阵Tpos； 根据所述字符嵌入矩阵T、 所述字符位置矩阵Tpos， 整合得到所述组合识别序列。 5.根据权利要求4所述的方法， 其特征在于， 所述数据识别元素还包括图像元素， 所述 元素位置信息还包括所述图像元素 的位置排列顺序， 所述解析所述待识别数据， 生成数据 识别元素与元素位置信息， 具体还 包括: 对所述待识别数据中的待识别图像切块采样并进行解析， 获取图像元素以及所述图像 元素的位置排列顺序。 6.根据权利要求5所述的方法， 其特 征在于， 所述方法还 包括： 将所述图像元素纳入图像嵌入矩阵V， 并将所述图像元素的位置排列顺序纳入图像位 置矩阵Vpos； 根据所述图像嵌入矩阵V、 所述图像位置矩阵Vpos， 整合得到所述组合识别序列。 7.根据权利要求6所述的方法， 其特征在于， 所述将所述数据识别元素、 所述元素位置 信息、 与所述待识别数据对应的模态类型嵌入向量进行整合， 形成组合识别序列， 包括：权　利　要　求　书 1/2 页 2 CN 114510932 A 2生成文本序列 与图像块序列 其中tclass表示可 学习文本的标志位， vclass可学习图像的标志位， t1...tL1表示所述待识别数据中的L1个字符 元素， v1...vL2表示所述待识别数据中的L2个的图像元 素； 将所述文本序列t0、 文本模态类型嵌入向量ttype、 所述图像块序列v0、 图像模态类型嵌 入向量vtype进行整合， 生成组合识别序列 8.根据权利要求1所述的方法， 其特征在于， 所述通过自然语言识别模型对所述组合识 别序列进行识别， 得到识别结果， 包括: 将所述组合识别序列载入自然语言识别模型， 提取与所述待识别数据对应的语义特 征； 将所述语义特 征进行归一 化处理， 得到识别结果。 9.一种电子设备， 其特征在于， 包括： 存储器、 处理器， 所述存储器存储有计算机程序， 所述处理器执行所述计算机程序时实现如权利要求1至8 中任意一项所述的自然语言处理 方法。 10.一种计算机可读存储介质， 其特征在于， 所述存储介质存储有程序， 所述程序被处 理器执行实现如权利要求1至8中任意 一项所述的自然语言处 理方法。权　利　要　求　书 2/2 页 3 CN 114510932 A 3