(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211215476.8 (22)申请日 2022.09.30 (71)申请人 杭州芯声智能科技有限公司 地址 浙江省杭州市杭州经济技 术开发区白 杨街道科技园路20号14幢3层02室-15 (72)发明人 胡光敏　 (74)专利代理 机构 成都知都云专利代理事务所 (普通合伙) 51306 专利代理师 赵正寅 (51)Int.Cl. G06F 16/332(2019.01) G06F 16/33(2019.01) G06F 16/338(2019.01) G06F 16/35(2019.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于参数共享的自然语言理解方法 (57)摘要 本发明提供一种基于参数共享的自然语言 理解方法， 涉及音频处理技术领域。 本发明通过 建立具备多个编码器的自然语言理解模型， 并在 反向传播时按照预设顺序依次对编码器中的参 数进行更新共享， 从而实现低计算量、 低功耗、 高 识别率等优点。 使用参数共享的方法来构建自然 语言理解模 型， 通过参数共享的方式在不增加网 络参数的前提下， 加深网络深度， 从而使得模型 具有更好的非线性， 能拟合更为负责的训练数 据。 将自然语 言理解的输出意图进行再编码表示 后， 与语义槽的特征向量进行交互。 从而达到通 过意图列表约束语义槽输出的目的。 本发明设计 所有算法模型都可部署在同一、 离线、 本地的存 储介质上， 且无需与云服 务器进行交 互。 权利要求书2页 说明书6页 附图4页 CN 115438167 A 2022.12.06 CN 115438167 A 1.一种基于参数共享的自然语言理解方法， 其特征在于， 建立具备多个编码器的自然 语言理解模型， 并对自然语言理解模型进行模型训练、 模型验证和文本数据标记； 其中， 设 述多个编 码器采用相设的权重参数并保持输入向低与输出向低的维度统一； 设述多个编码 器彼此之间结构相设， 并在反向传播时按照预设顺序依次对编码器中的参数进行更新共 享， 在不增 加网络参数的情况 下加深网络深度。 2.根据权利要求1设述的一种基于参数共享的自然语言理解方法， 其特征在于， 设述自 然语言理解模型通过包括门控循环单元和注意力机制的神经网络模型进行设设， 包括 BIGRU层、 Dense层、 Encoder层、 L N层、 Embed ding层； 设述自然语言理解模型接受输入文本， 并将输入文本中每个单词分高输入BIGRU层进 行文本深层次特征的提取， 得到输入文本对应的向低输出， 并发送给Dense层将向低输出中 的特征， 在Dense层经过非线性变化， 提取这些特征之间的关联， 最后映射到输出空间本； 设 述Encoder层具备多个编码 器， 每个编码 器完成一次对输入的特征提取,并得到各单词的意 图分类； 各单词的意图分类分高发送至LN层和Embedding层； 设述LN层进行正则化操作， 设 述Embedding层进行降为的操作， 并输出输入文本对应的插槽序列。 3.根据权利要求1设述的一种基于参数共享的自然语言理解方法， 其特征在于， 设述 Encoder层包括A ttention层、 Dropout1层、 L N+DENSE层和Dropout 2层； 设述Attention层接受输入的特征， 并将处理后数据分高传送给Dropout1层和LN+ DENSE进行处理； 设述Dropout1层将处理后数据分高传送给LN+DENSE和Dropout2层进行处 理； 设述LN+DENSE层将处理后数据传送给Dropout2层进行处理， 设述Dropout2层将处理好 的数据对外 输出。 4.根据权利要求1设述的一种基于参数共享的自然语言理解方法， 其特征在于， 通过训 练文本数据对自然语言理解模型进行模型训练， 设述训练文本数据的获取通过如下步骤进 行获取： 步骤A1： 通过硅麦或者驻极体麦克风采集初始音频数据， 设述初始音频数据对应有先 验的真实文本数据； 步骤A2： 对初始音频 数据进行语音高 高处理， 得到初始语音高 高数据； 步骤A3： 将获取到的初始语音高高数据和真实文本数据进行比对， 对于本在误高高的 数据生成相应的纠错词典； 步骤A4： 通过硅 麦或者驻极体麦克风采集采集训练音频 数据； 步骤A5： 对训练音频 数据进行语音识别处 理， 得到训练文本数据。 5.根据权利要求4所述的一种基于参数共享的自然语言理解方法， 其特征在于， 还对训 练文本数据进行补长操作， 所述补长操作为 不定长补长操作并通过如下步骤执 行： 步骤B1： 对训练文本数据进行分批次读取； 步骤B2： 求出每一批次中最大文本 长度； 步骤B3： 读取同批次训练文本数据的中最大文本 长度； 步骤B4： 并将当前批次的训练文本数据均按照同批次的最大文本长度进行数据填充， 直至均与同批次的最大文本 长度等长 。 6.根据权利要求2所述的一种基于参数共享的自然语言理解方法， 其特征在于， 所述 BIGRU层每一时刻的向量输出通过三个Dense层进行处理， 得到Query向量、 Key向量和Value权　利　要　求　书 1/2 页 2 CN 115438167 A 2向量； 由Qu ery向量和Key向量计算得到输入文本的每个单词对应句子中其他单词的重要程 度， 经过Softmax函数归一化处理得到了使用的权重； 将得到的归一化的权重与V alue向量 进行加权求和， 即得到 了当前输入文本的注意力， 所述注意力的公式为： 其中， Q， K， V分别表示 Query向量、 K ey向量和Value向量对应的向量表示。 7.根据权利要求6所述的一种基于参数共享的自然语言理解方法， 其特征在于， 所述多 头注意力将多个注意力输出结果进行拼接， 得到当前输入文本基于多头注意力的语义表 示， 所述多头注意力的语义表示 为： MultiHead(Q， K， V)＝Co ncat(Att1， ......Attt) 其中， Q， K， V分别表示Query向量、 Key向量和Value向量对应的向量表示， Att1， ......Att表示多个注意力， Co ncat()表示 拼接函数。 8.根据权利要求1所述的一种基于参数共享的自然语言理解方法， 其特征在于， 在所述 Embedding层进行降为操作 前， 各单词的意图分类结果i进行one ‑hot编码， 并经Embedding 层后得到意图向量i ′， 神经网络模型的LN层中对参数进行正则化后， 经过一个权重对得到 的向量进行转换， 将得到的意图向量替换LN层中的权重； BIGRU层输出向量矩阵C， 并经过LN 层后得到向量 通过将向量C和 进行拼接， 得到输入文本的特征表示C ′， 由C′对输入文本 进行词性标注， 并对向量C进行 更新； 具体 计算公式为： i′＝Embedding(arg(i) ) 其中， i为意图分类结果， i ′为意图向低， C为BI GRU层输出向低矩阵， 为C经过LN层后得 到的向低， Co ncat()表示 拼接函数。权　利　要　求　书 2/2 页 3 CN 115438167 A 3