(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210114303.0 (22)申请日 2022.01.30 (71)申请人 天津大学 地址 300072 天津市南 开区卫津路9 2号 (72)发明人 熊德意　李俊卓　 (74)专利代理 机构 天津市北洋 有限责任专利代 理事务所 12 201 专利代理师 李素兰 (51)Int.Cl. G06F 16/33(2019.01) G06F 16/332(2019.01) G06F 40/295(2020.01) G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种对话式知识库问答实现方法 (57)摘要 本发明公开了一种对话式知识库问答实现 方法， 步骤1： 预先定义模糊推理语法体系； 步骤 2： 获取待回答的当前问题、 对话历史信息， 通过 GloVe模型得到向量表示； 步骤3： 得到编码器的 隐状态向量； 步骤4： 从特征表示中识别出命名实 体及其类型； 步骤5： 得到知识库中的实体ID； 步 骤6： 得到问题在当前语 法框架下的逻辑形式； 步 骤7： 预测问题中的关系ID和实体类 型ID； 步骤8： 得到可在知识库上执行的查询语句； 步骤9： 在知 识库中执行该查询语句， 得到当前问题对应的答 案。 与现有技术相比， 本发明自动识别出对话中 用户问题的意图， 提高了对话中应答的准确率， 适用于开放领域知识图谱问答， 能提升用户体验 满意度。 权利要求书3页 说明书9页 附图4页 CN 114443818 A 2022.05.06 CN 114443818 A 1.一种对话式知识库问答实现方法， 其特 征在于， 该 方法包括以下步骤： 步骤1： 预 先定义模糊推理语法体系； 步骤2： 获取待回答的当前问题、 对话历史信息， 通过Gl oVe模型得到向量表示； 步骤3： 通过基于多头注意力机制的编码器， 得到编码器的隐状态向量， 表示如下： henc＝encoder(x； θenc) 其中， encoder(  )是编码器函数， θdec是编码器函数的可训练参数； 步骤4： 通过基于LSTM的命名实体识别模型， 从特 征表示中识别出命名实体及其类型； 步骤5： 通过基于XLNet的实体消歧模型， 将识别出的实体链接到知识库中的实体， 得到 知识库中的实体ID； 步骤6： 根据编码器的隐状态向量， 通过基于多头注意力机制的解码器， 得到问题在当 前语法框架下的逻辑形式； 表示如下： zdec＝decoder(henc； θdec) 其中， decoder(  )是解码器函数， θdec是编码器函数的可训练参数， zdec是解码器函数的 隐状态向量， P(ydec|x)表示ydec相对于ydec的概率， ydec是输入序列， ydec是解码任务的真实标 签， Wdec是一个线性层， 用以转换解码器隐状态向量的维度； 步骤7： 根据编码器的隐状态向量最后一位、 解码器的隐状态向量和知识库知识， 预测 问题中的关系ID和实体 类型ID； 步骤8： 将实体ID、 关系ID、 实体类型ID与 解码得到的逻辑形式整合， 得到可在知识库上 执行的查询语句； 步骤9： 在 知识库中执 行该查询语句， 得到当前问题对应的答案 。 2.如权利要求1所述的一种对话式知识库问答实现方法， 其特征在于， 所述步骤1包括 定义查询类操作、 筛选类操作、 计数类操作、 严格比较类操作、 模糊比较类操作和集合类操 作。 3.如权利要求1所述的一种对话式知识库问答实现方法， 其特征在于， 所述步骤2以下 具体操作： 步骤S201： 获取当前问题及对话历史信息， 对问题进行预处理， 预处理包括： 去除问句 中的标点符号(如问句末尾的问号、 句号 等)， 以及对问句中的单词进行小 写转化等； 步骤S202： 将当前问题及对话历史信息进行拼接， 构成新的问题； 步骤S203： 获取输入的向量表示， 使用Gl oVe模型来获得每 个单词的向量表示。 4.如权利要求1所述的一种对话式知识库问答实现方法， 其特征在于， 所述步骤4具体 包括以下操作： 步骤S401： 通过基于LSTM的命名实体识别模型， 从特征表示中识别出命名实体及其类 型， 表示如下： hLSTM＝LSTM(henc； θLSTM) 其中， LSTM(  )是长短期记忆网络， θLSTM是LSTM的可训练参数， hLSTM是通过LSTM得到的 隐 状态向量； 步骤S402： 筛选识别出的实体， 通过前馈神经网络， 对问题中的实体进行筛选， 表示如权　利　要　求　书 1/3 页 2 CN 114443818 A 2下： hFFN＝LeakyReLU(WFFN1[henc； hLSTM]) 其中， LeakyReLU(  )是带泄露修正线性单元， WFFN1和WFFN2是线性层1和2的可训练参数， 用以变换矩阵维度， hFFN是前馈神经网络的隐状态向量， P(yER|x)表示yER相对于x的概率， x 是输入序列， yER是命名实体识别任务的真实标签， 是在时间步t的前馈神经网络隐状 态向量。 5.如权利要求1所述的一种对话式知识库问答实现方法， 其特征在于， 所述步骤5具体 包括以下操作： 步骤S501： 根据命名实体识别的结果(实体类型、 实体名)， 检索知识库中满足该结果的 所有实体。 步骤S502： 判断实体数是否为1， 若是， 则直接返回该实体ID， 步骤S50结束； 否则， 所有 实体构成候选实体集； 步骤S503： 对候选实体集中的每一个实体， 检索知识库中与其相关的三元组。 在一个实 施例中， 检索3个相关的三元组； 具体地， 若相关三元组数小于3， 则使用实体名作为三元组 进行填充； 步骤S504： 将当前的问题、 候选实体名、 n个实体相关的三元组使用 “[SEP]”进行拼接， 得到消歧模型的输入； 步骤S505： 通过XLNet模型获取 特征表示； 步骤S506： 通过线性层进行二分类， 计算输入为真、 假的概 率； 步骤S507： 按照输入为真的概 率， 降序排序候选实体集中的实体， 返回首个实体的ID。 6.如权利要求1所述的一种对话式知识库问答实现方法， 其特征在于， 所述步骤7具体 包括以下操作： 步骤S701： 利用知识库信息得到实体类型和关系的嵌入表示； 具体的， 从知识库中检索 实体类型和关系的n个相关三元组， 得到实际语义表示， 通过BERT模型 得到嵌入表示eτr； 步骤S702： 通过多标签分类模型计算输入在不同标签上的概率； 具体地， 计算编码器隐 状态向量最后一位 与与不同标签的嵌入表示的乘积， 通 过Sigmoid函数得到当前输入在 不同标签上的概 率， 表示为： 其中， P(yMLC|x)是yMLC相对于x的概率， yMLC是多标签分类任务的真实标签， Sigmoid(  ) 是S型生长曲线， 是编码器的隐状态向量最后一位， WMLC( )是多标签分类模型中的线性 层参数， (eτr)T是转置后的实体 类型和关系的嵌入表示； 步骤S703： 从知识库中抽象出类型 ‑关系图， 将知识库中的实体类型和关系抽象成节 点， 如果对实体类型τ1和τ2与关系r， 知识库中存在一个三元组(eh， r， et)， 满足eh的类型是 τ1， et的类型是τ2， 则在类型 ‑关系图中构建边< τ1， r>和<r， τ2>； 步骤S704： 通过GAT模型 得到类型 ‑关系图的特 征表示hGAT；权　利　要　求　书 2/3 页 3 CN 114443818 A 3