(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211015737.1 (22)申请日 2022.08.24 (65)同一申请的已公布的文献号 申请公布号 CN 115098647 A (43)申请公布日 2022.09.23 (73)专利权人 中关村科 学城城市大脑 股份有限 公司 地址 100081 北京市海淀区中关村南大街5 号1区689号楼海淀科技大厦6层 (72)发明人 赵祥　葛标　张聪聪　柳进军　 王辉　郭宝松　 (74)专利代理 机构 北京唯智勤实知识产权代理 事务所(普通 合伙) 11557 专利代理师 孙姣(51)Int.Cl. G06F 16/33(2019.01) G06F 16/35(2019.01) G06K 9/62(2022.01) (56)对比文件 CN 111859967 A,2020.10.3 0 CN 110046670 A,2019.07.23 CN 111709240 A,2020.09.25 US 2014025 382 A1,2014.01.23 曾谁飞等.基 于神经网络的文本表示模型新 方法. 《通信学报》 .2017,(第04期), 审查员 赵天奇 (54)发明名称 用于文本表征的特征向量生成方法、 装置和 电子设备 (57)摘要 本公开的实施例公开了用 于文本表征的特 征向量生成方法、 装置和电子设备。 该方法的一 具体实施方式包括： 将知识特征序列中的知 识特 征与待表征文本进行拼接； 将拼接特征输入预训 练模型； 将候选特征向量子序列中的每个候选特 征向量， 与预训练模型中的嵌入矩阵进行相乘处 理； 将目标特征向量与目标特征向量在词表中对 应的词向量进行向量融合； 将得到的融合向量序 列中的融合向量输入第一特征降维网络； 将目标 候选特征向量输入第二特征降维网络； 将第一降 维特征向量序列中的第一降维特征向量和第二 降维特征向量进行向量拼接， 以生成待表征文本 对应的文本表征向量。 该实施方式提高了生成的 特征向量的精准度。 权利要求书3页 说明书10页 附图3页 CN 115098647 B 2022.11.01 CN 115098647 B 1.一种用于文本表征的特 征向量生成方法， 包括： 获取待表征文本； 将知识特 征序列中的知识特 征与所述待表征文本进行拼接， 以生成拼接特 征； 将所述拼接特征输入预训练模型， 以生成候选特 征向量序列； 将所述候选特征向量序列包括的候选特征向量子序列中的每个候选特征向量， 与 所述 预训练模型中的嵌入矩阵进行相乘处 理， 以生成目标 特征向量， 得到目标 特征向量序列； 对于所述目标特征向量序列中的每个目标特征向量， 将所述目标特征向量与 所述目标 特征向量在词表中对应的词向量进行向量融合， 以生成融合向量； 将得到的融合向量序列中的融合向量输入第 一特征降维网络， 以生成第 一降维特征向 量序列； 将目标候选特征向量输入第 二特征降维网络， 以生成第 二降维特征向量， 其中， 所述目 标候选特征向量是所述候选特征向量序列中除所述候选特征向量子序列之外的候选特征 向量； 将所述第一降维特征向量序列中的第一降维特征向量和所述第二降维特征向量进行 向量拼接， 以生成所述待表征文本对应的文本表征向量。 2.根据权利要求1所述的方法， 其中， 所述将知识特征序列中的知识特征与 所述待表征 文本进行拼接， 以生成拼接特 征， 包括： 将所述知识特 征序列中的各个知识特 征进行特征拼接， 以生成拼接知识特 征； 将所述拼接知识特 征与所述待表征文本进行拼接， 以生成候选拼接特 征； 在所述候选拼接特征包括的知识特征尾部插入遮盖符， 以及在所述候选拼接特征包括 的所述待表征文本尾部插 入遮盖符， 以生成所述 拼接特征。 3.根据权利要求2所述的方法， 其中， 所述将所述候选特征向量序列包括的候选特征向 量子序列中的每个候选特征向量， 与所述预训练模型中的嵌入矩阵进行相乘处理， 以生成 目标特征向量， 包括： 将所述候选特征向量与所述预训练模型包括的输入层对应的嵌入矩阵进行相乘 处理， 以生成所述目标 特征向量。 4.根据权利要求3所述的方法， 其中， 所述目标特征向量序列中的目标特征向量的向量 长度与目标特征向量在所述词表中对应的词向量的向量长度相同， 所述词表中的词向量为 经过独热编码后的词向量； 以及 所述将所述目标特征向量与 所述目标特征向量在词表中对应的词向量进行向量融合， 以生成融合向量， 包括： 将所述目标特征向量与所述目标特征向量在所述词表中对应的词向量进行向量相加 融合， 以生成所述目标 特征向量对应的融合向量。 5.根据权利要求4所述的方法， 其中， 所述第一特征降维网络包括： 第一线性层和第二 线性层； 以及 所述将得到的融合向量序列中的融合向量输入第 一特征降维网络， 以生成第 一降维特 征向量序列， 包括： 初始化第一目标嵌入矩阵， 其中， 所述第一目标嵌入矩阵为所述第一特征降维网络对 应的嵌入矩阵；权　利　要　求　书 1/3 页 2 CN 115098647 B 2将所述融合向量序列中的融合向量与所述第 一目标嵌入矩阵进行相乘 处理， 以生成第 一相乘后特 征向量序列； 将所述第一相乘后特征向量序列中的第 一相乘后特征向量输入所述第 一线性层， 得到 第一线性处理后的特征向量， 得到第一线性处理后的特征向量序列， 其中， 所述第一线性处 理后的特 征向量的向量长度与所述第一相乘后特 征向量的向量长度相同； 将所述第一线性处理后的特征向量序列中的第一线性处理后的特征向量输入所述第 二线性层， 以生成第一降维特征向量， 得到所述第一降维特征向量序列， 其中， 第一降维特 征向量的向量长度小于线性处 理后的特 征向量的向量长度。 6.根据权利要求5所述的方法， 其中， 所述第二特征降维网络包括： 第三线性层和第 四 线性层； 以及 所述将目标候选特 征向量输入第二特 征降维网络， 以生成第二降维特 征向量， 包括： 初始化第二目标嵌入矩阵， 其中， 所述第二目标嵌入矩阵为所述第二特征降维网络对 应的嵌入矩阵； 将所述目标候选特征向量与 所述第二目标嵌入矩阵进行相乘 处理， 以生成第 二相乘后 特征向量； 将所述第二相乘后特征向量输入所述第三线性层， 以生成第二线性处理后的特征向 量； 将所述第二线性处理后的特征向量输入所述第四线性层， 以生成所述第 二降维特征向 量。 7.根据权利要求6所述的方法， 其中， 所述方法还 包括： 响应于确定所述待表征文本对应的特征应用场景为文本分类场景， 将所述文本表征向 量输入至预 先训练的文本分类模型， 以确定所述待表征文本对应的文本类别。 8.一种用于文本表征的特 征向量生成装置， 包括： 获取单元， 被配置成获取待表征文本； 拼接单元， 被配置成将知识特征序列中的知识特征与所述待表征文本进行拼接， 以生 成拼接特 征； 第一输入单 元， 被配置成将所述 拼接特征输入预训练模型， 以生成候选特 征向量序列； 相乘处理单元， 被配置成将所述候选特征向量序列包括的候选特征向量子序列中的每 个候选特征向量， 与所述预训练模型中的嵌入矩阵进 行相乘处理， 以生成目标特征向量， 得 到目标特征向量序列； 向量融合单元， 被配置成对于所述目标特征向量序列中的每个目标特征向量， 将所述 目标特征向量与所述目标特征向量在词表中对应的词向量进行向量融合， 以生成融合向 量； 第二输入单元， 被配置成将得到的融合向量序列中的融合向量输入第一特征降维网 络， 以生成第一降维特 征向量序列； 第三输入单元， 被配置成将目标候选特征向量输入第二特征降维网络， 以生成第二降 维特征向量， 其中， 所述 目标候选特征向量是所述候选特征向量序列中除所述候选特征向 量子序列之外的候选特 征向量； 向量拼接单元， 被配置成将所述第 一降维特征向量序列中的第 一降维特征向量和所述权　利　要　求　书 2/3 页 3 CN 115098647 B 3