(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210018303.0 (22)申请日 2022.01.07 (71)申请人 清华大学 地址 100084 北京市海淀区清华园1号 (72)发明人 黄小猛　周峥　徐康　许立兵　 梁逸爽　王冬　 (74)专利代理 机构 北京亿腾知识产权代理事务 所(普通合伙) 11309 代理人 张静娟　陈霁 (51)Int.Cl. G06F 16/35(2019.01) G06F 40/289(2020.01) G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 用于训练概念识别模型以及识别概念的方 法和装置 (57)摘要 本说明书实施例提供了用 于训练概念识别 模型的方法和装置， 以及识别概念的方法和装 置。 其中， 用于训练概念识别模型的方法的一具 体实施方式包括： 获取训练样本集， 训练样本包 括目标领域的样本文本和样本文本所包含的目 标领域概念词； 基于主题模型， 生成样本文本对 应的样本主题表示； 将样本文本、 样本文本对应 的样本主题表 示、 预设的提示模板和待训练的软 提示作为预训练语 言模型的输入， 将与输入样本 文本对应的目标领域概念词作为预训练语言模 型的期望输出， 对软提示进行调整， 得到训练后 的概念识别模型。 权利要求书2页 说明书8页 附图4页 CN 114372146 A 2022.04.19 CN 114372146 A 1.一种用于训练概念识别模型的方法， 其中， 所述概念识别模型包括主题模型和预训 练语言模型， 所述方法包括： 获取训练样本集， 其中， 训练样本包括所述目标领域的样本文本和样本文本所包含的 目标领域概念词； 基于所述主题模型， 生成样本文本对应的样本主题 表示； 将样本文本、 样本文本对应的样本主题表示、 预设的提示模板和待训练的软提示作为 所述预训练语言模型的输入， 将与输入样本文本对应的目标领域概念词作为所述预训练语 言模型的期望 输出， 对所述软提 示进行调整， 得到训练后的概念识别模型。 2.根据权利要求1所述的方法， 其中， 所述预训练语言模型包括编码器和解码器； 以及 所述将样本文本、 样本文本对应的样本主题表示、 预设的提示模板和待训练的软提示 作为所述预训练语言模型的输入， 包括： 将样本文本对应的样本词嵌入表示和位置编码输入所述编码器， 将所述提示模板输入 所述解码 器， 将样本文本对应的样本主题表示和待训练的软提示输入所述编码器和所述解 码器。 3.根据权利要求1所述的方法， 其中， 所述基于所述主题模型， 生成样本文本对应的样 本主题表示， 包括： 生成样本文本的词袋表示； 将所述词袋表示输入所述主题模型， 生成样本文本对应的样本主题 表示。 4.根据权利要求3所述的方法， 其中， 所述 生成样本文本的词袋表示， 包括： 将样本文本进行分词， 得到分词结果； 根据预设的所述目标 领域的词典和所述分词结果， 得到样本文本的词袋表示。 5.根据权利要求1所述的方法， 其中， 所述目标领域至少包括以下之一： 地理领域、 天文 领域、 气象领域。 6.根据权利要求1所述的方法， 其中， 所述提示模板为一段预设文本， 包括空位置； 以及 当所述目标领域为地理领域时， 所述提示模板包括空位置+是一个地理学概念， 空位置+不 是一个地理学概念。 7.一种识别概念的方法， 包括： 获取目标 领域的待挖掘文本； 将所述待挖掘文本输入预先得到的概念识别模型的主题模型， 得到所述待挖掘文本的 主题表示， 其中， 所述 概念识别模型包括主题模型和预训练语言模型； 将所述待挖掘文本、 所述主题表示、 预设的提示模板和已训练的软提示输入所述预训 练语言模型， 得到所述待挖掘文本中的所述目标 领域的领域 概念词。 8.一种用于训练概念识别模型的装置， 所述概念识别模型包括主题模型和预训练语言 模型， 所述装置包括： 样本集获取单元， 配置为获取训练样本集， 其中， 训练样本包括所述目标领域的样本文 本和样本文本所包 含的目标 领域概念词； 生成单元， 配置为基于所述主题模型， 生成样本文本对应的样本主题 表示； 调整单元， 配置为将样本文本、 样本文本对应的样本主题表示、 预设的提示模板和待训 练的软提示作为所述预训练语言模型的输入， 将与输入样本文本对应的目标领域概念词作权　利　要　求　书 1/2 页 2 CN 114372146 A 2为所述预训练语言模型的期望 输出， 对所述软提 示进行调整， 得到训练后的概念识别模型。 9.一种识别概念的装置， 包括： 待挖掘文本获取 单元， 配置为获取目标 领域的待挖掘文本； 主题表示生成单元， 配置为将所述待挖掘文本输入预先得到的概念识别模型的主题模 型， 得到所述待挖掘文本的主题表示， 其中， 所述概念识别模 型包括主题模型和预训练语言 模型； 输入单元， 配置为将所述待挖掘文本、 所述主题表示、 预设的提示模板和已训练的软提 示输入所述预训练语言模型， 得到所述待挖掘文本中的所述目标 领域的领域 概念词。 10.一种计算设备， 包括存储器和 处理器， 其特征在于， 所述存储器中存储有可执行代 码， 所述处 理器执行所述可执行代码时， 实现权利要求1 ‑7中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114372146 A 3