standard library
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210161138.4 (22)申请日 2022.02.22 (71)申请人 平安科技 (深圳) 有限公司 地址 518000 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 付桂振  (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 尹长斌 (51)Int.Cl. G06K 9/62(2022.01) G06F 40/30(2020.01) G06F 40/295(2020.01) G06F 16/36(2019.01) (54)发明名称 基于对比学习的实体链接模 型的训练方法、 装置、 设备 (57)摘要 本发明属于人工智能领域, 提供了一种基于 对比学习的实体链接模型的训练方法、 装置、 设 备, 方法包括: 从知识图谱的至少两个实体概念 获取目标参考实体, 通过语义识别处理得到第一 语义向量; 对第一语义向量进行特征丢弃处理得 到多个第二语义向量; 获取实体样 本正例样本和 负例样本, 正例样本为同一实体概念的第二语义 向量, 负例样本为不同实体概念的第一语义向 量; 将实体样本和训练数据输入实体链接模型进 行训练。 根据本实施例的技术方案, 能够通过对 目标参考实体的语义处理和特征丢弃处理得到 多个正例样 本和负例样本, 能够在标注较少的情 况下增加样本数量, 减少训练数据的获取成本, 实现对比学习, 有效提高了实体链接模型训练的 效率和准确性。 权利要求书2页 说明书10页 附图3页 CN 114519397 A 2022.05.20 CN 114519397 A 1.一种基于对比学习的实体链接模型的训练方法, 其特 征在于, 包括: 获取预设的知识图谱, 所述知识图谱包括多个实体概念, 每个所述实体概念关联有至 少一个参 考实体; 从至少两个所述实体概念获取所述参考实体, 得到由多个目标参考实体组成的实体 组; 对所述实体组进行语义识别处理, 得到每个所述目标参考实体所对应的第一语义向 量; 对所述第一语义向量进行特征丢弃处理, 得到每个所述目标参考实体所对应的多个第 二语义向量; 从所述目标参考实体中确定实体样本, 获取所述实体样本的训练数据, 所述训练数据 包括正例样本和负例样本, 所述正例样本为与所述实体样本归属于相同所述 实体概念的所 述目标参考 实体所对应的所述第二语义向量, 所述负例样本为与所述实体样本归属于不同 所述实体概念的所述目标参 考实体所对应的第一语义向量; 将所述实体样本和所述实体样本的训练数据输入实体链接模型进行训练。 2.根据权利要求1所述的基于对比学习的实体链接模型的训练方法, 其特征在于, 所述 从至少两个所述实体概念获取所述参考实体, 得到由多个目标参考实体组成的实体组, 包 括: 将所述知识图谱的全部所述 参考实体确定为所述目标参 考实体; 对所述目标参 考实体进行 预处理; 根据预设数量将预处理后的多个所述目标参考实体分成多个所述实体组, 每个所述实 体组包括至少两个归属于不同所述实体概念的所述目标参 考实体。 3.根据权利要求2所述的基于对比学习的实体链接模型的训练方法, 其特征在于, 所述 对所述实体组进行语义识别处理, 得到每个所述 目标参考实体所对应的第一语义向量, 包 括: 将多个所述实体组依次输入至预设的RoBERTa模型; 通过所述RoBERTa模型对每个所述实体组中的每个所述目标参考实体进行语义识别处 理, 得到每 个所述目标参 考实体所对应的所述第一语义向量。 4.根据权利要求1所述的基于对比学习的实体链接模型的训练方法, 其特征在于, 所述 对所述第一语义向量进行特征丢弃 处理, 得到每个所述目标参考 实体所对应的多个第二语 义向量, 包括: 对所述第一语义向量进行多次特征丢弃处理, 每次特征丢弃处理丢弃所述第 一语义向 量中的至少一个特 征; 将每次特 征丢弃处 理得到结果确定为所述第二语义向量。 5.根据权利要求1所述的基于对比学习的实体链接模型的训练方法, 其特征在于, 所述 实体链接模型包括感知机, 所述将所述 实体样本和所述 实体样本的训练数据输入实体链接 模型进行训练, 包括: 将多个所述 正例样本和所述负例样本 输入至所述感知机; 通过所述感知机将所述正例样本和所述负例 样本投影到 高维空间, 得到多个 高维度正 例样本和多个高维度负例样本;权 利 要 求 书 1/2 页 2 CN 114519397 A 2根据多个所述高维度正例样本和多个高维度负例样本进行所述实体样本的实体链接 训练。 6.根据权利要求5所述的基于对比学习的实体链接模型的训练方法, 其特征在于, 所述 根据所述高维度正例样本和高维度负例样本进行 所述实体样本的实体链接训练, 包括: 确定每个所述高维度正例样本和每 个高维度负例样本之间的余弦相似度; 根据多个所述 余弦相似度确定所述实体样本的目标相似度阈值。 7.根据权利要求1所述的基于对比学习的实体链接模型的训练方法, 其特征在于, 所述 实体链接模型的损失函数为 InfoNCE函数。 8.一种基于对比学习的实体链接模型的训练装置, 其特 征在于, 包括: 第一获取单元, 用于获取预设的知识图谱, 所述知识图谱包括多个实体概念, 每个所述 实体概念关联有至少一个参 考实体; 第二获取单元, 用于从至少两个所述实体概念获取所述参考实体, 得到由多个目标参 考实体组成的实体组; 第一处理单元, 用于对所述实体组进行语义识别处理, 得到每个所述目标参考实体所 对应的第一语义向量; 第二处理单元, 用于对所述第一语义向量进行特征丢弃处理, 得到每个所述目标参考 实体所对应的多个第二语义向量; 样本获取单元, 用于从所述目标参考实体中确定实体样本, 获取所述实体样本的训练 数据, 所述训练数据包括正例样本和负例样本, 所述正例样本为与所述实体样本归属于相 同所述实体概念的所述目标参考 实体所对应的所述第二语义向量, 所述负例样本为与所述 实体样本归属于不同所述实体概念的所述目标参 考实体所对应的第一语义向量; 训练单元, 用于将所述实体样本和所述实体样本的训练数据输入实体链接模型进行训 练。 9.一种电子设备, 包括: 存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序, 其特征在于, 所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项 所述的基于对比学习的实体链接模型的训练方法。 10.一种计算机可读存储介质, 存储有计算机程序, 其特征在于, 所述计算机程序用于 执行如权利要求1至7中任意 一项所述的基于对比学习的实体链接模型的训练方法。权 利 要 求 书 2/2 页 3 CN 114519397 A 3

PDF文档 专利 基于对比学习的实体链接模型的训练方法、装置、设备

文档预览
中文文档 16 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共16页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 基于对比学习的实体链接模型的训练方法、装置、设备 第 1 页 专利 基于对比学习的实体链接模型的训练方法、装置、设备 第 2 页 专利 基于对比学习的实体链接模型的训练方法、装置、设备 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-18 22:33:30上传分享
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。