文库搜索
切换导航
首页
频道
联系我们
国家标准目录
国际ISO标准目录
行业标准目录
地方标准目录
首页
联系我们
国家标准目录
国际ISO标准目录
行业标准目录
地方标准目录
批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211290756.5 (22)申请日 2022.10.21 (71)申请人 成都数之联科技股份有限公司 地址 610000 四川省成 都市武侯区锦绣 街8 号2层270号 (72)发明人 不公告发明人 (51)Int.Cl. G06F 16/33(2019.01) G06F 16/338(2019.01) G06F 40/30(2020.01) G06K 9/62(2022.01) G06N 3/08(2006.01) (54)发明名称 一种语义检索方法及系统、 设备和计算机可 读存储介质 (57)摘要 本发明涉及语义检索技术领域, 具体而言, 涉及一种语义检索方法及系统、 设备和计算机可 读存储介质, 所述方法包括步骤: 以无监督数据 和有监督数据训练召回模型; 以所述召回模型抽 取文档的语义向量, 以所述语义向量和所述文档 建立语义索引库; 以所述召回模 型通过计算余弦 相似度完成用户输入查询的召回操作, 且依据所 述余弦相似度以及关键字匹配进行召回粗排; 进 行精排模型建模且对所述粗排结果完成精排; 使 用了无监督数据和有监督数据训练召回模型, 还 进行了以关键字匹配为基础的召回, 粗排和精排 组合的新的完整过程能够使语义检索相比现有 的效果, 检索结果更准确更完整。 权利要求书1页 说明书8页 附图3页 CN 115357691 A 2022.11.18 CN 115357691 A 1.一种语义检索方法, 其特 征在于, 包括 步骤: 以无监督数据和有监 督数据训练召回模型; 以所述召回模型抽取文档的语义向量, 以所述语义向量和所述文档建立语义索引库; 以所述召回模型通过计算余弦相似度完成用户输入查询的召回操作, 且依据 所述余弦 相似度以及关键 字匹配进行召回粗 排; 进行精排模型建模 且对所述粗排结果完成精排。 2.根据权利要求1所述的语义检索方法, 其特征在于, 所述无监督数据为文档的特征内 容。 3.根据权利要求1所述的语义检索方法, 其特征在于, 所述有监督数据为用户查询数据 与用户最 终选中的文档数据, 以及所述用户查询数据与用户最终选中的文档数据的对应关 系。 4.根据权利要求1所述的语义检索方法, 其特征在于, 所述召回模型的训练过程中, 先 使用无监督数据进行数据增强训练, 再使用有监督数据进行精化训练, 且均通过所述余弦 相似度进行反向传播更新梯度完成收敛。 5.根据权利要求1所述的语义检索方法, 其特征在于, 所述粗排过程中的关键字匹配包 括广泛匹配、 短语匹配或精确匹配。 6.根据权利要求1所述的语义检索方法, 其特征在于, 所述精排模型采用pair ‑wise结 构。 7.根据权利要求4所述的语义检索方法, 其特征在于, 所述训练过程中, 若干所述余弦 相似度组成相似度矩阵。 8.一种语义检索系统, 其特 征在于, 包括: 模型构建模块, 以无监 督数据和有监 督数据训练召回模型; 语义索引建库模块, 以所述召回模型抽取文档的语义向量, 以所述语义向量和所述文 档建立语义索引库; 粗排模块, 以所述召回模型通过计算余弦相似度完成用户输入查询的召回操作, 且依 据所述余弦相似度以及关键 字匹配进行粗 排; 精排模块, 进行精排模型建模 且对所述粗排结果完成精排。 9.一种计算机设备, 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器 上运行的计算机程序, 其特征在于: 所述处理器执行所述计算机程序时实现如权利要求 1‑7 中任一项所述语义检索方法。 10.一种计算机可读存储介质, 其特征在于, 所述计算机可读存储介质上存储有计算机 程序, 所述计算机程序被处 理器执行时实现权利要求1 ‑7中任一项所述语义检索方法。权 利 要 求 书 1/1 页 2 CN 115357691 A 2一种语义检索方 法及系统、 设 备和计算机可 读存储介质 技术领域 [0001]本发明涉及语义检索技术领域, 具体而言, 涉及一种融合深度学习和特征工程的 语义检索方法。 背景技术 [0002]信息爆炸是当今信息社会的一大特点, 当前信息检索技术面临着网络信息更新越 来越快, 用户检索结果要求越来越精确的严重挑战, 如何快速有效地找到所需信息成为了 一个关键问题。 [0003]随着自然语言处理技术的发展, 语义检索研究自上世纪末以来快速发展, 它可以 有效解决上述问题, 返回给用户要求的结果。 [0004]语义检索是通过用户输入查询识别出用户检索目的, 继而向用户返回相关检索结 果。 检索技术主要分为两类: 一是通过查询关键词, 与文档建立字面文本匹配, 搜索出相关 文档; 二是基于深度神经网络建立模型, 将文本转化为向量, 建模句 子之间的语义相似度, 即将高维稀疏的向量映射成为一个低维稠密的向量, 随后在同一个向量空间中既表示用户 查询又表示候选集文档, 从而计算两者的相似度。 尽管语义检索 有不同的方法, 但其本质都 是对信息资源的语义处 理实现效率更高的检索。 [0005]语义检索技 术在取得极大进 展的同时, 也 面临诸多难点和问题。 [0006]比如, 现有技术CN114662668A 神经网络训练方法、 语义相似度计算方法及语义检 索系统公开方案中提到的现有方法, 其具体方案为: (1) 对句子进 行标注; (2) 将标注好的句 子输入神经网络模型; (3) 设置损失函数; (4) 根据损失函数的损失值, 对神经网络进行训 练; (5) 基于神经网络进 行向量预测, 计算余弦相似度, 返回余弦相似度得分最高的前N条句 子。 [0007]该方案中, 通过深度神经网络 的方法对句子进行深度语义联合, 可以找到深度语 义匹配的配对, 但只有一路深度语义模型召回, 召回结果较为单一, 存在召回不全、 准确率 不高的问题。 发明内容 [0008]为了解决背景技术中提到 的现有技术的问题, 以及优化方案本身, 我们提供了一 种新的语义检索方法, 包括 步骤: 以无监督数据和有监 督数据训练召回模型; 以所述召回模型抽取文档的语义向量, 以所述语义向量和所述文档建立语义索引 库; 以所述召回模型通过计算余弦相似度 完成用户输入查询的召回操作, 且依据所述 余弦相似度以及关键 字匹配进行召回粗 排; 进行精排模型建模 且对所述粗排结果完成精排。 [0009]该方案同时使用了无监督数据和有监督数据训练召回模型, 使模型进一步提升准说 明 书 1/8 页 3 CN 115357691 A 3
专利 一种语义检索方法及系统、设备和计算机可读存储介质
文档预览
中文文档
13 页
50 下载
1000 浏览
0 评论
0 收藏
3.0分
赞助2元下载(无需注册)
温馨提示:本文档共13页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助2元下载
本文档由 SC 于
2024-02-18 22:24:46
上传分享
举报
下载
原文档
(452.0 KB)
分享
友情链接
GB-T 14728.2-2008 双臂操作助行器具 要求和试验方法 第2部分:轮式助行架.pdf
NY-T 4022-2021 玉米品种真实性鉴定 SNP标记法.pdf
GB-T 18521-2001 地名分类与类别代码编制规则.pdf
T-CQMBA 1—2023 医院消毒供应中心过程质量控制管理技术及应用指南第1部分:质量可追溯记录.pdf
GB-T 956.3-2017 锥形弹性垫圈.pdf
GB-T 26758-2011 铅、锌冶炼企业节能规范.pdf
GM-T 0001.2-2012 祖冲之序列密码算法:第2部分:基于祖冲之算法的机密性算法.pdf
DB50-T 1474.2-2023 化粪池监控系统 第2部分:安装与调试 重庆市.pdf
DB65-T 4595—2022 高压开关柜局部放电在线监测装置技术规范 新疆维吾尔自治区.pdf
GB-T 31257-2014 蹦极通用技术条件.pdf
商用密码应用安全性测评机构能力评审实施细则(试行).pdf
GB-T 35264-2017 太阳能草坪灯系统 技术规范.pdf
NB-T 10908—2021 风电机组混凝土—钢混合塔筒施工规范.pdf
DB31-T 1214-2020 工业烘箱经济运行与节能监测 上海市.pdf
DB5301-T 100-2023 改性磷石膏综合利用 矿山生态修复 跟踪评估规范 昆明市.pdf
GB-Z 24294.1-2018 信息安全技术 基于互联网电子政务信息安全实施指南 第1部分:总则.pdf
T-CAEPI 66—2023 水污染源自动监控监测系统 运行维护技术指南.pdf
TB-T 3556-2020 铁路桥梁用结构钢.pdf
奇安信 2022年上半年网络安全应急响应分析报告.pdf
GB-T 43711-2024 电子采购交易规范 非招标方式.pdf
1
/
13
评价文档
赞助2元 点击下载(452.0 KB)
回到顶部
×
微信扫码支付
2
元 自动下载
点击进入官方售后微信群
支付 完成后 如未跳转 点击这里下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。