(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210093522.5 (22)申请日 2022.01.26 (71)申请人 上海易康源医疗健康科技有限公司 地址 200120 上海市浦东 新区中国(上海) 自由贸易试验区临港新片区新杨公路 860号10幢 (72)发明人 曾祥云　朱姬渊　 (74)专利代理 机构 上海硕力知识产权代理事务 所(普通合伙) 31251 专利代理师 王法男 (51)Int.Cl. G06F 16/9532(2019.01) G06F 16/33(2019.01) G06F 40/211(2020.01) G06F 40/30(2020.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种神经网络训练方法、 语义检索方法及系 统 (57)摘要 本发明公开一种神经网络训练方法， 包括步 骤： S1:对句子进行标注； S2:将标注好的句子输 入神经网络模型； S3:设置损失函数； S4:根据损 失函数的损失值， 对神经网络进行训练。 本发明 采取的技术方案使用的神经网络训练方法得到 的模型参数少， 检索速度快， 能够获取文本的语 义信息， 从而提高了 检索的准确率。 权利要求书1页 说明书4页 附图1页 CN 114443936 A 2022.05.06 CN 114443936 A 1.一种神经网络训练方法， 其特 征是， 包括步骤： S1:对句子进行 标注； S2:将标注好的句子 输入神经网络模型； S3:设置损失函数； S4:根据损失函数的损失值， 对神经网络进行训练。 2.如权利要求1所述的神经网络训练方法， 其特征是， 步骤S1:对句子进行标注为： sentenceA， sentenceB， Score。 3.如权利要求1所述的神经网络训练方法， 其特征是， 步骤S3:设置损 失函数中的损失 函数公式为： 其中， m为训练的样本数量， label为人工标注的sentenceA和sentenceB的相似度， EsentenceA和EsentenceB为神经网络模型中抽取 出来的句向量， cos为 余弦相似度。 4.如权利要求1所述的神经网络训练方法， 其特征是， S2:将标注好的句子输入神经网 络模型包括 步骤： 将字向量、 位置编码、 字所在的句子信息均设置为128维； 将上述各向量乘以矩阵， 得到768维的向量； 输入神经网络， 得到句子特 征F， 句子特 征维度为： 输入句子个数*最长句子 长度*768； 将句子特 征F输入至卷积神经网络， 对句子的每 个字的特 征进行加权求和。 5.如权利要求1所述的神经网络训练方法， 其特征是， 所述神经网络结构为依次串联的 6对transformer 组和卷积神经网络构 成， 其中， 每对transformer 组由二层transformer构 成， 每组的t ransformer参数完全 共享。 6.一种基于神经网络的语义检索方法， 其特 征是， 包括步骤： 对文本库进行计算得到特 征向量E_total， 并存 储； 将用户查询的信息转换为向量S_f； 计算S_f和E_total的余弦相似度； 将余弦相似度得分最高的前N条句子返回检索结果。 7.一种基于神经网络的语义检索系统， 其特征是， 包括采集模块、 处理模块以及输出模 块， 其中： 采集模块对文本库进行计算得到特 征向量E_total， 并存 储； 处理模块用以对用户的输入的信息进行处 理； 输出模块用以将处 理模块的处 理结果返回给用户。 8.一种计算机可读存储介质， 其特征是， 所述存储介质中存储有指令或者程序， 所述指 令或者程序由处 理器加载并执 行以实现如权利要求6所述的语义检索方法。 9.一种电子设备， 其特征是， 包括： 处理器、 存储介质和总线， 所述存储介质存储有所述 处理器可执行 的机器可读指令， 当电子设备运行时， 所述处理器与所述存储介质之间通过 总线通信， 所述处 理器执行所述机器可读指令， 以执 行如权利要求6所述的语义检索方法。权　利　要　求　书 1/1 页 2 CN 114443936 A 2一种神经 网络训练方 法、 语义检索方 法及系统 技术领域 [0001]本发明涉及信息检索技术领域， 尤其涉及一种神经网络训练方法、 语义检索方法 及系统。 背景技术 [0002]海量的信息中， 信息搜索是重要的技术之一， 由于语言的特点， 同一个意思， 都会 有较多的相同以及相似的词汇进行表达， 为了更进一步检索到想要的信息， 有的还基于句 子的意思 进行概括和总结。 [0003]随着自然语言处理技术的发展， 语义搜索作为信息搜索搜得到了快速 的发展， 语 音搜索能从海量的文本中， 根据用户输入的词语或者句 子， 能够搜索出语义相同或者相似 的语句， 由于其具有深度的信息检索和挖掘能力， 在文 献搜索、 智能客户、 智能问答、 推荐系 统等领域得到 了广泛的应用。 [0004]现有技术中， 有的语义搜索技术已经结合深度神经网络来进行探索， 现有的检索 算法主要是基于文本相似度bm2.5和tf ‑idf(term  frequency –inverse  document   frequency)来实现， 其技术缺陷在于， 只能能够计算词的词频特征， 检索的词在 文本中出现 才可以被检索到。 只能获取词 频信息， 但是很难获取文本的语义信息， 如果不出现， 但是语 义相近的词无法被 检索到。 导致其检索准确率 不高。 发明内容 [0005]本发明为解决现有技术中存在的技术问题， 提供一种神经网络训练方法， 包括步 骤： [0006]S1:对句子进行 标注； [0007]S2:将标注好的句子 输入神经网络模型； [0008]S3:设置损失函数； [0009]S4:根据损失函数的损失值， 对神经网络进行训练。 [0010]进一步地， 步骤S1:对句子进行 标注为： sentenceA， sentenceB， Score。 [0011]进一步地， 步骤S3:设置损失函数中的损失函数公式为： [0012] [0013]其中， m为训练的样本数量， label为人工标注的sentenceA和sentenceB的相似度， EsentenceA和EsentenceB为神经网络模型中抽取 出来的句向量， cos为 余弦相似度。 [0014]进一步地， S2:将标注好的句子 输入神经网络模型包括 步骤： [0015]将字向量、 位置编码、 字所在的句子信息均设置为128维； [0016]将上述各向量乘以矩阵， 得到768维的向量； [0017]输入神经网络， 得到句子特征F， 句子特征维度为： 输入句子个数*最长句子长度* 768；说　明　书 1/4 页 3 CN 114443936 A 3