standard library
文库搜索
切换导航
文件分类
频道
仅15元无限下载
联系我们
问题反馈
文件分类
仅15元无限下载
联系我们
问题反馈
批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210033645.X (22)申请日 2022.01.12 (71)申请人 车智互联 (北京) 科技有限公司 地址 100080 北京市海淀区丹棱 街3号B座 11层1110、 1111室 (72)发明人 杨雷 张志申 (74)专利代理 机构 北京思睿峰知识产权代理有 限公司 1 1396 专利代理师 高攀 赵爱军 (51)Int.Cl. G06F 40/289(2020.01) G06F 40/216(2020.01) G06F 40/30(2020.01) G06F 16/36(2019.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种针对领域的新词发现方法及计算设备 (57)摘要 本公开公开了一种针对领域的新词发现方 法及计算设备。 其中, 针对领域的新词发现方法 包括步骤: 基于特定领域的知识图谱, 对文本进 行分词处理, 得到分词结果; 对分词结果进行处 理, 得到多个词汇片段, 并分别统计各词汇片段 所指示词汇的词频; 基于所统计的词频, 来确定 词汇在文本中的统计特征; 确定词汇的语义向 量; 将语义向量输入卷积网络, 输出预测词汇属 于特定领域且 是完整词汇的第一概率; 以及基于 词汇的词频、 统计特征和第一概率, 确定出词汇 为特定领域的新词的第二 概率。 权利要求书2页 说明书11页 附图5页 CN 114462401 A 2022.05.10 CN 114462401 A 1.一种针对领域的新词发现方法, 包括 步骤: 基于特定领域的知识图谱, 对文本进行分词处 理, 得到分词结果; 对所述分词结果进行处理, 得到多个词汇片段, 并分别统计各词汇片段所指示词汇的 词频; 基于所统计的词频, 来确定词汇在文本中的统计特 征; 确定所述词汇的语义向量; 将所述词汇的语义向量输入卷积网络, 输出预测所述词汇属于所述特定领域且是完整 词汇的第一 概率; 以及 基于所述词汇 的词频、 统计特征和第一概率, 确定出所述词汇为所述特定领域的新词 的第二概率。 2.如权利要求1所述的方法, 其中, 基于特定领域的知识图谱, 对文本进行分词处理, 得 到分词结果的步骤 包括: 解析所述特定领域的知识图谱中的概念和实体, 作为属于所述特定领域的领域词汇; 将所述领域词汇作为分词依据, 对文本进行分词, 得到分词结果。 3.如权利要求1或2所述的方法, 其中, 所述词汇的语义向量包括: 表示所述词汇的语义 的第一向量和表示所述词汇在句子中的语义的第二向量。 4.如权利要求3所述的方法, 其中, 所述确定词汇的语义向量的步骤 包括: 利用语言表示模型, 分别确定出第一向量和第二向量; 基于所述第一向量和所述第二向量, 得到所述词汇的语义向量。 5.如权利要求4所述的方法, 其中, 所述利用语言表示模型, 分别确定出第一向量和第 二向量的步骤 包括: 将所述词汇输入第一语言表示模型进行处理, 并将其在第一位置的输出向量, 作为第 一向量; 将包含所述词汇 的句子, 输入第二语言表示模型进行处理, 并利用其在第二位置和第 三位置的输出向量, 生成所述第二向量; 其中, 所述第一位置为CLS位置, 第二位置为所述词汇在所述句子中的开始位置, 所述 第三位置为所述词汇在所述句子中的结束位置 。 6.如权利要求5所述的方法, 其中, 所述将包含所述词汇的句子, 输入第二语言表示模 型进行处 理, 并利用其在第二 位置和第三 位置的输出向量, 生成第二向量的步骤 包括: 从文本中选取部分包 含所述词汇的句子; 针对所选取的句子中的每 个句子, 将所述句子 输入第二语言表示模型, 来确定在第二 位置和第三 位置的输出向量; 将第二位置的输出向量与第 三位置的输出向量拼接, 生成表示所述词汇在所述句子中 语义的第二向量; 将每个句子对应的第 二向量相加并求取均值, 来得到表示所述词汇在句子 中的语义的 第二向量。 7.如权利要求1 ‑5中任一项所述的方法, 其中, 所述基于词汇的词频、 统计特征和第一 概率, 确定出 所述词汇为特定领域的新词的第二 概率的步骤 包括: 对所述词 汇的词频、 统计特征和第 一概率分别进行归一化处理, 得到归一化的词频、 归权 利 要 求 书 1/2 页 2 CN 114462401 A 2一化的统计特 征和归一 化的第一 概率; 基于所述归一化的词频、 所述归一化的统计特征和所述归一化的第一概率, 确定出所 述词汇为所述特定领域的新词的第二 概率。 8.如权利要求1 ‑6中任一项所述的方法, 其中, 所述对分词结果进行处理, 得到多个词 汇片段, 并分别统计各词汇片段 所指示词汇的词频的步骤 包括: 基于N‑Gram模型, 将所述分词结果划分成长度为 N的词汇片段序列; 对各词汇片段 所指示的词汇进行词频统计。 9.一种计算设备, 包括: 一个或多个处 理器; 存储器; 一个或多个程序, 其中所述一个或多个程序存储在所述存储器中并被配置为由所述一 个或多个处理器执行, 所述一个或多个程序包括用于执行如权利要求1 ‑8中任一方法的指 令。 10.一种存储一个或多个程序的计算机可读存储介质, 所述一个或多个程序包括指令, 所述指令在被 计算设备 执行时, 使得 所述计算设备 执行如权利要求1 ‑8任一项所述的方法。权 利 要 求 书 2/2 页 3 CN 114462401 A 3
专利 一种针对领域的新词发现方法及计算设备
文档预览
中文文档
19 页
50 下载
1000 浏览
0 评论
0 收藏
3.0分
赞助2.5元下载(无需注册)
温馨提示:本文档共19页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助2.5元下载
本文档由 SC 于
2024-02-18 22:33:57
上传分享
举报
下载
原文档
(877.9 KB)
分享
友情链接
T-CSEIA 1003—2023 能源工业互联网平台 发电侧电力数据的分类分级规范.pdf
YD-T 4204-2023 5G移动通信网络设备安全保障要求 核心网网络功能.pdf
GB-T 43557-2023 信息安全技术 网络安全信息报送指南.pdf
GA-T 460.4-2020 居民身份证卡体材料及打印薄膜技术规范 第4部分:制卡用模块、线圈承载层白色PETG薄膜.pdf
山东省数字政府建设实施方案-2.3.pdf
GB-T 18867-2014 电子工业用气体 六氟化硫.pdf
GB-T 37793-2019 钢坯枝晶偏析的定量分析方法.pdf
GB T 42447-2023 信息安全技术 电信领域数据安全指南.pdf
T-LYYLXH 002—2021 养老护理员职业技能操作培训规范.pdf
GB/T 1.2-2020 标准化工作导则 第2部分 以ISO IEC标准化文件为基础的标准化文件起草规则.pdf
GB-T 33321-2016 黄磷生产技术规范.pdf
GB-T 22939.6-2008 家用和类似用途电器包装 电冰箱的特殊要求.pdf
GB-T 20000.11-2016 标准化工作指南 第11部分:国家标准的英文译本通用表述.pdf
RB-T 065-2021 认证认可行业标准体系构建指南.pdf
GA 1800.3-2021 电力系统治安反恐防范要求 第3部分:水力发电企业.pdf
DB41-T 1666-2018 非金属矿绿色矿山建设规范 河南省.pdf
信通院 《区块链赋能新型智慧城市白皮书-2019年》.pdf
SANS 应急响应处理手册 incident-handlers-handbook 英文版.pdf
GB-T 34346-2017 基于风险的油气管道安全隐患分级导则.pdf
T-CWA 211—2022 水性非固化橡胶沥青防水涂料.pdf
1
/
19
评价文档
赞助2.5元 点击下载(877.9 KB)
回到顶部
×
微信扫码支付
2.5
元 自动下载
官方客服微信:siduwenku
支付 完成后 如未跳转 点击这里 下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。