standard library
文库搜索
切换导航
文件分类
频道
仅15元无限下载
联系我们
问题反馈
文件分类
仅15元无限下载
联系我们
问题反馈
批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210122962.9 (22)申请日 2022.02.09 (66)本国优先权数据 202110790976.3 2021.07.13 CN (71)申请人 北京金山数字 娱乐科技有限公司 地址 100085 北京市海淀区西二 旗中路33 号院5号楼1 1层002号 (72)发明人 汪洲 李长亮 毛璐 (74)专利代理 机构 北京智信禾专利代理有限公 司 11637 专利代理师 张小娜 (51)Int.Cl. G06F 40/211(2020.01) G06F 40/30(2020.01) G06F 16/35(2019.01) (54)发明名称 一种文本分段 方法及装置 (57)摘要 本申请提供一种文本分段方法及装置, 其中 所述文本分段方法包括: 接收针对目标文本的分 段指令; 响应于所述分段指令对 所述目标文本进 行分句处理, 生成语句序列; 将所述语句序列中 的每个语句依次输入至语句特征提取模型, 获得 所述语句特征提取模型输出的每个语句对应的 语句特征向量, 其中, 每个语句特征向量表示对 应语句的特征信息; 将每个语句对应的语句特征 向量输入至特征分类模型, 获得所述特征分类模 型输出的每个语句对应的语句类别; 根据每个语 句对应的语句类别对所述目标文本进行分段处 理, 获得段落集合。 通过本方法, 无需对文本进行 截取或压缩, 可以有效地参考文本的前后文语义 信息, 达到更好的文本分段效果, 提升用户的使 用体验。 权利要求书2页 说明书17页 附图7页 CN 114462385 A 2022.05.10 CN 114462385 A 1.一种文本分段 方法, 其特 征在于, 包括: 接收针对目标文本的分段指令; 响应于所述分段指令对所述目标文本进行分句处 理, 生成语句序列; 将所述语句序列中的每个语句依次输入至语句特征提取模型, 获得所述语句特征提取 模型输出 的每个语句对应的语句特征向量, 其中, 每个语句特征向量表示对应语句的特征 信息; 将每个语句对应的语句特征向量输入至特征分类模型, 获得所述特征分类模型输出的 每个语句对应的语句类别; 根据每个语句对应的语句类别对所述目标文本进行分段处 理, 获得段落集合。 2.如权利要求1所述的文本分段方法, 其特征在于, 响应于所述分段指令对所述目标文 本进行分句处 理, 生成语句序列, 包括: 响应于所述分段指令获取 预设的分句标识符; 根据所述分句标识符对所述目标文本进行分句处理, 获得多个语句, 并记录每个语句 的位置标识; 根据每个语句的位置标识获得 所述多个 语句对应的语句序列。 3.如权利要求2所述的文本分段方法, 其特征在于, 所述根据所述分句标识符对所述目 标文本进行分句处 理, 获得多个 语句, 包括: 获取预设的语句阈值; 根据所述分句标识符和所述语句阈值对所述目标文本进行分句处理, 获得多个语句, 其中, 分句处 理获得的语句数量小于等于所述语句阈值。 4.如权利要求1所述的文本分段方法, 其特征在于, 所述语句特征提取模型包括嵌入层 和编码器; 所述将所述语句序列中的每个语句依次输入至语句特征提取模型, 获得所述语句特征 提取模型输出的每 个语句对应的语句特 征向量, 包括: 在所述语句序列中确定目标语句; 对所述目标语句做分词处 理, 获得所述目标语句对应的词单 元集合; 将所述词单元集合输入至所述嵌入层做嵌入化处理, 获得所述词单元集合对应的词单 元向量集合; 将所述词单元向量集合输入所述编码器做编码处理, 获得所述目标语句对应的语句特 征向量。 5.如权利要求1所述的文本分段方法, 其特征在于, 所述特征分类模型包括应用循环神 经网络的特 征分类模型; 所述将每个语句对应的语句特征向量输入至特征分类模型, 获得所述特征分类模型输 出的每个语句对应的语句类别, 包括: 将每个语句对应的语句特征向量输入至应用循环神经网络的特征分类模型, 获得所述 应用循环神经网络的特 征分类模型输出的每 个语句对应的语句类别。 6.如权利要求5所述的文本分段方法, 其特征在于, 所述特征分类模型包括二分类模 型; 所述将每个语句对应的语句特征向量输入至应用循环神经网络的特征分类模型, 获得权 利 要 求 书 1/2 页 2 CN 114462385 A 2所述应用循环神经网络的特 征分类模型输出的每 个语句对应的语句类别, 包括: 将每个语句对应的语句特征向量输入至应用循环神经网络的二分类模型, 获得所述应 用循环神经网络的二分类模型输出的每 个语句对应的第一类别或第二类别。 7.如权利要求6所述的文本分段方法, 其特征在于, 根据每个语句对应的语句类别对所 述目标文本进行分段处 理, 获得段落集合, 包括: 根据每个语句对应的第 一类别或第 二类别对所述目标文本进行分段处理, 获得段落集 合。 8.如权利要求7 所述的文本分段 方法, 其特 征在于, 每 个语句对应位置标识; 根据每个语句对应的第 一类别或第 二类别对所述目标文本进行分段处理, 获得段落集 合, 包括: 根据每个语句对应的位置标识对每 个语句进行排序; 根据第一类别对应的语句对所述目标文本进行分段, 获得多个段落, 其中, 每个段落的 第一个语句为第一类别, 除第一个 语句外的其 他语句为第二类别。 9.一种文本分段装置, 其特 征在于, 包括: 接收模块, 被 配置为接收针对目标文本的分段指令; 分句模块, 被配置为响应于所述分段指令对所述目标文本进行分句处理, 生成语句序 列; 特征提取模块, 被配置为将所述语句序列中的每个语句依次输入至语句特征提取模 型, 获得所述语句特征提取模型输出的每个语句对应的语句特征向量, 其中, 每个语句特征 向量表示对应 语句的特 征信息; 分类模块, 被配置为将每个语句对应的语句特征向量输入至特征分类模型, 获得所述 特征分类模型输出的每 个语句对应的语句类别; 分段模块, 被配置为根据每个语句对应的语句类别对所述目标文本进行分段处理, 获 得段落集合。 10.一种计算设备, 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机指令, 其特征在于, 所述处理器执行所述计算机指 令时实现权利要求 1‑8任意一项 所述方 法的步骤。 11.一种计算机可读存储介质, 其存储有计算机指令, 其特征在于, 该计算机指令被处 理器执行时实现权利要求1 ‑8任意一项所述方法的步骤。权 利 要 求 书 2/2 页 3 CN 114462385 A 3
专利 一种文本分段方法及装置
文档预览
中文文档
27 页
50 下载
1000 浏览
0 评论
0 收藏
3.0分
赞助2.5元下载(无需注册)
温馨提示:本文档共27页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助2.5元下载
本文档由 SC 于
2024-02-18 22:33:38
上传分享
举报
下载
原文档
(1.1 MB)
分享
友情链接
T-GHDQ 99—2022 智能网联汽车远程通信模块信息安全 测试规范.pdf
GB-T 41871-2022 信息安全技术 汽车数据处理安全要素.pdf
GB-T 41464-2022 高成长企业分类导引.pdf
T-FSRS 1.1—2019 抚松人参”栽培技术规程 第1部分:福星1号.pdf
GB-T 40651-2021 信息安全技术 实体鉴别保障框架.pdf
GB-T 42892-2023 项目管理敏捷化指南.pdf
GB-T 25060-2010 信息安全技术 公钥基础设施 X.509数字证书应用接口规范.pdf
GB-T 33667-2017 高校毕业生就业指导服务规范.pdf
DB4113-T 068-2024 饲养禽类前殖吸虫病防治技术规范 南阳市.pdf
YD-T 4066-2022 移动终端图像及视频防抖性能技术要求和测试方法.pdf
TCESA 1156-2021 信息技术服务 从业人员能力评价指南 运行维护服务.pdf
BB-T 0083-2021 食品包装容器用聚乙烯发泡垫片.pdf
GB-T 10647-2008 饲料工业术语.pdf
T-IPCAC 1—2024 AIGC登记服务规范.pdf
GB-T 1457-2022 夹层结构滚筒剥离强度试验方法.pdf
GB-T 42014-2022 信息安全技术 网上购物服务数据安全要求.pdf
SY-T 7644-2021 盐穴型储气库井筒及盐穴密封性检测技术规范.pdf
T-ZAII 008—2018 环保渣土车管理终端.pdf
GB-T 9081-2008 机动车燃油加油机.pdf
TTAF 187—2023 框架型应用软件个人信息保护规范.pdf
1
/
27
评价文档
赞助2.5元 点击下载(1.1 MB)
回到顶部
×
微信扫码支付
2.5
元 自动下载
官方客服微信:siduwenku
支付 完成后 如未跳转 点击这里 下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。