standard library
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210122962.9 (22)申请日 2022.02.09 (66)本国优先权数据 202110790976.3 2021.07.13 CN (71)申请人 北京金山数字 娱乐科技有限公司 地址 100085 北京市海淀区西二 旗中路33 号院5号楼1 1层002号 (72)发明人 汪洲 李长亮 毛璐  (74)专利代理 机构 北京智信禾专利代理有限公 司 11637 专利代理师 张小娜 (51)Int.Cl. G06F 40/211(2020.01) G06F 40/30(2020.01) G06F 16/35(2019.01) (54)发明名称 一种文本分段 方法及装置 (57)摘要 本申请提供一种文本分段方法及装置, 其中 所述文本分段方法包括: 接收针对目标文本的分 段指令; 响应于所述分段指令对 所述目标文本进 行分句处理, 生成语句序列; 将所述语句序列中 的每个语句依次输入至语句特征提取模型, 获得 所述语句特征提取模型输出的每个语句对应的 语句特征向量, 其中, 每个语句特征向量表示对 应语句的特征信息; 将每个语句对应的语句特征 向量输入至特征分类模型, 获得所述特征分类模 型输出的每个语句对应的语句类别; 根据每个语 句对应的语句类别对所述目标文本进行分段处 理, 获得段落集合。 通过本方法, 无需对文本进行 截取或压缩, 可以有效地参考文本的前后文语义 信息, 达到更好的文本分段效果, 提升用户的使 用体验。 权利要求书2页 说明书17页 附图7页 CN 114462385 A 2022.05.10 CN 114462385 A 1.一种文本分段 方法, 其特 征在于, 包括: 接收针对目标文本的分段指令; 响应于所述分段指令对所述目标文本进行分句处 理, 生成语句序列; 将所述语句序列中的每个语句依次输入至语句特征提取模型, 获得所述语句特征提取 模型输出 的每个语句对应的语句特征向量, 其中, 每个语句特征向量表示对应语句的特征 信息; 将每个语句对应的语句特征向量输入至特征分类模型, 获得所述特征分类模型输出的 每个语句对应的语句类别; 根据每个语句对应的语句类别对所述目标文本进行分段处 理, 获得段落集合。 2.如权利要求1所述的文本分段方法, 其特征在于, 响应于所述分段指令对所述目标文 本进行分句处 理, 生成语句序列, 包括: 响应于所述分段指令获取 预设的分句标识符; 根据所述分句标识符对所述目标文本进行分句处理, 获得多个语句, 并记录每个语句 的位置标识; 根据每个语句的位置标识获得 所述多个 语句对应的语句序列。 3.如权利要求2所述的文本分段方法, 其特征在于, 所述根据所述分句标识符对所述目 标文本进行分句处 理, 获得多个 语句, 包括: 获取预设的语句阈值; 根据所述分句标识符和所述语句阈值对所述目标文本进行分句处理, 获得多个语句, 其中, 分句处 理获得的语句数量小于等于所述语句阈值。 4.如权利要求1所述的文本分段方法, 其特征在于, 所述语句特征提取模型包括嵌入层 和编码器; 所述将所述语句序列中的每个语句依次输入至语句特征提取模型, 获得所述语句特征 提取模型输出的每 个语句对应的语句特 征向量, 包括: 在所述语句序列中确定目标语句; 对所述目标语句做分词处 理, 获得所述目标语句对应的词单 元集合; 将所述词单元集合输入至所述嵌入层做嵌入化处理, 获得所述词单元集合对应的词单 元向量集合; 将所述词单元向量集合输入所述编码器做编码处理, 获得所述目标语句对应的语句特 征向量。 5.如权利要求1所述的文本分段方法, 其特征在于, 所述特征分类模型包括应用循环神 经网络的特 征分类模型; 所述将每个语句对应的语句特征向量输入至特征分类模型, 获得所述特征分类模型输 出的每个语句对应的语句类别, 包括: 将每个语句对应的语句特征向量输入至应用循环神经网络的特征分类模型, 获得所述 应用循环神经网络的特 征分类模型输出的每 个语句对应的语句类别。 6.如权利要求5所述的文本分段方法, 其特征在于, 所述特征分类模型包括二分类模 型; 所述将每个语句对应的语句特征向量输入至应用循环神经网络的特征分类模型, 获得权 利 要 求 书 1/2 页 2 CN 114462385 A 2所述应用循环神经网络的特 征分类模型输出的每 个语句对应的语句类别, 包括: 将每个语句对应的语句特征向量输入至应用循环神经网络的二分类模型, 获得所述应 用循环神经网络的二分类模型输出的每 个语句对应的第一类别或第二类别。 7.如权利要求6所述的文本分段方法, 其特征在于, 根据每个语句对应的语句类别对所 述目标文本进行分段处 理, 获得段落集合, 包括: 根据每个语句对应的第 一类别或第 二类别对所述目标文本进行分段处理, 获得段落集 合。 8.如权利要求7 所述的文本分段 方法, 其特 征在于, 每 个语句对应位置标识; 根据每个语句对应的第 一类别或第 二类别对所述目标文本进行分段处理, 获得段落集 合, 包括: 根据每个语句对应的位置标识对每 个语句进行排序; 根据第一类别对应的语句对所述目标文本进行分段, 获得多个段落, 其中, 每个段落的 第一个语句为第一类别, 除第一个 语句外的其 他语句为第二类别。 9.一种文本分段装置, 其特 征在于, 包括: 接收模块, 被 配置为接收针对目标文本的分段指令; 分句模块, 被配置为响应于所述分段指令对所述目标文本进行分句处理, 生成语句序 列; 特征提取模块, 被配置为将所述语句序列中的每个语句依次输入至语句特征提取模 型, 获得所述语句特征提取模型输出的每个语句对应的语句特征向量, 其中, 每个语句特征 向量表示对应 语句的特 征信息; 分类模块, 被配置为将每个语句对应的语句特征向量输入至特征分类模型, 获得所述 特征分类模型输出的每 个语句对应的语句类别; 分段模块, 被配置为根据每个语句对应的语句类别对所述目标文本进行分段处理, 获 得段落集合。 10.一种计算设备, 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机指令, 其特征在于, 所述处理器执行所述计算机指 令时实现权利要求 1‑8任意一项 所述方 法的步骤。 11.一种计算机可读存储介质, 其存储有计算机指令, 其特征在于, 该计算机指令被处 理器执行时实现权利要求1 ‑8任意一项所述方法的步骤。权 利 要 求 书 2/2 页 3 CN 114462385 A 3

PDF文档 专利 一种文本分段方法及装置

文档预览
中文文档 27 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共27页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种文本分段方法及装置 第 1 页 专利 一种文本分段方法及装置 第 2 页 专利 一种文本分段方法及装置 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-18 22:33:38上传分享
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。