(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202210033713.2
(22)申请日 2022.01.12
(71)申请人 平安科技 (深圳) 有限公司
地址 518000 广东省深圳市福田区福田街
道福安社区益田路5033号平 安金融中
心23楼
(72)发明人 陈浩
(74)专利代理 机构 深圳市明日今典知识产权代
理事务所(普通 合伙) 44343
专利代理师 王杰辉 陈秋波
(51)Int.Cl.
G06F 40/211(2020.01)
G06F 40/284(2020.01)
G06F 40/30(2020.01)
G06K 9/62(2022.01)
(54)发明名称
基于人工智能的文本主题生成方法、 装置、
设备及介质
(57)摘要
本申请涉及人工智能技术领域, 揭示了一种
基于人工智 能的文本主题生成方法、 装置、 设备
及介质, 其中方法包括: 获取目标文本集; 对所述
目标文本集中的每个所述目标文本进行句子向
量生成; 采用K ‑Means聚类算法和预设的聚类数
量, 对各个所述句子向量进行聚类, 得到多个句
子向量聚类集; 从指定句子向量聚类集对应的各
个所述目标文本中分别进行TF ‑IDF权重值的计
算及词语提取, 得到与所述指定句子向量聚类集
对应的目标文本主题, 其中, 所述指定句子向量
聚类集是任一个所述句子向量聚类集。 从而实现
了将统计的方法和基于语义信息的方法相结合,
提高了泛化性, 提高了确定的文本主题的准确
性。
权利要求书2页 说明书12页 附图2页
CN 114510923 A
2022.05.17
CN 114510923 A
1.一种基于人工智能的文本主题生成方法, 其特 征在于, 所述方法包括:
获取目标文本集;
对所述目标文本集中的每 个所述目标文本进行句子向量 生成;
采用K‑Means聚类算法和预设的聚类数量, 对各个所述句子向量进行聚类, 得到多个句
子向量聚类集;
从指定句子向量聚类集对应的各个所述目标文本中分别进行TF ‑IDF权重值的计算及
词语提取, 得到与所述指 定句子向量聚类集对应的目标文本主题, 其中, 所述指 定句子向量
聚类集是任一个所述句子向量聚类集。
2.根据权利要求1所述的基于人工智能的文本主题生成方法, 其特征在于, 所述获取目
标文本集的步骤, 包括:
获取多个小说简介文本;
对每个所述小说简介文本进行数据清洗, 得到每个所述小说简介文本对应的所述目标
文本;
将各个所述小说简介文本各自对应的所述目标文本作为所述目标文本集。
3.根据权利要求1所述的基于人工智能的文本主题生成方法, 其特征在于, 所述对所述
目标文本集中的每 个所述目标文本进行句子向量 生成的步骤, 包括:
将所述目标文本集中的每个所述目标文本输入预设的句子向量生成模型进行所述句
子向量生成, 其中, 所述句子向量 生成模型 是基于Ber t模型训练得到模型。
4.根据权利要求1所述的基于人工智能的文本主题生成方法, 其特征在于, 所述采用K ‑
Means聚类算法和预设的聚类数量, 对 各个所述句子向量进 行聚类, 得到多个句子向量聚类
集的步骤, 包括:
设置数量与所述聚类数量相同的聚类中心, 并对每 个所述聚类中心进行初始化;
计算每个所述句子向量与每 个所述聚类中心之间的向量距离;
根据各个所述向量距离, 将各个所述句子向量按照 最小距离原则分配到最邻 近的所述
聚类中心对应的初始聚类集;
对每个所述初始聚类集进行向量平均值计算, 得到每个所述初始聚类集对应的向量平
均值;
将指定向量平均值作为与所述指定向量平均值对应的所述初始聚类集的所述聚类中
心, 其中, 所述指定向量平均值是任一个所述向量平均值;
重复执行所述计算每个所述句子向量与每个所述 聚类中心之间的向量距离的步骤, 直
至每个所述初始聚类集对应的所述聚类中心不再变化;
将每个所述初始聚类集作为 一个所述句子向量聚类集。
5.根据权利要求4所述的基于人工智能的文本主题生成方法, 其特征在于, 所述计算每
个所述句子向量与每 个所述聚类中心之间的向量距离的步骤, 包括:
采用余弦相似度算法, 计算每个所述句子向量与每个所述 聚类中心之间的所述向量距
离。
6.根据权利要求1所述的基于人工智能的文本主题生成方法, 其特征在于, 所述采用K ‑
Means聚类算法和预设的聚类数量, 对 各个所述句子向量进 行聚类, 得到多个句子向量聚类
集的步骤, 还 包括:权 利 要 求 书 1/2 页
2
CN 114510923 A
2采用预设的降维算法, 对每 个所述句子向量进行降维处 理;
采用K‑Means聚类算法和所述聚类数量, 对降维处理后的各个所述句子向量进行 聚类,
得到多个所述句子向量聚类集。
7.根据权利要求1所述的基于人工智能的文本主题生成方法, 其特征在于, 所述从指定
句子向量聚类集对应的各个所述目标文本中分别进行T F‑IDF权重值的计算及词语提取, 得
到与所述指定句子向量聚类集对应的目标文本主题的步骤, 包括:
将所述指定句子向量聚类集对应的各个所述目标文本合并成一个文档, 得到目标文
档;
对所述目标文档进行分词, 得到初始词语集;
对初始词语集进行词语去重, 得到目标词语集;
采用TF‑IDF算法和所述初始词语集, 对所述目标词语集中的每个词语进行TF ‑IDF权重
值计算;
将各个所述TF ‑IDF权重值进行倒序排序, 得到TF ‑IDF权重值集;
采用从开头开始获取的方法, 从所述TF ‑IDF权重值集中获取数量与预设的词语数量相
同的所述TF ‑IDF权重值, 得到TF ‑IDF权重值集;
将所述TF ‑IDF权重值集对应的各个词语, 作为与所述指定句子向量聚类集对应的所述
目标文本主题。
8.一种基于人工智能的文本主题生成装置, 其特 征在于, 所述装置包括:
数据获取模块, 用于获取目标文本集;
句子向量生成模块, 用于对所述目标文本集中的每个所述目标文本进行句子向量生
成;
聚类模块, 用于采用K ‑Means聚类算法和预设的聚类数量, 对各个所述句子向量进行聚
类, 得到多个句子向量聚类集;
目标文本主题生成模块, 用于从指定句子向量聚类集对应的各个所述目标文本 中分别
进行TF‑IDF权重值的计算及词语提取, 得到与所述指定句子向量聚类集对应的目标文本主
题, 其中, 所述指定句子向量聚类集是任一个所述句子向量聚类集。
9.一种计算机设备, 包括存储器和处理器, 所述存储器存储有计算机程序, 其特征在
于, 所述处 理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质, 其上存储有计算机程序, 其特征在于, 所述计算机程序
被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。权 利 要 求 书 2/2 页
3
CN 114510923 A
3
专利 基于人工智能的文本主题生成方法、装置、设备及介质
文档预览
中文文档
17 页
50 下载
1000 浏览
0 评论
0 收藏
3.0分
温馨提示:本文档共17页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 SC 于 2024-02-18 22:33:57上传分享