(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202211000438.0
(22)申请日 2022.08.19
(71)申请人 腾讯科技 (深圳) 有限公司
地址 518057 广东省深圳市南 山区高新区
科技中一路腾讯大厦3 5层
(72)发明人 刘庆斌 郝彦超 陈曦
(74)专利代理 机构 华进联合专利商标代理有限
公司 44224
专利代理师 毛丹
(51)Int.Cl.
G06K 9/62(2022.01)
G06N 3/04(2006.01)
G06N 3/08(2006.01)
G06F 16/35(2019.01)
(54)发明名称
分类模型处理、 意图识别方法、 装置和计算
机设备
(57)摘要
本申请涉及一种分类模 型处理、 意图识别方
法、 装置和计算机设备。 方法包括: 获取训练样本
集合; 通过已训练分类模型, 分别提取训练样本
集合中各训练样本各自的第一样 本特征; 通过待
训练分类模型分别提取各训练样本各自的第二
样本特征, 并基于各第二样本特征进行分类, 基
于得到的各个第一分类结果确定分类损失; 基于
同一训练样本的第一样本特征和第二样本特征
进行损失计算, 得到第一目标损失, 基于属于不
同类别的两两训练样本各自的第二样本特征进
行损失计算, 得到第二目标损失; 基于第一目标
损失、 第二目标损失以及分类损失训练待训练分
类模型, 得到目标分类模型。 采用本方法能够提
高分类模型的识别准确性。
权利要求书4页 说明书26页 附图7页
CN 115456043 A
2022.12.09
CN 115456043 A
1.一种分类模型处 理方法, 其特 征在于, 所述方法包括:
获取训练样本集合; 所述训练样本集合包括属于已训练分类模型对应的已识别类别的
训练样本以及属于新增类别的训练样本;
通过所述已训练分类模型, 分别提取所述训练样本集合中各训练样本各自的第 一样本
特征;
通过待训练分类模型分别提取各所述训练样本各自的第 二样本特征, 并基于各所述第
二样本特 征进行分类, 基于得到的各个第一分类结果确定分类损失;
基于同一训练样本的第一样本特征和第二样本特征进行损失计算, 得到第一目标损
失, 基于属于不同类别的两两训练样本各自的第二样本特征进行损失计算, 得到第二 目标
损失;
基于所述第 一目标损失、 所述第 二目标损失以及所述分类损失调整所述待训练分类模
型的参数并继续训练, 当满足训练停止条件时, 得到目标分类模型, 所述目标分类模型用于
识别所述已识别类别和所述 新增类别。
2.根据权利要求1所述的方法, 其特征在于, 所述基于属于不同类别的两两训练样本各
自的第二样本特 征进行损失计算, 得到第二目标损失, 包括:
分别将每一个训练样本和所述训练样本集合中的各个训练样本组成训练样本对, 得到
多个训练样本对;
分别基于各个训练样本对各自对应的第 二样本特征进行相似度计算, 基于计算得到的
相似度确定各个所述训练样本对各自对应的子损失;
统计目标训练样本对对应的子损 失, 得到第二目标损 失, 所述目标训练样本对为包含
不同类别训练样本的训练样本对。
3.根据权利要求2所述的方法, 其特征在于, 所述基于计算得到的相似度确定各个所述
训练样本对各自对应的子损失, 包括:
针对每一个训练样本对应的相似度, 将所述相似度减去预设相似度得到的目标差值;
在所述相似度小于所述预设相似度的情况下, 将最小损失值确定为所述训练样本对应
的子损失;
在所述相似度 大于或者等于所述预设相似度的情况下, 将所述目标差值确定为所述训
练样本对应的子损失。
4.根据权利要求2所述的方法, 其特征在于, 所述统计目标训练样本对对应的子损 失,
得到第二目标损失, 包括:
对于每一个训练样本对, 获取所述训练样本对所包含的训练样本对应的类别标签, 基
于所述类别标签计算所述训练样本对对应的指示函数值; 其中, 所述指示函数值是通过指
示函数计算得到的, 在所述训练样本对所包含的训练样本对应的类别标签一致时, 通过所
述指示函数计算得到的指示函数值为第一数值, 在所述训练样本对所包含的训练样本对应
的类别标签一 致时, 通过 所述指示 函数计算得到的指示 函数值为第二数值;
当计算得到的指示函数值为第 一数值时, 对所述训练样本对对应的子损失进行保留处
理, 得到所述训练样本对对应的目标子损失, 当计算得到的指示函数值为第二数值时, 对所
述训练样本对 对应的子损失进行屏蔽处 理, 得到所述训练样本对 对应的目标子损失;
统计各个训练样本对各自对应的目标子损失, 得到第二目标损失。权 利 要 求 书 1/4 页
2
CN 115456043 A
25.根据权利要求1至4任意一项所述的方法, 其特征在于, 在所述基于所述第一目标损
失、 所述第二目标损失以及所述分类损失调整所述待训练分类模型的参数并继续训练之
前, 所述方法还 包括:
基于属于不同类别的两两训练样本对应的第一样本特征和第二样本特征进行损失计
算, 得到第三目标损失;
所述基于所述第一目标损失、 所述第 二目标损失以及所述分类损失调整所述待训练分
类模型的参数并继续训练, 包括:
统计所述第 一目标损失、 所述第 二目标损失、 所述第 三目标损失以及所述分类损失, 得
到统计损失;
基于所述统计损失调整所述待训练分类模型的参数并继续训练。
6.根据权利要求1所述的方法, 其特征在于, 所述基于同一训练样本的第 一样本特征和
第二样本特 征进行损失计算, 得到第一目标损失, 包括:
基于各个训练样本各自的第 一样本特征和第 二样本特征进行相似度计算, 基于计算得
到的相似度确定各个训练样本各自的子损失; 所述训练样本的子损失和所述训练样本对应
的相似度成负相关;
统计各个训练样本各自的子损失, 得到第一目标损失。
7.根据权利要求1所述的方法, 其特征在于, 所述已识别类别包括多个类别, 所述训练
样本集合的生成步骤 包括:
从存储器中获取初始样本集 合;
其中, 所述初始样本集合中包括所述已识别类别对应的代表训练样本, 且所述已识别
类别对应的代表训练样 本在所述已识别类别对应的特征空间中的分布, 与所述已识别类别
对应的原 始样本集 合在所述特 征空间中的分布匹配;
获取新增类别对应的新增样本集合, 基于所述新增样本集合与 所述初始样本集合中组
成训练样本集 合。
8.根据权利要求7所述的方法, 其特征在于, 在所述从存储器中获取初始样本集合之
前, 所述方法还 包括:
获取各个已识别类别各自对应的原始样本集合; 所述原始样本集合中包括所述已训练
分类模型对应的已识别训练样本;
针对每一个已识别类别对应的原始样本集合, 对所述原始样本集合中的各个已识别训
练样本各自的样本特 征进行聚类, 得到所述已识别类别对应的多个聚类簇;
分别从各个聚类簇中选取与各自的聚类中心之间的特征距离满足距离条件的样本特
征, 将选取的样本特 征所属的已识别训练样本作为所述已识别类别对应的代 表训练样本 。
9.根据权利要求8所述的方法, 其特征在于, 所述对所述原始样本集合中的各个已识别
训练样本各自的样本特 征进行聚类, 得到所述已识别类别对应的多个聚类簇, 包括:
确定所述已识别类别对应的第 一类别数量, 基于所述第 一类别数量以及所述存储器的
存储容量确定聚类过程中的目标类别数量;
对所述原始样本集合中的各个已识别训练样本各自的样本特征按照所述目标类别数
量进行聚类, 得到所述已识别类别对应的、 且与所述目标类别数量匹配的多个聚类簇 。
10.根据权利要求7所述的方法, 其特征在于, 所述新增类别包括多个, 在得到目标分类权 利 要 求 书 2/4 页
3
CN 115456043 A
3
专利 分类模型处理、意图识别方法、装置和计算机设备
文档预览
中文文档
38 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共38页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 人生无常 于 2024-03-18 02:13:33上传分享