(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210117139.9 (22)申请日 2022.02.08 (71)申请人 成都四方伟业软件股份有限公司 地址 610041 四川省成 都市高新区科园三 路4号1栋2层 (72)发明人 韩威宏　刘俊良　王怡君　张国兵　 张登辉　胥果　曾丸畅　 (51)Int.Cl. G06F 40/284(2020.01) G06F 40/30(2020.01) G06F 40/242(2020.01) G06F 16/335(2019.01) (54)发明名称 基于深度学习BERT模型的煤监类案对比方 法及装置 (57)摘要 本发明公开了基于深度学习BERT模型的煤 监类案对比方法及装置， 主要解决现有技术中存 在的现有比对 方法会忽略词义和语义， 以及词与 词之间的关系所隐藏的大量语义的信息， 会导致 这一部分信息丢失， 导致对比搜索结果不准确的 问题。 该发明通过创建BERT分词器， 搭建、 训练 BERT模型； 通过BERT分词器读取煤监隐患信息 数 据库和待搜索隐患信息文本， 并对其进行分词， 然后通过模型bert得到文本语义向量的相似度； 最终得出得分最高的隐患记录 返回搜索结果； 本 发明能够更为 准确的进行煤监类 案对比计算。 权利要求书2页 说明书7页 附图1页 CN 114154496 A 2022.03.08 CN 114154496 A 1.一种基于深度学习BERT模型的煤监类案对比方法， 其特 征在于， 包括以下步骤： S1、 建立BERT模型的词典， 然后根据词典创建BERT分词器； S2、 搭建、 训练BERT模型， 然后配置BERT模型的模式和加载预训练模型文件， 加载文件 中各层参数到搭建的BERT模型中， 得到最终模型ber t； S3、 将煤监隐患信息数据库和待搜索隐患信息文本接入步骤S1的BERT分词器中， BERT 分词器对煤监隐患信息数据库和待搜索隐患信息文本进行分词； S4、 将步骤S3的分词结合 步骤S2的模型ber t得到文本语义向量； S5、 计算煤监隐患信息数据库和待搜索隐患信息文本两者文本语义向量的相似度， 然 后根据相似度高低排序列表； S6、 根据步骤S5的相似度排序列表， 选取 得分最高的隐患记录返回搜索结果。 2.根据权利要求1所述的基于深度 学习BERT模型的煤监类案对比方法， 其特征在于， 步 骤S1的具体过程为： 建立BERT模型的词典vocab.txt， 然后基于词典vocab.txt创建BERT分 词器tokenizer。 3.根据权利要求2所述的基于深度 学习BERT模型的煤监类案对比方法， 其特征在于， 步 骤S2中搭建、 训练BERT模 型的具体过程为： 利用深度学习框架搭建BERT网络， 然后结合预训 练模型得到最终的模型ber t。 4.根据权利要求3所述的基于深度 学习BERT模型的煤监类案对比方法， 其特征在于， 步 骤S3的具体过程为： BERT分词器tokenizer读取待搜索隐患信息文本Inp utText和煤监隐患 信息数据库中的所有记录Records； 然后对文本I nputText和Records进行分词。 5.根据权利要求4所述的基于深度 学习BERT模型的煤监类案对比方法， 其特征在于， 步 骤S4的具体过程如下： S401、 修改分词后的单字列表为以 “[CLS]”开头， 以“[SEP]”结束的列表， 然后通过p ad 将列表扩展到固定 长度L； S402、 将步骤S401的单字列表转换为 id列表并形成张量to kens_ids_tensor； S403、 根据步骤S402的张量tokens_ids_tensor构建值全为 ”0”的段张量segment_ids_ tenser,及句子 部分为“1”pad部分为 “0”的张量input_mask_tensor； S404、 将步骤S 402的张量tokens_ids_tensor、 步骤S 403的段张量segment_ids_t enser 和张量input_mask_tensor输入到模型ber t中， 得到文本语义向量textTensor。 6.根据权利要求5所述的基于深度 学习BERT模型的煤监类案对比方法， 其特征在于， 步 骤S5的具体过程为： 利用余弦相似度计算Inp utText和Records各记录的文本向量的空间余 弦相似度， 得到相似度得分列表L ist。 7.根据权利要求1所述的基于深度 学习BERT模型的煤监类案对比方法， 其特征在于， 余 弦相似度计算公式如下： 其中， ， 表示n维向量x的模， x、 y分别表示两 个文本语义向量。权　利　要　求　书 1/2 页 2 CN 114154496 A 28.一种基于深度学习BERT模型的煤监类案对比装置， 其特 征在于， 包括 存储器： 用于存 储可执行指令； 处理器： 用于执行所述存储器 中存储的可执行指令， 实现如权利要求1 ‑7任一项所述的 基于深度学习BERT模型的煤监类案对比方法。权　利　要　求　书 2/2 页 3 CN 114154496 A 3