(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210006117.5 (22)申请日 2022.01.05 (71)申请人 北京邮电大 学 地址 100876 北京市海淀区西土城路10号 (72)发明人 李小勇　左峻嘉　高雅丽　兰天　 (74)专利代理 机构 北京挺立专利事务所(普通 合伙) 11265 代理人 高福勇 (51)Int.Cl. G06F 40/279(2020.01) G06F 40/221(2020.01) G06F 40/30(2020.01) G06F 16/951(2019.01) G06F 16/33(2019.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的威胁情报信息抽取方 法 (57)摘要 本发明公开了一种基于深度学习的威胁情 报信息抽取方法， 包括以下步骤： S1、 情报采集： 收集APT报告， 对不同源分析网页结构设计web爬 虫调用Request库完成非结构化情报文本的采 集， 设计布隆过滤器实现url的去重处理； S2、 预 处理： 根据文章长度和关键词密度对输入的数据 进行筛选， 采用YEEDA对筛选 出的APT报告进行 实 体关系标注； S3、 实体关系抽取： 对预处理好的非 结构化APT报告抽取有价值的实体关系三元组。 本发明的威胁情报信息抽取方法， 通过调整深度 神经网络模型并提出一种新的序列标注方法与 实体关系抽取规则， 解决当前威胁情报实体关系 抽取系统存在传播误差以及模型对重叠关系实 体抽取准确率不高的问题， 同时给出了大规模威 胁情报数据集构建以及预处 理的细节。 权利要求书2页 说明书7页 附图2页 CN 114330322 A 2022.04.12 CN 114330322 A 1.一种基于深度学习的威胁情 报信息抽取 方法， 其特 征在于， 包括以下步骤： S1、 情报采集： 收集APT报告， 对不同源分析网页结构设计web爬虫调用Request库完成 非结构化情报文本的采集， 对URL进行MD5信息摘要算法加密， 基于多种哈系函数生成多个 哈希值映射到布隆过 滤器完成URL的去重处 理； S2、 预处理： 根据文章长度和关键词密度对输入的数据进行筛选， 对筛选出的APT报告 进行实体关系标注； S3、 实体关系抽取： 对预处理好的非结构化APT报告抽取符合预定类型的实体关系三元 组。 2.根据权利要求1所述的基于深度学习的威胁情报信息抽取方法， 其特征在于， 步骤S2 中， 根据文章长度和关键词密度对输入的数据进 行筛选， 剔除文本长度小于500词和关键词 密度小于 0.05的报告。 3.根据权利要求1所述的基于深度学习的威胁情报信息抽取方法， 其特征在于， 步骤S2 中， 采用YEDDA对筛选出的APT报告进行实体关系标注， 其中标注分为三个部分， 即实体边 界、 关系范畴和实体角色； 对于实体边界， 使用 “BIEOS”表示单词在实体中的位置信息： “B” 表示单词在实体的开头； “I”表示单词位于实体的中间； “E”表示单词位于实体的尾部； “S” 表示单词是单个实体； “O”表示该词不属于任何实体； 基于CTI语料库， 将所有实体角色分为 七类， 即ORG、 LOC、 SW、 MAL、 VUL、 MEH和MF； 实体关系分为六类： comes ‑from、 uses、 has ‑ vulnerability、 has‑product、 uses ‑file和related ‑to。 4.根据权利要求1所述的基于深度学习的威胁情报信息抽取方法， 其特征在于， 步骤S3 实体关系抽取的具体流 程为： S301、 首先对非结构化事 件情报文本进行 预处理； S302、 将通过查询字向量表将文本中的每个字转换为一维向量， 输入BERT预训练语言 模型， 模型输出 是输入各字对应的融合全文语义信息后的向量表示； S303、 将文本的词向量输入Attention_BiLSTM_CRF训练模型， 输出为全局最优的标注 序列。 5.根据权利要求4所述的基于深度学习的威胁情报信息抽取方法， 其特征在于， 步骤 S302的BERT预训练语言模型中， 激活函数为GeLU， 维度为768维， 隐藏层 层数为10层。 6.根据权利要求4所述的基于深度学习的威胁情报信息抽取方法， 其特征在于， 步骤 S302通过矩阵映射的方式， 将词向量由768维降至200维输入到Attention_BiLSTM_CRF训练 模型的Bi lstm层。 7.根据权利要求4所述的基于深度学习的威胁情报信息抽取方法， 其特征在于， Attention_BiLSTM_CRF训练模型分为Bi lstm层、 at tention层以及CRF层。 8.根据权利 要求7所述的基于深度学习的威胁情报信息抽取方法， 其特征在于， BiLSTM 层的流程为： 将嵌入层得到的词向量序列作为BiLSTM的输入， 对前向LSTM输出的隐状态序 列与反向LSTM输出的隐状态序列进行拼接， 得到完整的隐状态序列； 然后将隐状态序列映 射到k维， k是 标注集的标签数， 从而得到自动提取的特 征。 9.根据权利要求7所述的基于深度学习的威胁情报信息抽取方法， 其特征在于， Attention层的流程为： 计 算序列元素 之间的相似程度eij， 即输入序列中单词j对单词i的影 响： 注意力层权重矩阵αij表示本文中单词j相对于单词i的注意力权重， 并准确地捕捉单词权　利　要　求　书 1/2 页 2 CN 114330322 A 2之间的影响； 然后， 利用加权系数计算序列hi， 得到序列矢量化表示St； 最后， 将St拼接 BiSLTM层的编码输出 并添加激活函数对进行非线性变换， 得到影响后续标签分类的权 重矩阵Wt作为CRF层的输入， 从而实现模型训练时的关注焦点。 10.根据权利要求7所述的基于深度学习的威胁情报信息抽取方法， 其特征在于， CRF层 的流程为： 将输入序列X＝(x1， x2， ...， xn)所对应的标签序列y＝(y1， y2， ...， yn)进行得分计 算， 标签序列的总得分如下 所示： 其中， T是转移矩阵， 表示标签之间的转移分数， Ti， j代表由标签i转移到标签j的概率， 表示输入序列词xi被分类到标签j的概 率。权　利　要　求　书 2/2 页 3 CN 114330322 A 3