(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210021501.2 (22)申请日 2022.01.10 (71)申请人 山东师范大学 地址 250014 山东省济南市历下区文化 东 路88号 (72)发明人 敬静　吴泓辰　孙杰　房晓畅　 张化祥　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 闫伟姣 (51)Int.Cl. G06K 9/62(2022.01) G06F 16/35(2019.01) G06F 40/205(2020.01) G06F 40/30(2020.01)G06V 20/40(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 基于渐进式多模态融合网络的虚假新闻检 测方法及系统 (57)摘要 本发明公开了一种基于渐进式多模态融合 网络的虚假新闻检测方法及系统， 所述方法包 括： 获取待检测新闻数据， 所述新闻数据包括图 像信息和文本信息； 基于预训练的虚假新闻检测 模型， 对待检测新闻数据进行检测； 其中， 所述虚 假新闻检测模型包括： 视觉特征编码器， 包括依 次相连的n级视觉特征提取块； 特征融合器： 包括 依次相连的n级特征融合块， 文本特征编码器： 输 出端连接至第1级特征融合块； 并且第i级视觉特 征块的输出端均连接至第i级特征融合块， i<n， 第n级视觉特征提取块和第n ‑1级特征融合块的 输出端均连接至第n级特征融合块。 本发明通过 渐进式的融合方法， 实现了细粒度的多模态信息 融合， 提高了 检测精度。 权利要求书1页 说明书7页 附图1页 CN 114528912 A 2022.05.24 CN 114528912 A 1.一种基于渐进式多模态融合网络的虚假 新闻检测方法， 其特 征在于， 包括以下步骤： 获取待检测新闻数据， 所述 新闻数据包括图像信息和文本信息； 基于预训练的虚假新闻检测模型， 对所述待检测新闻数据进行检测； 其中， 所述虚假新 闻检测模型包括文本特 征编码器、 视 觉特征编码器、 特 征融合器和分类 器； 其中， 所述视觉特征编码器包括依次相连的n级视觉特征提取块， 所述特征融合器包括 依次相连的n级 特征融合块， 所述文本特征编码 器的输出端连接至第1级 特征融合块； 第i级 视觉特征块的输出端均连接至第i级特征融合块， i<n； 第n级视觉特征提取块和第n ‑1级特 征融合块的输出端， 均连接 至第n级特 征融合块。 2.如权利要求1所述的虚假新闻检测方法， 其特征在于， 所述视觉特征编码器包括空间 域特征编码器和频域特 征编码器。 3.如权利要求2所述的虚假新闻检测方法， 其特征在于， 获取待检测新闻数据后， 对于 其中的图像信息， 进行图像分割， 得到多个非重叠的k ×k大小的补丁； 将每个补丁展开， 并 提取R、 G、 B三分量， 得到k ×k×3大小的特 征向量， 通过线性嵌入层输入空间域特 征编码器； 所述空间域特征编码器中， 每个下一级视觉特征提取块均对上一级视觉特征提取块得 到的特征图进行 下采样， 及通道扩展。 4.如权利要求2所述的虚假新闻检测方法， 其特征在于， 获取待检测新闻数据后， 对于 其中的图像信息， 进行离散傅里叶变换， 得到频域信息； 将频域信息虚部和实部分离并连 接， 作为频域特 征编码器的输入。 5.如权利要求1所述的虚假新闻检测方法， 其特征在于， 所述文本特征编码器采用双向 Transformer预训练模型进行 特征提取。 6.如权利要求2所述的虚假新闻检测方法， 其特征在于， 所述第1级特征融合块对于得 到的空间域视觉特征、 频域视觉特征和文本特征， 使用多层感知机进 行特征融合； 然后 将融 合得到的特 征和特征T相结合作为下一级特 征融合块的输入。 7.如权利要求1所述的虚假新闻检测方法， 其特征在于， 所述分类器包括全连接层， 所 述全连接层的输出通过softmax函数产生分类标签的分布情况。 8.一种基于渐进式多模态融合网络的虚假 新闻检测系统， 其特 征在于， 包括： 数据获取模块， 用于获取待检测新闻数据， 所述 新闻数据包括图像信息和文本信息； 虚假检测模块， 用于基于预训练的虚假新闻检测模型， 对所述待检测新闻数据进行检 测； 其中， 所述虚假新闻检测模型包括文本特征编码器、 视觉特征编码器、 特征融合器和分 类器； 其中， 所述视觉特征编码器包括依次相连的n级视觉特征提取块， 所述特征融合器包括 依次相连的n级 特征融合块， 所述文本特征编码 器的输出端连接至第1级 特征融合块； 第i级 视觉特征块的输出端均连接至第i级特征融合块， i<n； 第n级视觉特征提取块和第n ‑1级特 征融合块的输出端， 均连接 至第n级特 征融合块。 9.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求 1‑7任一项所述基于渐进 式多模态融合网络的虚假 新闻检测方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器 执行时实现如权利要求1 ‑7任一项所述基于渐进式多模态融合网络的虚假 新闻检测方法。权　利　要　求　书 1/1 页 2 CN 114528912 A 2基于渐进式 多模态融合网络的虚假新 闻检测方 法及系统 技术领域 [0001]本发明属于机器学习技术领域， 尤其涉及 一种基于渐进式多模态融合网络的虚假 新闻检测方法及系统。 背景技术 [0002]随着移动互联网技术快速发展， 社交媒体如： 推特、 微博等社交应用已成为人们获 取海量信息的重要渠道， 人们可以轻易地在社 交媒体上发布和传播虚 假新闻。 并且， 带有图 片的文章在社 交媒体上越来越流行， 与纯文字文章相比， 图片拥有 更丰富的信息， 更能吸引 读者的关注。 虚 假新闻通常带有误导性或被篡改过的图片与文本相结合。 所以， 视觉内容已 成为虚假新闻检测中不可忽视的重要组成部分， 因此， 有必要设置一种自动检测虚假新闻 的方法对带有图片的文章的真伪性进行检测， 以缓解虚假 新闻带来的严重负面影响。 [0003]近年来， 虚假信息检测的方法层出不穷， 一种方法是人工事实核查， 包括专家的事 实核查和众包的事实核查两种方法。 专家的事实核查准确性高， 但费时耗力； 众包的事实核 查可扩展性 强， 但核查准确性不高。 由于人工事实核查方法的局限性， 有 些研究人员利用专 家知识从新闻文本内容中手工提取特征， 然后利用传统的机器学习算法训练虚 假新闻分类 器， 但这种方法缺乏全面性和灵活性。 现有的深度学习模型由于具有较强的特征提取能力， 能够自动的从新闻 内容中提取新闻特 征， 取得了比较好的性能。 [0004]随着虚假新闻更加多样化， 带有图片的文章的真伪性对虚假信息检测技术提出了 更高的要求和挑战， 一些基于深度学习的方法已经成功的应用于多模态虚假新闻检测。 首 先， 一些模型如Khatt ar等人利用多模态变分编码器简单的将文本和图片的特征进行提取 和融合， 但它们特征提取和特征融合方面不够细致。 第二， Jin等人创建了一个端到端的网 络， 使用RNN设计的虚 假新闻检测模 型， 该模型利用了局部注意力机制结合文本图像和社会 背景特征， Wang等人建立了事件对抗神经网络(EANN)， 利用事件鉴别器学习文章中的文本 和图片的特征表示， 但增加额外的辅助特征会加大检测的成本。 并且， 这些方法只考虑了图 片的空间域， 没有考虑图片的频域， 没有对图片信息进行充分的捕捉。 第三， Wu等人提出了 Multimodal  Co‑AttentionNetworks(MCAN)进行虚假信息检测， MCAN可以学习多模态特征 之间的相互依赖关系， 在虚假信息检测上取得了较好的效果， 但MCAN只关注深层次特征的 融合。 发明内容 [0005]为克服上述现有技术的不足， 本发明提供了一种基于渐进式多模态融合网络的虚 假新闻检测方法及系统。 通过渐进式的融合方法， 实现了细粒度的多模态信息融合， 提高了 检测精度。 [0006]为实现上述目的， 本发明的一个或多个实施例提供了如下技 术方案： [0007]一种基于渐进式多模态融合网络的虚假 新闻检测方法， 包括以下步骤： [0008]获取待检测新闻数据， 所述 新闻数据包括图像信息和文本信息；说　明　书 1/7 页 3 CN 114528912 A 3