(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210102345.2 (22)申请日 2022.01.27 (71)申请人 北京工商大 学 地址 100048 北京市海淀区阜成路3 3号 (72)发明人 李海生　王薇　董笑笑　李楠　 李勇　 (74)专利代理 机构 北京科迪生专利代理有限责 任公司 1 1251 专利代理师 金怡 (51)Int.Cl. G06F 16/36(2019.01) G06F 40/30(2020.01) G06F 16/55(2019.01) G06F 16/583(2019.01) G06V 20/68(2022.01)G06V 10/40(2022.01) G06V 10/764(2022.01) G06V 10/762(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于跨媒体数据的食品安全知识图谱 构建方法及系统 (57)摘要 本发明涉及一种基于跨媒体数据的食品安 全知识图谱构建方法及系统， 其方法包括： S1： 获 取多源异构的食品安全文本和食品安全图像， 并 对食品安全文本进行标注； S2： 通过信息抽取与 知识存储的方法， 提取食品安全文本中的文本实 体及其对应的关系， 并存储至食品安全文本知识 库； S3： 通过视觉分析与对比外部知 识库的方法， 提取食品安全图像中的 图像实体及其标签， 并存 储至食品安全视觉知识库； S4： 通过知识表示学 习方法， 消除食品安全文本以及食品安全图像 之 间的异构性， 对齐文本实体和图像实体， 构建基 于跨媒体数据的食品安全知识图谱。 本发明提供 的方法将与食品安全相关的由不同用户产生的、 不同来源渠道的跨媒体食品安全数据融合在一 起。 权利要求书2页 说明书5页 附图3页 CN 114491071 A 2022.05.13 CN 114491071 A 1.一种基于跨 媒体数据的食品安全知识图谱构建方法， 其特 征在于， 包括： 步骤S1： 获取多源异构的食品安全文本和食品安全图像， 并对所述食品安全文本进行 标注； 步骤S2： 通过信息抽取与知识存储的方法， 提取所述食品安全文本中的文本实体及其 对应的关系， 并存 储至食品安全文本知识库； 步骤S3： 通过视觉分析与对比外部知识库的方法， 提取所述食品安全图像中的图像实 体及其标签， 并存 储至食品安全视 觉知识库； 步骤S4： 通过知识表示学习方法， 消除所述食品安全文本以及所述食品安全图像之间 的异构性， 对齐所述文本实体和所述图像实体， 构建基于跨 媒体数据的食品安全知识图谱。 2.根据权利要求1所述的基于跨媒体数据的食 品安全知识图谱构建方法， 其特征在于， 所述步骤S2： 通过信息抽取与知识存储的方法， 提取所述食品安全文本中的文本实体及其 对应的关系， 并存 储至食品安全文本知识库， 具体包括： 对标注好的所述食品安全文本， 使用BiLSTM提取词的表示； CRF层和sigmoid层能够为 实体识别和关系抽取提供输出， 并将提取 结果存储至所述食品安全文本知识库。 3.根据权利要求1所述的基于跨媒体数据的食 品安全知识图谱构建方法， 其特征在于， 所述步骤S3： 通过视觉分析与对比外部知识库的方法， 提取所述食品安全图像中的图像实 体及其标签， 并存 储至食品安全视 觉知识库， 具体包括： 步骤S31： 基于FOODD食品目标检测数据集进行扩充， 将扩充后的数据集FOODD+的标签 分为饮品、 蔬菜、 粮食和水果四类粗粒度标签； 步骤S32： 使用YOLOv5对FO ODD+训练， 得到预训练模型； 步骤S33： 将所述食品安全图像输入所述预训练模型， 获取所述食 品安全图像 中的食品 图像区域及其种类； 步骤S34： 根据所述食品图像区域及其种类， 在外部知识库中查找相关图像， 并根据图 像相关度对搜索结果进 行排序， 将排序前n的食品图像与步骤S 33中得到的所述食品图像区 域进行聚类， 计算分类结果； 步骤S35： 如果步骤S33得到的食品种类属于FOODD中的细粒度标签， 则与步骤S34中的 分类结果进行对比， 如对比结果不同， 则将两种细粒度标签存入所述食品安全视觉知识库 中； 如果步骤S33得到的食品种类属于FOODD+中的粗粒度标签， 则将S34中的分类结果作为 细粒度标签存 入所述食品安全视 觉知识库中。 4.根据权利要求1所述的基于跨媒体数据的食 品安全知识图谱构建方法， 其特征在于， 所述步骤S4： 通过知识表示学习 方法， 消除所述食品安全文本以及所述食品安全图像之间 的异构性， 对齐所述文本实体和所述图像实体， 构建基于跨媒体数据的食品安全知识图谱， 具体包括： 步骤S41： 获取所述食 品安全文本知识库中文本实体， 对其进行初始化嵌入得到相应的 文本实体初始化向量； 步骤S42： 获取所述食 品安全视觉知识库中图像实体， 进行初始化嵌入得到相应的图像 实体初始化向量； 步骤S43： 将所述文本实体初始化向量和所述图像实体初始化向量经过TransD模型得 到同一特征空间的图像实体特征向量和文本实体向量， 计算所述图像实体特征向量和所述权　利　要　求　书 1/2 页 2 CN 114491071 A 2文本实体向量之间的距离， 实现图像实体和文本实体的对齐， 构建基于跨媒体数据的食品 安全知识图谱。 5.一种基于跨 媒体数据的食品安全知识图谱构建系统， 其特 征在于， 包括下述模块： 获取食品文本和图像模块， 用于获取多源异构的食品安全文本和食品安全图像， 并对 所述食品安全文本进行 标注； 提取食品文本实体及关系模块， 用于通过信息抽取与知识存储的方法， 提取所述食品 安全文本中的文本实体及其对应的关系， 并存 储至食品安全文本知识库； 提取食品图像实体及类别模块， 用于通过视觉分析与对比外部知识库的方法， 提取所 述食品安全图像中的图像实体及其标签， 并存 储至食品安全视 觉知识库； 食品文本实体和图像实体对齐模块， 用于通过知识表示学习方法， 消除所述食品安全 文本以及所述食品安全图像之间的异构性， 对齐所述文本实体和所述图像实体， 构建基于 跨媒体数据的食品安全知识图谱。权　利　要　求　书 2/2 页 3 CN 114491071 A 3