(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211174007.6 (22)申请日 2022.09.26 (71)申请人 山东大学 地址 250061 山东省济南市历下区经十路 17923号 (72)发明人 常发亮　李敏　刘春生　王彬　 常致富　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 黄海丽 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06N 3/08(2006.01)G06N 3/04(2006.01) (54)发明名称 基于多模态交互和时间语义聚合的视频描 述方法及系统 (57)摘要 本发明公开了基于多模态交互和时间语义 聚合的视频描述方法及系统； 其中所述方法， 包 括： 获取待描述的视频； 从待描述视频中提取多 模态特征； 所述多模态特征， 包括： 外观特征、 运 动特征和对象特征； 从多模态特征中提取语义特 征； 将提取的多模态特征和语义特征， 均输入到 训练后的视频描述网络中， 输出视频的自然语言 描述结果； 所述训练后的视频描述网络是基于多 模态信息交互和时间语义聚合的视频描述网络； 其中， 训练后的视频描述网络， 其工作原理包括： 采用多模态交互模块， 将运动特征和对象特征分 别集成到外观特征中， 形成多模态交互特征； 采 用带有时间语义聚合的层级解码器， 对语义特征 和多模态交互特征进行处理， 生成视频描述语 言。 权利要求书2页 说明书10页 附图3页 CN 115512265 A 2022.12.23 CN 115512265 A 1.基于多模态交 互和时间语义聚合的视频描述方法， 其特 征是， 包括： 获取待描述的视频； 从待描述视频中提取多模态特征； 所述多模态特征， 包括： 外观特征、 运动特征和对象 特征； 从多模态特 征中提取语义特 征； 将提取的多模态特征和语义特征， 均输入到训练后的视频描述网络中， 输出视频的自 然语言描述结果； 所述训练后的视频描述网络是基于多模态信息交互和时间语义聚合的视 频描述网络； 其中， 训练后的视频描述网络， 其工作原理包括： 采用多模态交互模块， 将运动特征和 对象特征分别集成到外观特征中， 形成多模态交互特征； 采用带有时间语义聚合的层级解 码器， 对语义特 征和多模态交 互特征进行处 理， 生成视频描述语言。 2.如权利要求1所述的基于多模态 交互和时间语义 聚合的视频描述方法， 其特征是， 从 待描述视频中提取多模态特 征， 具体包括： 通过二维卷积神经网络， 提取待 描述视频的外观特 征； 通过三维卷积神经网络， 提取待 描述视频的运动特 征； 通过区域卷积神经网络， 提取待 描述视频的对象特 征。 3.如权利要求1所述的基于多模态 交互和时间语义 聚合的视频描述方法， 其特征是， 从 多模态特 征中提取语义特 征， 具体包括： 采用训练后的语义检测器， 从多模态特 征中提取语义特 征； 训练后的语义检测器， 具体训练过程包括： 构建第一训练集和第 一验证集； 所述第 一训练集和第 一验证集均为已知语义标签的视 频外观特 征和运动特 征； 将每个语义标签对应的视频外观特征和运动特征进行串联拼接， 将拼接后的结果输入 到语义检测器中， 对语义检测 器进行训练， 当训练达到设定次数时， 停止训练， 采用第一验 证集对语义检测器的检测精度进 行验证， 当检测精度超过设定阈值时， 停止训练， 得到训练 后的语义检测器， 否则， 更 换第一训练集的数据， 重新进行训练。 4.如权利要求1所述的基于多模态 交互和时间语义 聚合的视频描述方法， 其特征是， 所 述训练后的视频描述网络， 其网络结构包括： 相互连接的多模态交 互模块和带有时间语义聚合的层级解码器； 所述多模态交互模块， 将外观特征与运动特征的交互特征， 和外观特征与对象特征的 交互特征， 进行相加， 得到多模态交 互特征。 5.如权利要求4所述的基于多模态 交互和时间语义 聚合的视频描述方法， 其特征是， 所 述外观特 征与运动特 征的交互特征， 获取过程包括： 第一LSTM网络的输入值为外观特征， 第一LSTM网络的输出值为高级外观特征； 第二 LSTM网络的输入值 为运动特征， 第二LSTM网络的输出值 为高级运动特 征； 将高级外观特 征依次通过全连接层和映射 函数层的处 理， 得到第一映射 值； 将高级运动特 征依次通过全连接层和映射 函数层的处 理， 得到第二映射 值； 将第一映射 值和第二映射 值通过乘法器的处 理， 得到第一相关性矩阵； 将第一相关性矩阵输入到softmax激活函数层， 得到第一归一 化矩阵；权　利　要　求　书 1/2 页 2 CN 115512265 A 2将第二映射值的第 一转置结果与第 一归一化矩阵进行相乘， 对相乘结果再进行转置得 到第二转置结果， 将第二转置结果与高级外观特征进行求和， 得到外观特征与运动特征 的 交互特征。 6.如权利要求5所述的基于多模态 交互和时间语义 聚合的视频描述方法， 其特征是， 所 述外观特 征与对象特 征的交互特征， 获取过程包括： 将对象特 征依次通过全连接层和映射 函数层的处 理， 得到第三映射 值； 将第一映射 值和第三映射 值通过乘法器的处 理， 得到第二相关性矩阵； 将第二相关性矩阵输入到softmax激活函数层， 得到第二归一 化矩阵； 将第三映射值的第 三转置结果与第 二归一化矩阵进行相乘， 对相乘结果再进行转置得 到第四转置结果， 将第四转置结果与高级外观特征进行求和， 得到外观特征与对 象特征的 交互特征。 7.如权利要求4所述的基于多模态 交互和时间语义 聚合的视频描述方法， 其特征是， 所 述带有时间语义聚合的层级解码器， 其网络结构包括： 依次连接 的词嵌入层、 注意力LSTM网络、 视觉时间语义聚合层、 语言LSTM网络、 语言时 间语义聚合层、 Softmax激活函数层； 注意力LSTM网络的输入端与平均池化层的输出端连接， 平均池化层的输入端用于输入 多模态交互特征； 视觉时间语义聚合层的输入端用于输入多模态交互特征和语义特征； 语 言时间语义聚合层的输入端用于 输入语义特 征； 注意力LSTM网络的输出端还与语言LSTM网络的输入端连接 。 8.基于多模态交 互和时间语义聚合的视频描述系统， 其特 征是， 包括： 获取模块， 其被 配置为： 获取待 描述的视频； 多模态特征提取模块， 其被配置为： 从待描述视频中提取多模态特征； 所述多模态特 征， 包括： 外观特 征、 运动特 征和对象特 征； 语义特征提取模块， 其被 配置为： 从多模态特 征中提取语义特 征； 视频描述模块， 其被配置为： 将提取的多模态特征和语义特征， 均输入到训练后的视频 描述网络中， 输出视频的自然语言描述结果； 所述训练后的视频描述网络是基于多模态信 息交互和时间语义聚合的视频描述网络； 其中， 训练后的视频描述网络， 其工作原理包括： 采用多模态交互模块， 将运动特征和 对象特征分别集成到外观特征中， 形成多模态交互特征； 采用带有时间语义聚合的层级解 码器， 对语义特 征和多模态交 互特征进行处 理， 生成视频描述语言。 9.一种电子设备， 其特 征是， 包括： 存储器， 用于非暂时性存 储计算机可读指令； 以及 处理器， 用于运行 所述计算机可读指令， 其中， 所述计算机可读指令被所述处理器运行时， 执行上述权利要求1 ‑7任一项所述的 方法。 10.一种存储介质， 其特征是， 非暂时性地存储计算机可读指令， 其中， 当所述非暂时性 计算机可读指令由计算机执 行时， 执行权利要求1 ‑7任一项所述方法的指令 。权　利　要　求　书 2/2 页 3 CN 115512265 A 3