(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211110912.5 (22)申请日 2022.09.13 (65)同一申请的已公布的文献号 申请公布号 CN 115187917 A (43)申请公布日 2022.10.14 (73)专利权人 山东建筑大学 地址 250101 山东省济南市历城区临港开 发区凤鸣路10 00号 (72)发明人 聂秀山　潘嘉男　谭智方　袭肖明　 (74)专利代理 机构 济南泉城专利商标事务所 37218 专利代理师 支文彬 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/54(2022.01)G06V 10/82(2022.01) G06V 10/74(2022.01) G06N 3/04(2006.01) 审查员 范园园 (54)发明名称 基于视频片段检索的无人车历史场景检测 方法 (57)摘要 一种基于视频片段检索的无人车历史场景 检测方法， 属于计算机视觉技术领域， 基于人眼 搜索的思想将视频片段检索 的方式分成两个步 骤， 先大致判断出最为相似的候选片段， 再将候 选片段添加偏移后从中分成两个部分， 将左半部 分中的帧作为开始帧， 右半部分中的帧作为结束 帧再次进行交互微调， 从而检索到用户所需的历 史场景。 避免了人工检测方法的耗时繁琐的问 题， 也优化了传统方法中单一框架的效率低下、 精度不高、 可解释性差的问题。 权利要求书6页 说明书13页 附图1页 CN 115187917 B 2022.11.25 CN 115187917 B 1.一种基于 视频片段检索的无 人车历史场景检测方法， 其特 征在于， 包括如下步骤： (a)使用视频编码器将无人车历史场景视频转换为特征序列 ， 其中 为第 个时间步的视频 特征， 为划分的视频时间步总数； (b)对具有 个单词的查询文本进行提取特征操作， 得到特征序列 ， 其中 为第 个单词的特 征向量； (c)将特征序列 输入到双向长短期记忆神经网络中， 输出得到词级特征序 列 及句子级特 征向量 ， 其中 为第 个单词的特 征向量； (d)使用注意力机制用视频特征给词级特征序列进行加权操作， 得到加权后的词级文 本特征序列 ， 步骤(d)包括如下步骤： (d‑1)通过公式 计算得到加权后的词级文本特 征序列 ， 式中 为softmax函数， 与 均为可学习的参数， 为转置， 为 第 个单词的特 征向量 的长度； (e)通过词级文本特征序列 和视频特征 计算得到包含词级文本特征的视频特征 ， 所有的包 含词级文本特征的视频 特征 构成视频 特征序列 ； (f)将视频特征序列 进行自注意力操作， 得到各视频之间相互关联区分后 的视频特征序列 ， 将视频特征序列 转换成一张二维视频候选片段特征图 ， 其中 为二维视频候选片段特征图中横坐标为 ， 纵坐标为 的候 选片段的特 征； (g)计算句子级特征向量 与二维视频候选片段特征图 的相似度值 ， 根据不 同的相似度值利用句子级特征向量给二维视频候选片段特征图 加权得到新的特征图 ， 为新的特征图中横坐标为 ， 纵坐标为 的候选片段的特 征； (h)计算新的特征图 中每个候选片段的相似度得分， 选取相似度得分最 高的候选 片段的右上角的片段所相应时间段的原始视频片段 ， 其中 为第  帧的权　利　要　求　书 1/6 页 2 CN 115187917 B 2特征， 为右上角的片段所相应时间段的原始视频的总帧数， 将原始视频片段 的每一帧 与 文 本 特 征 进 行 交 互 后 从 中 间 帧 划 分 成 左 右 两 个 片 段 和 ， 其中 为划分的左侧片段的第 帧的特征， 为划分的左侧片段的总 帧数， 为划分的右侧片段的第 帧的特征， 为划分的右侧片段的总帧数； (i)在左侧片段 中得到左侧关键帧序列 ， 在右侧片段 中得到 右侧关键帧序列 ， 其中 为左侧关键帧序列第 个关键帧， 为左侧关 键帧序列中关键帧的总个数， 为右侧关键帧序列第 个关键帧， 为右侧关键帧序列中 关键帧的总个数， 计算左侧关键帧序列 中的关键帧与右侧关键帧序列 中的关键帧 的得分 ， 选取得分 最高值对应的关键帧 作为开始时间戳 ， 对应的关键 帧 作为结束时间戳 ， 开始时间戳 表示检测到的无人车历史场景片段的开始时 间， 结束时间戳 表示检测到的无 人车历史场景片段的结束时间。 2.根据权利要求1所述的基于视频片段检索的无人车历史场景检测方法， 其特征在于： 步骤(a)中的视频编码器为C3D视频编码器或I3D视频编码器， 步骤(b)中使用Glove模型对 具有 个单词的查询文本进行提取 特征操作。 3.根据权利要求1所述的基于视频片段检索的无人车历史场景检测方法， 其特征在于， 步骤(c)包括如下步骤： (c‑1)特征序列 输入到双向长短期记忆神经网络中， 分别得到双向长短期 记忆神经网络第 个时间步从左向右方向的隐藏层特征 及第 个时间步从右向左方向 的隐藏层特 征 ； (c‑2)通过公式 计算得到第 个单词的特 征向量， 式 中 为拼接操作； (c‑3)将双向长短期记忆神经网络从左向右的最后一个隐藏层特征和从右向左的最后 一个隐藏层特 征拼接起 来得到句子级特 征向量 。 4.根据权利要求1所述的基于视频片段检索的无人车历史场景检测方法， 其特征在于， 步骤(e)包括如下步骤：权　利　要　求　书 2/6 页 3 CN 115187917 B 3