(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210682446.1 (22)申请日 2022.06.16 (71)申请人 聊城大学 地址 252000 山东省聊城市东昌府区湖南 路1号 (72)发明人 冯德瀛　魏衍侠　肖海荣　张来刚　 王政森　杨杰　 (74)专利代理 机构 天津麦芽知识产权代理有限 公司 12269 专利代理师 祝国庆 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/40(2022.01) G06V 10/82(2022.01) G06V 10/74(2022.01)G06V 10/40(2022.01) G06F 16/71(2019.01) G06F 16/783(2019.01) G06N 3/04(2006.01) (54)发明名称 一种面向安防监控视频的行 人搜索方法 (57)摘要 本发明涉及一种面向安防监控视频的行人 搜索方法， 包括下列步骤： 步骤一， 利用预先训练 好的区域卷积神经网络对监控视频逐帧检测各 个行人并生成对应的空间特征； 步骤二， 利用门 控循环单元输出的隐状态对监控视频中逐帧提 取到的行人空间特征进行组织， 在门控循环单元 的输出端增加平均池化层， 对隐状态向量进行降 维， 并生成对应的行人时空特征； 步骤三， 通过局 部敏感哈希对 所有的行人时空特征进行索引， 通 过计算待搜索行人时空特征和监控视频中行人 时空特征的相似度确定最终的行 人搜索结果。 权利要求书1页 说明书5页 附图1页 CN 115082854 A 2022.09.20 CN 115082854 A 1.一种面向安防监控视频的行 人搜索方法， 包括下列步骤： 步骤一， 利用预先训练好的区域卷积神经网络对监控视频逐帧检测各个行人并生成对 应的空间特 征； 步骤二， 利用门控循环单元输出的隐状态对监控视频中逐帧提取到的行人空间特征进 行组织， 在门控循环单元的输出端增加平均池化层， 对隐状态向量进 行降维， 并生成对应的 行人时空特 征； 步骤三， 通过局部敏感哈希对所有的行人时空特征进行索引， 通过计算待搜索行人时 空特征和监控视频中行 人时空特 征的相似度确定最终的行 人搜索结果。 2.根据权利要求1所述的行 人搜索方法， 其特 征在于， 步骤一按照下列步骤执 行： 1)对于监控视频V＝{v1,v2,…,vN}， 包含N帧图像， 其中， 第i帧图像表示 为vi； 2)将监控视频V逐帧通过预先训练好的区域卷积神经网络进行处理， 在第i帧图像vi中 提取到的第j个行 人空间特 征si,j； 3)将监控视频V中的N帧图像处理完毕后， 所有的行人空间特征表示为S＝{si,j}， 1≤i ≤nj,1≤j≤M， 其中nj表示包含第j个行人的帧图像的数量， M表示监控 视频中出 现的行人总 数。 3.根据权利要求1所述的行 人搜索方法， 其特 征在于， 步骤二按照下列步骤执 行： 1)将第i帧图像vi中提取到的第j个 行人空间特征si,j作为输入向量， 输入到门控循环单 元； 2)在门控循环单元中， 行人空间特征si,j通过tanh激活函数更新候选隐状态向量ci,j， 并且表示为： ci,j＝tanh(Wnsi,j+Un(ri,j⊙hi‑1,j)+bn)， 其中hi‑1,j表示第i‑1帧图像中第 j个行 人对应的隐状态向量， ri,j为hi‑1,j对应的权 重， Wn、 Un和bn为门控循环单 元的网络参数； 3)在门控循环单元中， 根据hi‑1,j和ci,j生成第i帧图像中第j个行人对应的隐状态向量 hi,j， 并且表示 为： hi,j＝zi,jhi‑1,j+(1‑zi,j)ci,j， zi,j为组合hi‑1,j和ci,j的权重； 4)将第j个行人对应的空间特征在门控循环单元中全部处理完毕后， 得到第j个行人对 应的隐向量序列hj＝{hi,j}， 1≤i≤nj， 进而视频中所有的行人表示为隐向量序列H＝{hj}， 1 ≤j≤M； 5)在门控循环单元的输出端添加平均池化层， 对序列hj进行降维， 生成第j个行人的时 空特征pj， 并且表示 为 所有的行 人时空特 征表示为P＝{pj}， 1≤j≤ M。 4.根据权利要求1所述的行 人搜索方法， 其特 征在于， 步骤三按照下列步骤执 行： 1)将监控视频中所有的行人时空特征P映射到汉明向量空间， 对于第j个行人的时空特 征pj， 映射为一个b位哈希码； 2)将待搜索行人时空特征q映射到汉明向量空间后， 计算待搜索行人时空特征和视频 中行人时空特 征的相似度； 3)在计算出待搜索行人时空特征q和所有的行人时空特征P之间的各个相似度后， 对相 似度大小 进行排序， 排序靠前的T个时空特 征所对应的行 人图像， 即为 最终的搜索结果。权　利　要　求　书 1/1 页 2 CN 115082854 A 2一种面向安防监控视频的行人搜索方 法 技术领域 [0001]本发明涉及计算机视觉技术领域， 具体是一种面向安防监控视频的行人搜索方 法。 背景技术 [0002]随着智慧城市建设进程的不断推进， 越来越多的监控摄像头遍布城市的大街小 巷， 在老人儿童走失、 犯罪嫌疑人查找定位等方面发挥着重要作用。 然而， 有了监控视频不 等于就查找到了相关信息， 由于监控摄像头数量多、 录制时间长， 视频数据量呈几何级增长 的趋势， 在海量的监控视频中查找特定的行人目标常常需要耗费大量的时间和人力物力。 与此同时， 由于监控摄像头安装的位置不同， 监控场景也各不一样， 特别是在商场、 车站、 会 展中心等大型公共场所， 人流量较为密集， 造成监控场景更加复杂， 给行人搜索带来更大的 挑战。 因此， 如何在海量安防监控视频中更快捷、 更准确 地查找到相关的行人， 成为计算机 视觉技术领域关注的热点之一。 [0003]行人搜索方法将一个特定的行人目标在未知的图像或者视频数据集中进行查询， 从而在数据集中找出相同的行人图像。 目前大多数行人搜索方法通常在CHU K‑SYSU或PRW图 像数据集上进行训练， 并利用训练后的神经网络模型进行行人搜索。 与CHUK ‑SYSU和PRW图 像数据集相比， 现实中的安防监控视频不仅包含行人 的空间特征， 而且涉及行人 的时间相 关性。 因此， 在CHUK ‑SYSU和PRW图像数据集上训练的行人搜索方法， 由于没有考虑到行人的 时间相关性， 在应用于安防监控视频时， 其稳健 性和可靠性还需要 进一步提高。 [0004]经对现有技术的文献检索发现， 专利CN  112241682A提供了一种基于分块以及多 层信息融合的端到端行人搜索方法。 该方法使用卷积神经网络提出初步特征， 并使用候选 区域提取网络提取行人所在的区域， 从而得到高层特征图谱。 通过将 高层特征分块并将其 与中层特征融合， 提高行人搜索的准确 率。 虽然该方法采用监控摄像头拍摄的整幅图像作 为输入数据， 但是没有考虑前后帧图像中行人 的时间相关性， 在应用于安防监控视频时具 有一定的局限性。 [0005]进一步检索发现， 专利CN  109165540A提供了一种基于先验候选框选择策略的行 人搜索方法。 该方法根据训练集中所有行人边框的长和宽构建行人候选框 向量， 进而通过 K‑means++聚类算法得到先验候选框并识别出行人的身份， 最后通过训练好的行人搜索网 络确定行人在监控图像中的位置。 该方法 同样只针对单幅图像中的行人特征进行处理， 没 有涉及监控视频多帧图像中行 人之间的时间相关性。 发明内容 [0006]本发明针对现有技术存在的上述不足， 提供了一种面向安防监控视频的行人搜索 方法。 根据安防监控视频具有空间不变性和时间连续性的特点， 通过在监控视频中生成行 人的时空特征， 充分利用行人在视频前后帧的时间相关性， 提高了行人搜索准确率。 通过对 监控视频中所有的行 人时空特 征进行组织， 保证了行 人搜索的实时性。说　明　书 1/5 页 3 CN 115082854 A 3