(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210895555.1 (22)申请日 2022.07.27 (71)申请人 泉州装备制造 研究所 地址 362000 福建省泉州市台商投资区洛 阳镇上浦村吉贝51 1号 (72)发明人 巢建树　明瑞成　赖佳华　窦光义　 邱创一　 (74)专利代理 机构 泉州市文华专利代理有限公 司 35205 专利代理师 陈雪莹 (51)Int.Cl. G06V 20/52(2022.01) G06V 40/10(2022.01) G06V 10/82(2022.01) G06V 10/74(2022.01)G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种跨摄像机行人实时跟踪识别方法、 装置 及介质 (57)摘要 本发明提供一种跨摄像机行人实时跟踪识 别方法、 装置及介质， 所述方法包括： 通过入口处 获取到行人ID信息、 人脸和外观图像； 获取到行 人的实时监控视频， 对每一视频帧提取外观特 征， 生成每一个视频帧中全部行人的检测框； 分 别对每一摄像机的视频帧生 成行人轨迹， 并保存 于数据库中； 对跨摄像机下的行人外观进行再识 别， 确保同一行人在不同摄像机下的ID信息不 变； 获取视频帧中可获取到的人脸图像与个人信 息获取模块获取到的人脸图像进行匹配， 得到对 应的行人ID， 生成人脸识别下的行人轨迹状态， 更新对应的行人轨迹状态， 并保存到数据库； 在 预存的全局地图中实时显示所有行人轨迹。 本发 明可实现跨摄像机行人跟踪， 且提高跟踪识别准 确率。 权利要求书2页 说明书6页 附图4页 CN 115272967 A 2022.11.01 CN 115272967 A 1.一种跨摄 像机行人实时跟踪识别方法， 其特 征在于： 包括如下步骤： 步骤1、 通过入口处刷证件和拍摄的方式获取到行人ID信息、 人脸和外观图像， 并保存 于数据库中； 步骤2、 利用分布式摄像机拍摄获取到行人的实时监控视频， 将采集到的视频帧按时间 顺序传输给后台； 步骤3、 对每一视频帧提取外观特 征， 生成每一个视频帧中全部行 人的检测框； 步骤4、 分别对每一摄 像机的视频帧生成行 人轨迹， 保存到数据库中； 步骤5、 对跨摄像机下的行人外观进行再识别， 确保同一行人在不同摄像机下的ID信息 不变； 步骤6、 获取视频帧中可获取到的人脸图像与个人信息获取模块获取到的人脸图像进 行匹配， 得到对应的行人ID， 生成人脸识别下的行人轨迹状态， 更新对应的行人轨迹状态， 并保存到数据库； 步骤7、 在预存的全局地图中实时显示所有行人轨迹， 包括行人ID、 位置信息以及对应 时间。 2.根据权利要求1所述的方法， 其特征在于： 所述步骤3具体为： 采用FCM算法对数据集 进行候选 框聚类， 并将获取到的6个候选 框输入Yolo v5网络中用于检测模型的训练； 采用Mosaic算法对数据 集进行数据扩展， 然后将扩展后的数据 集放入Yolo  v5网络中， 并采用模拟余弦退火算法控制学习率进行训练， 得到训练好的检测模型； 利用训练好的检测模型对获取的视频帧中的所有行人目标进行检测， 生成所有行人对 应的检测框 。 3.根据权利要求1所述的方法， 其特征在于： 所述步骤4具体为： 对上一帧中每个行人轨 迹框， 计算当前帧所有检测框与其匹配度， 相似度最大的作为最优匹配结果， 若最优匹配结 果的相似度大于一阈值， 则匹配成功， 以匹配成功的检测框更新该行人轨迹框， 记录该行人 ID、 位置信息以及 对应时间， 存入 数据库， 所述行人轨迹框为同一行人ID在连续视频帧中的 检测框； 若最优匹配结果的相似度不大于所述阈值， 则视为匹配失败， 重新进行匹配， 当重 新匹配次数大于一定数量时， 说明行人离开指 定区域， 记录该行人ID、 最后一次匹配成功的 位置信息以及对应时间， 存 入数据库； 对于当前帧中未被匹配成功的检测框则分配一个新的行 人ID， 生成新的行 人轨迹框。 4.根据权利要求1所述的方法， 其特征在于： 所述步骤6具体为： 在视频帧中出现人脸 时， 对所述人脸进行识别， 得到对应的行人ID， 生成人脸识别下的行人轨迹， 并将所述人脸 识别下的行人轨迹与原有的未进 行人脸识别时对应的行人轨迹进 行关联， 生成人脸识别下 的行人轨迹状态， 并保存到数据库； 若人脸识别下的行人轨迹与原有的未进行人脸识别时的行人轨迹有出入， 用人脸识别 下的轨迹更新原有的未进行 人脸识别时对应的行 人轨迹。 5.一种跨摄 像机行人实时跟踪识别装置， 其特 征在于： 包括： 个人信息获取模块， 用于通过入口处刷证件和拍摄的方式获取到行人ID信息、 人脸和 外观图像， 并保存于数据库中； 视频获取模块， 用于利用分布式摄像机拍摄获取到行人的实时监控视频， 将采集到的 视频帧按时间顺序传输给后台；权　利　要　求　书 1/2 页 2 CN 115272967 A 2目标检测框生成模块， 用于对每一视频帧提取外观特征， 生成每一个视频帧中全部行 人的检测框； 行人跟踪模块， 用于分别对每一摄 像机的视频帧生成行 人轨迹， 保存到数据库中； 行人重识别模块， 用于对跨摄像机下的行人外观进行再识别， 确保同一行人在不同摄 像机下的ID信息不变； 人脸识别模块， 用于获取视频帧中可获取到的人脸图像与个人信 息获取模块获取到的 人脸图像进 行匹配， 得到对应的行人ID， 生成人脸识别下的行人轨迹状态， 更新对应的行人 轨迹状态， 并保存到数据库； 以及 显示模块， 用于在预存的全局地图中实时显示所有行人轨迹， 包括行人ID、 位置信息以 及对应时间。 6.根据权利要求5所述的装置， 其特征在于： 所述目标检测框生成模块具体为： 用于采 用FCM算法对数据集进行候选框聚类， 并将获取到的6个候选框输入Yolo  v5网络中用于检 测模型的训练； 采用Mosaic算法对数据 集进行数据扩展， 然后将扩展后的数据 集放入Yolo  v5网络中， 并采用模拟余弦退火算法控制学习率进行训练， 得到训练好的检测模型； 利用训练好的检测模型对获取的视频帧中的所有行人目标进行检测， 生成所有行人对 应的检测框 。 7.根据权利要求5所述的装置， 其特征在于： 所述行人跟踪模块具体为： 用于对上一帧 中每个行人轨迹框， 计算当前帧所有检测框与其匹配度， 相似度最大的作为最优匹配结果， 若最优匹配结果的相似度大于一阈值， 则匹配成功， 以匹配成功的检测框更新该行人轨迹 框， 记录该行人ID、 位置信息以及对应时间， 存入数据库， 所述行人轨迹框为同一行人ID在 连续视频帧中的检测框； 若最优匹配结果的相似度不大于所述阈值， 则视为匹配失败， 重新 进行匹配， 当重新匹配次数大于一定数量时， 说明行人离开指定区域， 记录该行人ID、 最后 一次匹配成功的位置信息以及对应时间， 存 入数据库； 对于当前帧中未被匹配成功的检测框则分配一个新的行 人ID， 生成新的行 人轨迹框。 8.根据权利要求5所述的装置， 其特征在于： 所述人脸识别模块具体为： 用于在视频帧 中出现人脸时， 对所述人脸进行识别， 得到对应的行人ID， 生成人脸识别下的行人轨迹， 并 将所述人脸识别下的行人轨迹与原有的未进 行人脸识别时对应的行人轨迹进 行关联， 生成 人脸识别下的行 人轨迹状态， 并保存到数据库； 若人脸识别下的行人轨迹与原有的未进行人脸识别时的行人轨迹有出入， 用人脸识别 下的轨迹更新原有的未进行 人脸识别时对应的行 人轨迹。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执 行时实现如权利要求1至4任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115272967 A 3