(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210973419.X (22)申请日 2022.08.15 (71)申请人 中国工商银行股份有限公司 地址 100140 北京市西城区复兴门内大街 55号 (72)发明人 吴思伟　 (74)专利代理 机构 北京三友知识产权代理有限 公司 11127 专利代理师 董骁毅　王首峰 (51)Int.Cl. G06T 7/20(2017.01) G06T 7/70(2017.01) G06V 10/74(2022.01) G06V 40/10(2022.01) G06V 40/16(2022.01) (54)发明名称 一种基于双目视 觉的轨迹检测方法和装置 (57)摘要 本发明实施例提供了一种基于双目视觉的 轨迹检测方法和装置， 可用于人工智能技术领 域， 所述方法包括： 获取深度图像和鸟瞰图像， 深 度图像是基于双目视觉的深度相机采集的； 基于 深度图像和鸟瞰图像进行用户身份识别和用户 位置识别， 得到基于相同身份信息的用户的用户 位置； 通过预先构建的人员信息池， 按照每个用 户的身份信息进行匹配， 得到每个用户在不同时 间戳下的用户位置； 根据同一用户在不同时间戳 下的用户位置， 生成用户轨迹信息， 基于图像对 用户位置进行定位， 形成用户轨迹， 能够保证用 户定位的准确率， 降低对硬件和用户能力的要 求， 提高用户体验感。 权利要求书3页 说明书15页 附图6页 CN 115311323 A 2022.11.08 CN 115311323 A 1.一种基于双目视 觉的轨迹检测方法， 其特 征在于， 所述方法包括： 获取深度图像和鸟瞰图像， 所述深度图像是基于双目视 觉的深度相机采集的； 基于所述深度图像和鸟瞰图像进行用户身份识别和用户位置识别， 得到基于相同身份 信息的用户的用户位置； 通过预先构建的人员信息池， 按照每个用户的身份信息进行匹配， 得到每个用户在不 同时间戳下的用户位置； 根据同一用户在不同时间戳下的用户位置， 生成用户轨 迹信息。 2.根据权利要求1所述的基于双目视觉的轨迹检测方法， 其特征在于， 所述基于所述深 度图像和 鸟瞰图像进 行用户身份识别和用户位置识别， 得到基于相同身份信息的用户的用 户位置， 包括： 对所述深度图像进行 人脸检测， 得到每 个用户的第一初始位置； 对所述鸟瞰图像进行 人体检测， 得到每 个用户的第二初始位置； 根据每个用户在相同时间戳下采集到的所述第一初始位置和第二初始位置进行位置 修正， 得到基于相同身份信息的用户的用户位置 。 3.根据权利要求2所述的基于双目视觉的轨迹检测方法， 其特征在于， 所述深度图像包 括每个用户的人脸信息、 深度信息和所述深度相机指向所述用户的方向 向量； 所述对所述深度图像进行 人脸检测， 得到每 个用户的第一初始位置， 包括： 获取所述深度相机的相机位置信息； 按照每个用户的人脸信息， 对所述相机位置信息、 深度信息和所述深度相机指向所述 用户的方向 向量进行计算， 得到每 个用户的第一初始位置 。 4.根据权利要求2所述的基于双目视觉的轨迹检测方法， 其特征在于， 所述对所述鸟瞰 图像进行 人体检测， 得到每 个用户的第二初始位置， 包括： 通过预先构建的检测模型， 对所述鸟瞰图像进行人体检测， 得到每个用户的第二初始 位置。 5.根据权利要求2所述的基于双目视觉的轨迹检测方法， 其特征在于， 所述根据每个用 户在相同时间戳下采集到的所述第一初始位置和 第二初始位置进 行位置修正， 得到基于相 同身份信息的用户的用户位置， 包括： 将在相同时间戳下采集到的所述第 一初始位置与第 二初始位置进行匹配， 得到每个用 户的位置匹配对， 所述 位置匹配对 包括第一待修 正位置和对应的第二待修 正位置； 对所述第一待修正位置和对应的第 二待修正位置取平均值， 得到修正后的每个用户在 当前时间戳下的用户位置 。 6.根据权利要求5所述的基于双目视觉的轨迹检测方法， 其特征在于， 所述将在相同时 间戳下采集到的所述第一初始位置与第二初始位置进行匹配， 得到每个用户的位置匹配 对， 所述位置匹配对 包括第一待修 正位置和对应的第二待修 正位置， 包括： 根据所述第一初始位置和多个第二初始位置， 得到多个位置距离， 所述位置距离为第 一初始位置与第二初始位置之间的距离； 从多个位置距离中筛 选出最小位置距离； 将所述最小位置距离对应的第 一初始位置确定为第 一待修正位置， 并将所述最小位置 距离对应的第二初始位置确定为第二待修 正位置。权　利　要　求　书 1/3 页 2 CN 115311323 A 27.根据权利要求4所述的基于双目视觉的轨迹检测方法， 其特征在于， 所述方法还包 括： 获取鸟瞰样本图像， 所述鸟瞰样本图像包括 位置标注； 通过所述鸟瞰样本图像， 对卷积 深度网络进行训练， 得到所述检测模型。 8.根据权利要求1所述的基于双目视觉的轨迹检测方法， 其特征在于， 所述身份信 息包 括人脸信息， 所述人员信息池 包括人脸信息和对应的不同时间戳下的用户位置； 所述通过预先构建的人员信息池， 按照每个用户的身份信息进行匹配， 得到每个用户 在不同时间戳下的用户位置， 包括： 将所述身份信 息中的人脸信 息与所述人员 信息池中的人脸信 息进行匹配， 得到基于相 同身份信息的用户在不同时间戳下的用户位置 。 9.根据权利要求1所述的基于双目视觉的轨迹检测方法， 其特征在于， 在所述根据同一 用户在不同时间戳下的用户位置， 生成用户轨 迹信息之后， 还 包括： 根据所述用户轨 迹信息， 统计轨 迹总长度； 若所述轨 迹总长度大于设置的长度阈值， 将对应的用户确定为目标用户。 10.根据权利要求1所述的基于双目视觉的轨迹检测方法， 其特征在于， 在所述根据同 一用户在不同时间戳下的用户位置， 生成用户轨 迹信息之后， 还 包括： 统计指定时间段内用户的轨 迹频度； 若所述轨 迹频度大于设置的频度阈值， 将对应的用户确定为目标用户。 11.根据权利要求2所述的基于双目视觉的轨迹检测方法， 其特征在于， 在所述对所述 鸟瞰图像进行 人体检测， 得到每 个用户的第二初始位置之后， 还 包括： 根据所述每个用户的第 二初始位置和所述鸟瞰图像对应的划分区域， 生成用户密度分 布图。 12.根据权利要求1所述的基于双目视觉的轨迹检测方法， 其特征在于， 所述方法还包 括： 获取终端设备摄 像头采集的设备 前环境图像； 对所述设备 前环境图像进行识别， 得到业 务办理用户人脸信息； 通过预先构建的人员信息池， 按照业务办理用户人脸信息进行匹配， 得到业务办理用 户人脸信息的业 务办理情况信息 。 13.根据权利要求12所述的基于双目视觉的轨迹检测方法， 其特征在于， 所述业务办理 用户人脸信息包括当前使用设备用户人脸信息和等 候设备用户人脸信息； 所述对所述设备 前环境图像进行识别， 得到业 务办理用户人脸信息， 包括： 对所述设备前环境图像进行人脸识别， 得到多个人脸信息， 所述人脸信息包括人脸检 测框； 将面积最大的所述人脸检测框对应的人脸信息确定为当前使用设备用户人脸信息； 将除所述当前使用设备用户人脸信息之外的人脸信息确定为 等候设备用户人脸信息 。 14.根据权利要求12所述的基于双目视觉的轨迹检测方法， 其特征在于， 所述业务办理 用户人脸信息包括当前使用设备用户人脸信息和等候设备用户人脸信息， 所述业务办理情 况信息包括办理耗时、 等待耗时和满意度； 所述通过预先构建的人员信息池， 按照业务办理用户人脸信息进行匹配， 得到业务办权　利　要　求　书 2/3 页 3 CN 115311323 A 3