(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210774188.X (22)申请日 2022.07.01 (71)申请人 哈尔滨工业大 学 地址 150001 黑龙江省哈尔滨市南岗区西 大直街92号 (72)发明人 全威　王华　柯犇　王浩　孙繁昊　 王鹏淏　吴建华　 (74)专利代理 机构 哈尔滨华夏松花江知识产权 代理有限公司 23213 专利代理师 岳昕 (51)Int.Cl. G08G 1/01(2006.01) G08G 1/133(2006.01) G06V 40/10(2022.01) G06V 20/40(2022.01)G06V 10/74(2022.01) (54)发明名称 一种基于视频处理的公交客流获取系统及 方法 (57)摘要 一种基于视频处理的公交客流获取系统及 方法， 它属于公交客流获取领域。 本发明解决了 现有公交客流信息获取方法不能准确获取到详 细的公交客流信息的问题。 本发 明利用车载相机 获取公交乘 客上下车的客流视频， 再运用算法处 理客流视频 获取乘客面部特征和其它外观特征， 得到乘客的多特征向量， 并对多特征向量之间进 行相似度对比从而实现乘客上下车的重识别， 最 后结合GNSS模块中的位置和时间信息就可得知 该乘客的上下车地点和时间。 本发 明方法在大客 流量的情况下， 仍然能够获得准确详细的公交客 流信息。 本发 明方法可以应用于公交客流获取领 域。 权利要求书3页 说明书8页 附图3页 CN 114973680 A 2022.08.30 CN 114973680 A 1.一种基于视频处理的公交客流获取系统， 其特征在于， 所述系统包括摄像头模块、 GNSS模块和存 储控制模块， 其中： 所述存储控制模块用于识别公交车的进口门以及出口门是否打开； 若公交车的进口门 或出口门打开， 则布设在对应的进口门或出口门周围的摄像头模块采集乘客的正面视频信 息； 所述GNSS模块用于实时采集公交车的经纬度信息； 所述摄像头模块和GNSS模块通过USB串 口将采集的信息传送给存储控制模块， 存储控 制模块还用于对摄 像头模块采集的信息进行处 理， 获得每名乘客上、 下 车的具体时间； 再结合GNSS模块采集的经纬度信息， 获得每名乘客上、 下 车的具体时间以及具体地 点。 2.根据权利要求1所述的一种基于视频处理 的公交客流获取系统， 其特征在于， 所述系 统由公交车 车载电池供电。 3.基于权利要求1所述的一种基于视频处理的公交客流获取系统的公交客流获取方 法， 其特征在于， 所述方法具体包括以下步骤： 步骤S1、 公交车位置信息获取 利用GNSS模块持续连接卫星， 提取出各个时刻所对应的时间、 公交车经度、 纬度信息； 再将提取的信息保存在存 储控制模块中； 步骤S2、 公共车客 流正面视频信息获取 当公交车的进口门打开 时， 布设在进口门周围的摄像头模块采集上车乘客的正面视频 信息， 当公交车 的出口门打开时， 布设在出 口门周围的摄像头模块采集下车乘客的正面视 频信息， 并将采集的正 面视频信息存 储到存储控制模块； 否则， 当公交车的进口门和出口门均关闭时， 摄 像头模块全部停止采集； 步骤S3、 视频信息处 理 利用存储控制模块对布设在进口门周围的摄像头模块采集的正面视频信息进行抽帧 处理得到一系列图片， 再对得到的图片进行处理分别得到每位上车乘客对应的多特征向 量， 全部上 车乘客对应的多特 征向量组成上 车乘客标准特 征向量库； 利用存储控制模块对布设在出口门周围的摄像头模块采集的正面视频信息进行抽帧 处理得到一系列图片， 再对得到的图片进行处理， 分别得到每张图片 中下车乘客对应的多 特征向量； 步骤S4、 公交客 流信息匹配 将下车乘客对应的多特征向量分别与上车乘客标准特征向量库中的多特征向量进行 特征相似度对比， 从而完成公交车上、 下车乘客的重识别， 获得了公交车乘客上、 下车 的时 间点； 将公交车乘客上、 下车的时间点与GNSS模块提取的时间、 公交车经度、 纬度信息进行匹 配， 获得每位乘客的上、 下 车时间， 上、 下 车地点以及乘坐时间， 即获得公交客 流信息。 4.根据权利要求3所述的一种基于视频处理的公交客流获取系统的公交客流获取方 法， 其特征在于， 所述 步骤S3的具体过程 为： 步骤S31、 利用存储控制模块对布设在进口门周围的摄像头模块采集的正面视频信息 进行抽帧处理得到一系 列图片， 再通过人像目标检测算法获取到每张图片中上车乘客的目 标检测框；权　利　要　求　书 1/3 页 2 CN 114973680 A 2步骤S32、 利用多目标检测算法将步骤S31的每张图片中的目标检测框替换成跟踪框， 并为每一个跟踪目标分配一个跟踪ID号； 步骤S33、 对于任意一位上车乘客， 均对上车乘客进行持续跟踪直至离开摄像头模块的 拍摄范围， 对于某位上车乘客来说， 按照该位上车乘客在连续跟踪的各张图片 中的跟踪框 边缘， 分别从连续跟踪的各张图片 中截取出该位上车乘客的人像， 再对截取出 的人像进行 矫正， 将矫正后的该位上车乘客的全部人像共同存入同一文件夹中形成该位上车乘客的人 像集； 同理， 分别获得每位上 车乘客的人像集； 步骤S34、 对于任意一位上车乘客的人像集， 采用人像质量评估算法分别 对人像集中的 人像进行人脸特征质量打分， 选择人像集中分数最高的人像作为该位上车乘客的标准人 像； 同理， 分别获得每位上 车乘客的标准人像； 步骤S35、 采用特征提取器分别提取出每位上车乘客对应的标准人像的多种特征， 所述 多种特征包括面部特征、 口罩特 征、 眼镜特 征、 帽子特 征和服装特 征； 对于某位上车乘客来说， 该位上车乘客的多种特征组成该位上车乘客所对应的标准人 像的多特征向量， 再将该位上车乘客所对应标准人像的多特征向量存储在存储控制模块 中， 根据该位上车乘客的跟踪ID号以及该位上车乘客所对应标准人像的拍摄时间对该位上 车乘客所对应标准人像的多特 征向量进行命名； 同理， 分别得到每位上车乘客所对应标准人像的多特征向量； 全部上车乘客对应的多 特征向量组成上 车乘客的标准特 征向量库； 步骤S36、 利用存储控制模块对布设在出口门周围的摄像头模块采集的正面视频信息 进行抽帧处理得到一系列图片， 再对得到的图片进行处理， 分别得到每张图片 中下车乘客 对应的多特 征向量。 5.根据权利要求4所述的一种基于视频处理的公交客流获取系统的公交客流获取方 法， 其特征在于， 所述人像目标检测算法为YOLOv5目标检测算法。 6.根据权利要求5所述的一种基于视频处理的公交客流获取系统的公交客流获取方 法， 其特征在于， 所述多目标检测算法为De ep Sort多目标跟踪算法。 7.根据权利要求6所述的一种基于视频处理的公交客流获取系统的公交客流获取方 法， 其特征在于， 所述人像质量评估算法为EQFace 人脸质量评估算法。 8.根据权利要求7所述的一种基于视频处理的公交客流获取系统的公交客流获取方 法， 其特征在于， 所述 步骤S4的具体过程 为： 步骤S41、 对于任意的一位下车乘客， 分别计算出该位下车乘客所对应的多特征向量与 上车乘客标准特 征向量库中各个多特 征向量的特 征相似度； 所述步骤S41中， 该位下车乘客所对应的多特征向量与标准特征向量库中任意一个多 特征向量A的特 征相似度的计算方式为： 计算出该位下车乘客所对应的多特征向量中的面部特征与标准特征向量库中的多特 征向量A中的面部特征的余弦距离d1、 计算出下车乘客所对应的多特征向量中的口罩特征 与标准特征向量库 中的多特征向量A中的口罩特征的余弦距离d2、 计算出下车乘客所对应 的多特征向量中的眼镜特征与标准特征向量库中的多 特征向量A中的眼镜特征的余弦距离权　利　要　求　书 2/3 页 3 CN 114973680 A 3