(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210705969.3 (22)申请日 2022.06.21 (71)申请人 上海托旺数据科技有限公司 地址 200333 上海市普陀区中江路879号 （天地软件园） 6号楼一层 (72)发明人 王智博　王志健　王斌　 (74)专利代理 机构 合肥市浩智运专利代理事务 所(普通合伙) 34124 专利代理师 朱文振 (51)Int.Cl. G05D 1/02(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 20/10(2019.01) G06T 7/246(2017.01)G06T 7/277(2017.01) G06T 7/55(2017.01) G06T 7/62(2017.01) G06T 7/80(2017.01) G06V 10/28(2022.01) G06V 10/44(2022.01) G06V 10/50(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 20/58(2022.01) G06V 40/16(2022.01) (54)发明名称 一种利用多目立体视觉的盲人智慧导航方 法及系统 (57)摘要 本发明提供一种利用多目立体视觉的盲人 智慧导航方法及系统， 方法包括： 以多目图像采 集装置采集图像数据， 据以利用预置标定法获取 相机标定 结果， 采集定位信息； 将图像数据、 定位 信息以及相机标定结果上传至预置数据处理中 心； 获取三维模型， 据以根据图像数据、 定位信息 以及相机标定结果进行障碍物检测、 移动物体跟 踪、 人脸检测及红绿灯检测， 以供规划盲人行进 路线； 根据红绿灯提示信息、 人物识别数据、 固定 障碍位置及移动障碍轨迹规划盲人行进路线； 处 理红绿灯提示信息、 人物识别数据、 固定障碍位 置及移动障碍轨迹及盲人行进路线， 据以得到提 示信号， 据以生成并发出盲人感官预警。 本发明 解决了导盲误差大、 携行性较差以及使用成本高 的技术问题。 权利要求书6页 说明书16页 附图7页 CN 114995450 A 2022.09.02 CN 114995450 A 1.一种利用多目立体视 觉的盲人智慧导 航方法， 其特 征在于， 所述方法包括： S1、 以多目图像采集装置采集图像数据， 据以利用预置标定法获取相机标定结果， 采集 定位信息； S2、 将所述图像数据、 所述定位信息以及所述相机标定结果上传至预置数据处 理中心； S3、 获取三维模型， 据以根据 所述所述图像数据、 所述定位信息以及所述相机标定结果 进行障碍物检测、 移动物体跟踪、 人脸检测及红绿灯检测， 以供规划盲人行进路线， 所述步 骤S3包括： S31、 提取所述图像数据中的图像特征点， 根据预置汉明距离求取逻辑匹配处理所述图 像特征点得到特征点配对， 通过视差计算原理融合处理得到图像深度信息， 以获取物体表 面三维点云， 据以通过点云网格化处 理得到盲人周边场景三维立体模型； S32、 将所述图像数据上传至预置远程导盲平台， 据以利用预置红绿灯过滤识别逻辑， 根据所述图像数据识别红绿灯状态； S33、 从所述图像数据中获取人脸图像并进行人脸对齐， 利用预置人脸识别逻辑， 根据 所述人脸图像及预置数据库中存 储的人脸信息进行 人脸识别， 据以得到人物 识别数据； S34、 根据 所述盲人周边场景三维立体模型识别并分类障碍物， 据以得到障碍物类别及 障碍物方位， 利用预置多目标监测模型处理所述图像深度信息、 所述障碍物类别及障碍物 方位， 以得到运动信息， 利用DeepSort 算法提取特征向量， 利用卡尔曼滤波算法关联处理所 述运动信息， 利用匈牙利算法关联处理所述特征向量， 据以得到固定障碍位置及移动障碍 轨迹； S4、 根据所述红绿灯提示信息、 所述人物识别数据、 所述固定障碍位置及所述移动障碍 轨迹规划盲人 行进路线； S5、 处理所述红绿灯提示信息、 所述人物识别数据、 所述固定障碍位置及所述移动障碍 轨迹及所述盲人 行进路线， 据以得到提 示信号， 据以生成并发出盲人感官 预警。 2.根据权利要求1所述的一种利用多目立体视觉的盲人智慧导航方法， 其特征在于， 所 述步骤S1包括： S11、 以多目图像采集装置接收处理器采集命令， 以通过多目相机阵列采集周边场景的 所述图像数据； S12、 利用所述预置标定法， 以下述逻辑标定所述多目相机阵列， 得到多目相机阵列的 所述相机标定结果， 其中， 所述相机标定结果包括： 内参数和外参数： 将二维点m＝[u,v]T和与之对应的三维点M＝[X,Y,Z]T的增广向量表示 为： m′＝[u,v,1]T和M′＝[X,Y,Z,1]T； S13、 根据预置相机模型处 理得到张正友标定法一般公式： sm′＝A[R|t]M ′ 其中 为相机内参矩阵， [R|t]为相机 外参矩阵， s为缩放系数； S14、 根据所述张正友标定法一般公式进行方程求解， 以得到所述内参数及所述外参 数； S15、 利用下述逻辑， 结合极大似然估计的非线性优化方法优化所述内参数及所述外参权　利　要　求　书 1/6 页 2 CN 114995450 A 2数： 其中n标定平面数量， m为标定平面角点数量； S16、 利用预置的北斗卫星定位装置获取当前的所述定位信 息， 通过振动导航装置发出 振动， 以提 示所述盲人当前位置 。 3.根据权利要求1所述的一种利用多目立体视觉的盲人智慧导航方法， 其特征在于， 所 述步骤S2中， 通过5G通讯上传所述图像数据、 所述定位信息以及所述相机标定结果至数据 处理中心。 4.根据权利要求1所述的一种利用多目立体视觉的盲人智慧导航方法， 其特征在于， 所 述步骤S31包括： S311、 根据预设阈值T判断像素与周围邻域差别程度， 据以判定获取像素角点， 以作为 第一版检测特征点， 利用非极大值抑制处理所述第一版检测特征点， 以保留响应极大值特 征点， 在所述极大值特 征点的周围选择n对p、 q像素对， 据以得到n维的特 征点描述向量。 S312、 计算所述特征点描述向量与其余所有所述特征点描述向量间的描述向量距离并 排序， 以取所述描述向量距离最近的所述图像特征点作为已匹配点， 以下述逻辑取汉明距 离大于或等于最小距离的两倍的已匹配点对作为 正确匹配数据： 其中i＝0,1,…,n‑1， x、 y为n位的编码， ⊕表示亦或。 S313、 利用所述视差计算原理， 以下述逻辑处理所述正确匹配数据， 据以得到左相机成 像点PL与右相机成像点PR之间距离： PLPR＝b‑(XL‑XR) 其中， b为左右相机的投影中心OL、 OR的连线距离， XL和XR分别是左右相机成像点到左成 像面的距离； S314、 以下述逻辑处 理所述左右相机成像点到左成像面的距离， 以得到 视差数据： d＝|XL‑XR|； S315、 根据下述逻辑处 理所述视 差数据， 据以得到所述图像深度数据Z： S316、 根据预置融合准则、 所述视差数据及所述图像深度数据， 结合处理不少于2幅初 始视差图， 以得到适用精度视差图， 据以将所述视差数据转化为所述图像深度信息， 以获得 所述物体表面 三维点云； S317、 对所述物体表面三维点云P＝{(p1,n1),…,(pn,nN)}、 被测物体M和待重建曲面S， 根据下述指示 函数将所述重建曲面S转换为重构 χM， 以得到网格化 点云： 权　利　要　求　书 2/6 页 3 CN 114995450 A 3