(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210489717.1 (22)申请日 2022.05.07 (71)申请人 河海大学 地址 210024 江苏省南京市 鼓楼区西康路1 号 (72)发明人 李昭斌　刘逸辰　芮楚梵　 (74)专利代理 机构 南京苏高专利商标事务所 (普通合伙) 32204 专利代理师 柏尚春 (51)Int.Cl. A61H 3/06(2006.01) G06N 3/04(2006.01) G06Q 10/04(2012.01) G06T 7/73(2017.01) G06V 20/40(2022.01)G06V 10/82(2022.01) G01C 21/20(2006.01) (54)发明名称 一种基于视觉SLAM的盲人避障导 航系统 (57)摘要 本发明公开了一种基于视觉SLAM的盲人避 障导航系统， 包括数据收集模块、 避障导航模块 和场景重现模块； 数据收集模块包括两个RGBD传 感器和一块开发板， 两个RGBD传感器用于采集前 方和下方的图像信息与距离信息； 避障导航模块 包括局部规划器、 全局规划器和震动装置， 在每 个时刻会获取数据收集模块中当前时刻 的局部 障碍物地图， 该地图被传送至局部规划器、 全局 规划器； 场景重现模块包括接收器和耳机， 最后 将物品信息输出至耳机。 本发明通过触觉、 听觉 多感官的提示增强导盲装置的便捷性和功能性， 同时提高预报的准确度以及速度。 权利要求书2页 说明书5页 CN 114712181 A 2022.07.08 CN 114712181 A 1.一种基于视觉SLAM的盲人避障导航系统， 其特征在于， 包括数据收集模块、 避障导航 模块和场景重现模块； 数据收集模块包括两个RGBD传感器和一块开发板， 两个RGBD传感器用于采集前方和下 方的图像信息与距离信息； 避障导航模块包括局部规划器、 全局规划器和震动装置， 在每个时刻会获取数据收集 模块中当前时刻的局部障碍物地图， 该地图被传送至局部规划器、 全局规划器； 局部规划器会对局部障碍物地图使用滤波、 点云投影以及膨胀处理， 最后计算出当前 可行的前进方向， 盲人从可 行方向中自主选择； 全局规划器会将局部障碍物地图输入至SLAM系统， 该系统使用基于图像关键点所创建 的特征向量来识别逐帧图像， 通过跟踪、 建图与闭环检测获取三 维空间中的建图信息， 通过 SLAM系统维护一个全局的导航地图， 然后在该全局导航地图中使用路径规划算法计算出当 前位置到达目的地的最佳路径， 该路径的起始方向即为全局规划器输出的最佳 方向； 场景重现模块包括接收器和耳机， 接收器用于接收数据收集模块中所述的局部障碍物 地图， 对于所述图像信息输入至YOLO系统进行 目标检测以及方向计算， 该YOLO系统采用卷 积网络提取图像中的特征并识别出目标物品， 输出图像中物品的种类以及位置信息， 最后 通过声音技术将物品信息 输出至耳机 。 2.根据权利要求1所述的一种基于视觉SLAM的盲人避障导航系统， 其特征在于， 所述震 动装置用于输出障碍物信息， 包括了二行三列共六个电磁阀， 第一行 的电磁阀分别对应左 前方， 正前方和右前方三个方向的障碍物情况； 第二行的电磁阀分别对应左前方， 正前方和 右前方三个方向的障碍物情况， 当电磁阀震动时表示该方向存在障碍物无法通过或者不是 最佳方向， 未震动的电磁阀代表的方向即为局部规划器与全局规划器的结果融合得出的最 佳前进方向。 3.根据权利要求1所述的一种基于视觉SLAM的盲人避障导航系统， 其特征在于， 所述局 部规划器使用滤波技 术处理局部障碍物地图数据， 包括以下步骤： a.采用直 通滤波， 过 滤深度超出避障检测距离阈值的点， 该阈值设置为3m； b.过滤高度在[0,0.5m ]以外的点； c.采用统计滤波器， 当某处点云数量小于 50/立方米， 则无效化该点； 局部规划器 中， 对于RGBD传感器探测的深度信息做特殊处理： 如需对下方高度为h以上 的物品避障， 假设相机的偏转角度为θ， 拐杖距离地 面的距离为H计算出深度上限为： 该深度上限即为步骤a中所述避 障检测距离阈值， 在第一步直通滤波之后之后获取到 点云投影， 所述点云投影为对于三维空间每个点(x ,y ,depth)将其映射到平面 scale表示分辨率， 再使用OpenCV中的矩阵Mat存储滤波后的点云投 影， 将点云投影中映射到的点像素值全设置为255， 未被映射到的点设置为0， 映射到的点即 为障碍物点， 未被映射到的点为障碍点； 对点云投影做膨胀处理， 防止盲人撞到障碍物边 界， 再对点云投影进行角度采样， 所述角度采样为从传感器位置开始， 放射出n条不同方向 的射线作为采样射线， 对于每一条采样射线， 检测该射线上的障碍物点数， 按照射线 上的障 碍物点数和总点数 的比值将采样射线分为可行射线和 不可行射线； 采样结束后， 根据角度权　利　要　求　书 1/2 页 2 CN 114712181 A 2采样结果生成控制信息； 由于前方下方两个方向被分成了左、 中、 右三个子方向， 每个方向 各有三个震动马达对应每一个子方向， 将每个方向的180 °区域等分成0 ° ‑60°,60° ‑120°, 120° ‑180°三个区域， 分别对应震动装置的三个子方向， 对于每个方向中的区域， 计算该区 域内可行采样射线的条数与总采样射线条数的比值， 若低于阈值则对应震动马达需要震 动。 4.根据权利要求1所述的一种基于视觉SLAM的盲人避障导航系统， 其特征在于， 所述 SLAM系统包括跟踪模块、 建图模块与闭环检测模块； 所述跟踪模块， 从图像中提取ORB特征， 通过和RGBD传感器探测的上一帧图像帧之间的特征匹配进 行姿态估计， 确定位姿信息和关 键帧； 所述建图模块， 构建地图验证最近生成的特征点， 对这些特征点进行筛选； 所述闭环 检测模块， SLAM系统分为闭环探测和闭环矫正两个部 分， 用于消除误差， 闭环探测首先使用 DBoW2探测， 然后通过Sim3算法计算相似变换， 最后通过向障碍物的特征点连线并使用 Bresenham画线算法生成稠密地图。 5.根据权利要求1所述的一种基于视觉SLAM的盲人避障导航系统， 其特征在于， 所述全 局规划器使用路径规划 算法， 用于在稠密地图之上计算两点之间的最短路径， 所述路径规 划算法通过SLAM系统获得了当前环境的地图信息以及相机在地图中 的位置， 具体使用A*算 法规划路径， A*算法使用以当前点到终点的曼哈顿距离作为关键字的优先队列， 优先访问 曼哈顿距离较小的点， 最先访问到终点对应的路径就是最后结果， 为了避免局部最优解的 问题， 路径规划 算法记录起点到当前点的最短路， 每一次拓展到其他点时更新其他点的最 短路情况。 6.根据权利要求1所述的一种基于视觉SLAM的盲人避障导航系统， 其特征在于， 所述场 景重现模块使用YOLO算法实现目标检测， 对于每一个视频帧， 首先将图像切分为S ×S的网 络， 对于每一个网络， 使用卷积神经网络CNN输出一个向量， 该向量包含B个(x,y,h,w,c)向 量以及一个One ‑hot编码后的分类， 表示该网格内的物品分类， 其中c表示置信度， (x,y,h, w)表示网格内五个候选框的位置以及大小； 置信度的计算公式为 Pr表 示该网格是否有物体被将测到， 表示实际的候选框与预测的候选框的交并比， 即 两个矩形区域的面积交和面积并之比， 用以衡量两个矩形区域的相似程度， 然后使用NMS非 极大值抑制算法将多余的候选框去除， 对于两个相交的候选框， 保留置信度较大的那一个， 最终得到 了目标检测结果并输出至耳机， 实现场景重现。权　利　要　求　书 2/2 页 3 CN 114712181 A 3