(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210755553.2 (22)申请日 2022.06.30 (71)申请人 山东新一代信息产业 技术研究院有 限公司 地址 250100 山东省济南市高新区港兴三 路北段未来创业广场3号楼1 1-12层 (72)发明人 高发钦　马辰　高明　王建华　 (74)专利代理 机构 济南信达专利事务所有限公 司 37100 专利代理师 阚恭勇 (51)Int.Cl. G06T 7/50(2017.01) G06T 7/73(2017.01) G06T 7/80(2017.01) G06F 17/16(2006.01) (54)发明名称 一种基于深度图像的机 器人防跌落的方法 (57)摘要 本发明提供一种基于深度图像的机器人防 跌落的方法， 属于机器人领域， 使用安装在机器 人本体上固定高度固定倾斜角度的深度相机， 采 集深度图像， 通过深度图像来估计前方道路有无 深坑或者凹陷， 并且及时做出处理。 本发明仅使 用单个深度相机实现防跌落的功能， 成本低廉， 深度相机主动反射红外光， 不受光照条件的影 响， 深度相机朝前俯视看地面， 观测范围广， 观测 距离远， 可以在远处就检测到深坑， 提前 预警。 权利要求书2页 说明书4页 附图2页 CN 115187645 A 2022.10.14 CN 115187645 A 1.一种基于深度图像的机器人防跌落的方法， 其特 征在于， 机器人本体上安装深度相机， 并标定出其安装位置， 采集前方路况深度图像， 通过深度 图像来估计前 方道路有无深坑或者凹陷， 并且及时做出处 理。 2.根据权利要求1所述的方法， 其特 征在于， 具体步骤如下： 步骤1)， 首 先读取深度相机的参数， 得到内参数矩阵； 步骤2)， 标定得出深度相机相对于机器人坐标系的位置关系； 将深度相机安装在机器 人固定高度， 向下倾斜固定的角度； 在正前方放置棋盘格作为标定板， 计算出深度相机坐标 系和机器人坐标系的位置变换矩阵， 进而得到深度相机的倾斜角度和光心距离地面的高 度； 步骤3)， 计算路面上的点在深度相机坐标系下的坐标； 步骤4)， 将地 面点在深度相机坐标系下的三维坐标转换到 机器人底座 坐标系下； 步骤5)， 评估路况， 有无深坑， 如果有， 返回其 坐标。 3.根据权利要求2所述的方法， 其特 征在于， 深度相机安装在机器 人本体上， 倾斜特定的角度， 深度相机坐标系(Oc,Xc,Yc,Zc)以光心 为原点， 光轴 方向为Z轴方向； 机器人坐标系(Or,Xr,Yr,Zr)， 以机器人最前端中心在地面的 投影为原 点， 水平向前为Z轴方向； 深度相机光轴和垂 直方向的夹角为α， 深度相机光心距离 地面的高度为H 。 4.根据权利要求3所述的方法， 其特 征在于， 读取深度相机的参数， 得到内参数矩阵 其中 和 分别表示 深度相机在x和y方向上以像素为单位的焦距长度， (u0,v0)表示光心在图像上的像素坐标。 5.根据权利要求5所述的方法， 其特 征在于， 从深度相 机坐标系到棋盘格坐标系的变换矩阵Tcam_to_w， 由相机拍摄棋盘格的图像， 运 行张正友标定程序， 计算外参数 得到； 从棋盘格坐标系到机器人坐标系的变换矩阵Tw_to_rob， 由测量棋盘格相对机器人的位置 得到； 从深度相机坐标系到 机器人坐标系的变换矩阵Tcam_to_rob， Tcam_to_rob＝Tcam_to_wTw_to_rob 从深度相机坐标系到机器人坐标系， 是先绕X轴逆向旋转90 ° ‑α， 对应的旋转矩阵是 即 对应的平 移向量是t＝[0, ‑H,‑L]， 因此 权　利　要　求　书 1/2 页 2 CN 115187645 A 2由Tc a m _ t o _ r o b＝Tc a m _ t o _ wTw _ t o _ r o b得到Tc a m _ t o _ r o b的各个元素后， 根据 得到H和 α 的值。 6.根据权利要求5所述的方法， 其特 征在于， 深度相机采集路面深度图像， 读取每个像素点的的像素值， 根据深度相机内参数计算 路面上的点在深度相机坐标系下的坐标 Zc＝depth_ima ge[v,u]/factor； Xc＝(u‑u0)*Z/fx； Yc＝(v‑v0)*Z/fy； 。 7.根据权利要求5所述的方法， 其特 征在于， 将地面点在深度相机坐标系下的三维坐标转换到机器人底座坐标系下， 根据步骤2)标 定出的深度相机相对于 机器人坐标系的位置关系， 将地 面的点转换到机器人坐标系下 8.根据权利要求7 所述的方法， 其特 征在于， 步骤5， 评估路况， 有无深坑， 如果有， 返回其 坐标 得到前方路面上点的三维坐标后， 每个Yr和0进行比较， 小于0的说明是凹陷区域， 通过 XrZr确定其平面坐标。 我们根据机器人底盘 高度， 估计机器人能越过的凹陷的深度和尺寸， 设定深坑阈值h和点数阈值count， 如果Yr＜‑h的点数大于count， 则认为前方路面有不可越 过的深坑， 则紧急制动。权　利　要　求　书 2/2 页 3 CN 115187645 A 3