(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211084080.4 (22)申请日 2022.09.06 (65)同一申请的已公布的文献号 申请公布号 CN 115185285 A (43)申请公布日 2022.10.14 (73)专利权人 深圳市信诚创新 技术有限公司 地址 518000 广东省深圳市龙岗区坂田街 道马安堂社区布龙路369号东海王工 业区A、 B座 一层A102 (72)发明人 王志　 (74)专利代理 机构 深圳汉林汇融知识产权代理 事务所(普通 合伙) 44850 专利代理师 吴洪波 (51)Int.Cl. G05D 1/02(2020.01)A47L 11/24(2006.01) A47L 11/40(2006.01) G06V 20/58(2022.01) G06V 20/40(2022.01) G06V 20/70(2022.01) G06V 10/26(2022.01) G06V 10/74(2022.01) 审查员 许玉姗 (54)发明名称 吸尘机器人的自动避障方法、 装置、 设备及 存储介质 (57)摘要 本发明涉及物联网领域， 公开了一种吸尘机 器人的自动避障方法、 装置、 设备及存储介质， 用 于提高吸尘机器人的避障灵敏度。 所述方法包 括： 将区域街景视频输入地图信息识别模型进行 环境信息识别， 得到全局地图信息； 基于全局地 图信息构建初始清洁路径； 按照初始清洁路径从 起始清洁点沿预设方向进行移动清洁并采集移 动清洁过程中的实时路况视频； 将实时路况视频 输入障碍物检测模型集进行移动障碍物识别， 得 到移动障碍物信息； 根据障碍物类型对目标移动 障碍物进行超声波测距， 得到障碍物距离； 根据 障碍物距离和障碍物类型选取与障碍物距离对 应的避障模式， 并根据避障模式对目标移动障碍 物进行自动避障。 权利要求书6页 说明书12页 附图4页 CN 115185285 B 2022.12.27 CN 115185285 B 1.一种吸尘机器人的自动避 障方法， 其特征在于， 所述吸尘机器人的自动避障方法包 括： 从预置的地图应用程序中获取待清洁的区域街景视频， 并将所述 区域街景视频输入预 置的地图信息识别模型进行环境信息识别， 得到所述区域街景视频对应的全局 地图信息； 其中， 从预置的地图应用程序中获取待清洁的区域街景视频； 将所述区域街景视频输入预 置的地图信息识别模型， 通过所述地图信息识别模型对所述区域街景视频进行逐帧提取， 得到多个视频帧； 将所述多个视频帧依次输入所述地图信息识别模型中的目标检测网络进 行环境信息识别， 得到多个建筑物信息； 将所述多个建筑物信息输入SLAM算法构建所述区 域街景视频对应的全局地图信息； 具体的， 通过分帧操作截取连续的视频帧， 其中， 连续视 频帧为N帧， N为大于10的正整数， 进而服务器将区域街景视频输入预置的地图信息识别模 型进行环境信息识别， 得到区域街景视频对应的全局 地图信息； 当服务器得到多个视频帧 后， 将该多个视频帧依次输入目标检测网络进行环境信息识别， 在 进行环境信息识别前， 服 务器对该多个视频帧进行灰度处理， 并根据灰度处理后的视频帧图像的像素值及临界像素 值获取当前前景图像和背 景图像， 进而进 行信息环境识别， 得到多个建筑物信息， 最 终服务 器将多个建筑物信息 输入SLAM算法构建区域 街景视频对应的全局地图信息； 基于所述全局地图信 息构建初始清洁路径， 并将吸尘机器人放置于所述初始清洁路径 的起始清洁点； 其中， 提取所述全局地图信息中的多个建筑物坐标； 通过预设清洁终点和所 述多个建筑物坐标为节点生成坐标联通图， 并根据所述坐标联通图和预置的最小生成树算 法对所述全局 地图信息进行路径规划， 得到初始清洁路径； 将吸尘机器人放置于所述初始 清洁路径的起始清洁点； 其中， 全局地图信息中预先设置有对应的坐标系， 通过环境信息识 别获取到多个建筑物后， 对多个建筑物进行坐标分析， 提取得到全局 地图信息中的多个建 筑物坐标， 根据多个建筑物坐标生成连通图， 将连通图中的所有边按代价大小从小到大排 序， 将连通图中的n个顶点看成独立的n棵树， 连通图为n棵树组成的森林， 按权值大小从小 到大选择边， 所选边连接的两个顶点应属于两颗不同的树， 则该边成为最小生成树的一条 边， 并将这两颗树合并作为一颗树， 直到所有的顶点 都在一棵树内， 或者 获得n‑1条边为止， 得到初始 清洁路径， 将吸尘机器人放置 于初始清洁路径的起始 清洁点； 所述吸尘机器人按照所述初始清洁路径从所述起始清洁点沿预设方向进行移动清洁， 并通过所述吸尘机器人中预置的图像采集终端实时采集移动清洁过程中的实时路况视频； 具体的， 当服务器确定对应的初始清洁路径后， 获取对应的信息传输接口标识， 进而服务器 通过该信息传输接口标识确定相应的信息传输接口， 进而服务器通过该信息传输接口将上 述初始清洁路径传输至上述吸尘机器人， 以使得服务器控制该吸尘机器人按照上述初始清 洁路径从起始清洁点沿预设方向进行移动清洁， 同时服务器调用上述吸尘机器人中的预置 图像采集装置在吸尘机器人移动清洁过程中的实时路况视频； 具体的， 吸尘机器人按照初 始清洁路径从起始清洁点沿预设方向进行移动清洁； 当吸尘机器人开始移动清洁时， 启动 吸尘机器人中预置的图像采集终端； 通过图像采集终端实时采集吸尘机器人移动清洁过程 中全方位的实时路况视频； 其中， 当服务器控制该吸尘机器人按照初始清洁路径从起始清 洁点沿预设方向进行移动清洁时， 通过触发方式采集当前拍摄的路况视频， 同时定位吸尘 机器人的位置信息和获取路况视频的拍摄时间， 之后将路况视频、 位置信息及拍摄时间通 过无线网络上传到云平台， 其中， 所述触发方式是用户主动触发， 包括触发硬件设备开关、权　利　要　求　书 1/6 页 2 CN 115185285 B 2语音指令以及行为指 令， 或者通过条件触发， 根据用户设定的速度、 用户预定的地点进行触 发， 最终服务器通过图像采集终端实时采集吸尘机器人移动清洁过程中全方位的实时路况 视频； 将所述实时路况视频输入预置的障碍物检测模型集进行移动障碍物识别， 得到所述实 时路况视频中的移动障碍物信息， 其中， 所述移动障碍物信息包括： 目标移动障碍物和障碍 物类型； 其中， 目标移动障碍物和障碍物类型， 包括： 对所述 实时路况视频进 行分帧， 得到多 个路况图像； 对所述多个路况图像进 行去噪和对比度增强， 得到多个标准图像； 分别将所述 多个标准图像输入预置的障碍物检测模型集中的人物识别模型进 行人物检测， 得到目标人 物， 其中， 所述障碍物检测模型为语义分割模型； 分别将所述多个标准图像输入 预置的障碍 物检测模型集中的车辆识别模型进行车辆检测， 得到目标车辆； 根据所述 目标人物和所述 目标车辆对所述多个标准图像进 行障碍物类型和障碍物位置信息标注， 生成移动障碍物信 息并输出； 其中， 对多个路况图像进行去 噪， 包括将路况图像输入转换为灰度图， 对灰度图 像进行二维信号的二层小波分解， 将图像从空域转换为频域， 提取图像低频分量， 并采用同 态滤波提高低频分量中的高频响应， 将滤波后的低频图像变换到空域进 行灰度变换增强图 像对比度和亮度， 根据增强后的低频分量与高频分量系 数重构图像， 对重构后的图像进行 基于小波变换 的阈值去 噪， 最后获得增强后的图像， 进而服务器采用人物识别模型对增强 后的图像进 行识别， 并与目标人物图像进 行比对， 得到满足相似度阈值的匹配目标图像， 将 上次识别得到的前N位匹配目标图像作为下次识别的增强后的图像， 直至采用第m人像识别 算法完成对增强后的图像进行第m次识别， 并与所述目标人物图像进 行比对， 将满足所述相 似度阈值的匹配目标图像作为最 终的匹配目标图像， 进而服务器分别将多个标准图像输入 预置的障碍物检测模型集中的车辆识别模型进行车辆检测， 得到目标车辆； 根据目标人物 和目标车辆对多个标准图像进 行障碍物类型和障碍物位置信息标注， 生成移动障碍物信息 并输出； 根据所述障碍物类型对所述目标移动障碍物进行超声波测距， 得到障碍物距离； 其中， 基于所述吸尘机器人中的超声波测距仪对所述目标移动障碍物发送超声波， 并接收所述目 标移动障碍物返回的反射波； 计算所述反射波的反射时长， 并根据所述反射时长分别计算 所述障碍物类型 的目标移动障碍物与所述吸尘机器人 的距离， 得到人物距离和车辆距离； 将所述人物距离和所述车辆距离作为障碍物距离并输出； 具体的， 在吸尘机器人上安装有 第一超声波雷达和第二超声波雷达， 根据第一超声波雷达和第二超声波雷达的安装位置、 探测范围以及吸尘机器人 的车身尺寸， 将障碍物探测区域划分成多个子区域， 分别控制第 一超声波雷达和第二超声波雷达对障碍物进行探测， 得到第一探测距离 以及第二探测距 离， 根据第一探测距离和 第二探测距离， 确定障碍物所在的子区域， 进而服务器根据障碍物 类型对目标移动障碍物进 行超声波测距， 得到障碍物距离； 其中， 服务器测距指 令生成超声 波信息， 并获取第一计时信息， 对超声波信息进 行编码得到超声波编 码信息， 根据超声波编 码信息发送测距超声波， 获取测距超声波对应的测距回波， 并对测距回波进行解码， 得到解 码信息， 根据解码信息获取第二计时信息， 并根据第一计时信息和