(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210896120.9 (22)申请日 2022.07.27 (71)申请人 河南工业大 学 地址 450000 河南省郑州市高新 技术产业 开发区莲 花街100号 (72)发明人 张博强　张小彩　李东鼎　高天智　 张涛　冯天培　孙朋　陈晨　 刘竟飞　张勋　 (74)专利代理 机构 郑州大豫知识产权代理事务 所(普通合伙) 41214 专利代理师 文生明 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/70(2022.01) G06V 10/82(2022.01)G06V 10/774(2022.01) G06V 10/762(2022.01) G06V 10/74(2022.01) G06V 10/46(2022.01) G06V 10/26(2022.01) (54)发明名称 一种语义特征和词袋模型相结合的视觉 SLAM回环检测方法 (57)摘要 本发明属于视觉SLAM技术领域， 公开了一种 语义特征和词袋模型相结合的视觉SLAM回环检 测方法方法： 采集工厂的运动视频数据， 从运动 视频数据中获取每帧图片， 判断任意两帧图片之 间的相似值， 基于相似值删除冗余图片得到训练 数据， 基于训练数据对U ‑net网络进行训练， 得到 训练U‑net网络； 采集工厂的 图片， 获取该图片的 RGB图， 并将该RGB图用训练U ‑net网络进行语义 分割， 得到语义标签； 对语义标签进行聚类； 对聚 类后的语义标签进行相似性比较， 获取候选关键 帧； 在检测到有关键帧插入后， 进入回环 检测。 本 发明解决了传统的SLAM词袋模型对像光照之类 的变化不敏感， 在工厂环境有变化的情况下容易 造成较大的波动， 提取特征存在准确精度低的问 题。 权利要求书2页 说明书5页 附图2页 CN 115240115 A 2022.10.25 CN 115240115 A 1.一种语义特征和词袋模型相结合的视觉SLAM回环检测方法， 其特征在于， 包括如下 的步骤： 步骤1， 利用工厂物流用无人车采集工厂的运动视频数据， 从所述运动视频数据中获取 每帧图片， 获取所述每 帧图片的特征向量， 通过计算任意两帧图片的特征向量之间的差值 来确定所述任意两帧图片之间的相似值； 若所述任意两帧图片的相似值小于门限值时， 则确定所述任意两帧图片为相似的图 片， 删除冗余图片， 其中， 所述冗余图片为所述任意两帧图片中的任一帧； 若所述任意两帧图片的相似值大于或等于门限值， 则确定所述任意两帧图片是不相似 的图片， 保留所述任意两帧图片； 从获取的所述每帧图片中删除所有的冗余图片得到训练数据， 将所述训练数据输入U ‑ net网络对U ‑net网络进行训练， 得到训练U ‑net网络； 步骤2， 利用所述工厂物流用无人车在移动过程中采集工厂的图片， 获取所述图片的 RGB图， 并将所述RGB图用所述训练U ‑net网络进行图像 语义分割， 得到语义标签； 步骤3， 对所述图片中的所述语义标签进行聚类； 步骤4， 对聚类后的所述语义标签进行相似性比较， 获取候选关键帧； 步骤5， 在检测到有关键帧插 入后， 进入回环检测。 2.根据权利要求1所述的一种语义特征和词袋模型相结合的视觉SLAM回环检测方法， 其特征在于， 从所述U ‑net网络的降采样部分的第一个有效卷积的中间层获取所述每帧图 片的特征向量。 3.根据权利要求1所述的一种语义特征和词袋模型相结合的视觉SLAM回环检测方法， 其特征在于， 通过计算所述任意两帧图片的特征向量的欧几里得距离来确定所述任意两帧 图片的特 征向量之间的差值。 4.根据权利要求1所述的一种语义特征和词袋模型相结合的视觉SLAM回环检测方法， 其特征在于， 步骤3中， 对所述语义标签通过 K‑means算法进行聚类。 5.根据权利要求1所述的一种语义特征和词袋模型相结合的视觉SLAM回环检测方法， 其特征在于， 步骤4中， 把整张图片的所述语义标签都列出来， 直接比较任意两帧图片的重 复的语义标签， 获取所述重复的语义标签在所述任意两 帧图片的语义标签中的比例， 若所 述比例超过 预设的阈值， 则将该帧图片列入候选关键帧列表。 6.根据权利要求1所述的一种语义特征和词袋模型相结合的视觉SLAM回环检测方法， 其特征在于， 步骤5中， 进行闭环检测具体包括如下步骤： 步骤5.1， 若距离上次闭环小于10帧,则直接退 出； 步骤5.2， 遍历所述关键帧的所有共视关键帧， 基于词袋模型计算所述关键帧与每个共 视关键帧的相似度， 找出 所述相似度中的最低分， 删除所述 最低分对应的共视关键帧； 步骤5.3， 找出与所述关键帧相连的帧， 遍历所述帧的所有单词， 提取出拥有所述所有 单词的所有帧， 存放在候选帧列表中； 步骤5.4， 遍历所述候选帧列表， 将所述候选帧列表中共有单词数较多且相似度高于所 述最低分的帧存放在匹配列表中； 步骤5.5， 将所述匹配列表中每一帧与该帧共视程度较高的帧每10帧组成一组， 选出累 计得分最高的一组,记录下累计最高分， 将累计得分大于0.75倍所述累计最高分的组里的权　利　要　求　书 1/2 页 2 CN 115240115 A 2得分最高的帧都存放在闭环候选列表中， 成为 候选帧； 步骤5.6， 进行 连续性检测。权　利　要　求　书 2/2 页 3 CN 115240115 A 3