(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210597439.1 (22)申请日 2022.05.30 (65)同一申请的已公布的文献号 申请公布号 CN 114677444 A (43)申请公布日 2022.06.28 (73)专利权人 杭州蓝芯科技有限公司 地址 311121 浙江省杭州市余杭区余杭街 道文一西路1818-2号7幢902室 (72)发明人 张易学　周玄昊　 (74)专利代理 机构 北京易捷胜知识产权代理事 务所(普通 合伙) 11613 专利代理师 齐胜杰 (51)Int.Cl. G06T 7/73(2017.01) G06V 20/10(2022.01)G06V 10/44(2022.01) G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (56)对比文件 CN 110781262 A,2020.02.1 1 审查员 孟桓羽 (54)发明名称 一种优化的视 觉SLAM方法 (57)摘要 本发明涉及一种优化的视觉SLAM方法， 包 括： 获取SLAM定位过程中当前图像帧及当前图像 帧的特征点、 描述子； 描述子为训练的神经网络 得到的优化描述子或其他算法得到的描述子， 基 于描述子获取当前与上一相邻图像帧的相似度， 并满足预设条件时， 归属到字典Ω中， 以及更新 视觉地图； 同时基于字典Ω的键， 周 期性采用筛 选策略筛选用于神经网络训练的键的训练集合 Ψ， 若训练集合Ψ满足训练条件， 则基于训练集 合Ψ中各键的值训练所述神经网络； 训练集合Ψ 中每一键均为具有稳定可靠性的键。 本发明的方 法实现在视觉定位优化中无监督自主训练神经 网络， 同时借助神经网络获取可靠的优化描述子 进行相似度匹配， 提高了 定位的精度和可靠性。 权利要求书3页 说明书8页 附图1页 CN 114677444 B 2022.08.26 CN 114677444 B 1.一种优化的视 觉SLAM方法， 其特 征在于， 包括： A10、 获取SLAM定位过程中当前图像帧， 在当前图像帧非起始图像帧时， 获取当前图像 帧中关注区域的局部特 征图像、 该局部特 征图像的特 征点和每一特 征点的描述子； 其中， 描述子为训练完的神经网络对局部特征图像处理的优化描述子， 或神经网络未 训练完时视 觉算法对局部特 征图像处 理的描述子； A20、 对当前图像帧的特征点、 描述子和上一相邻图像帧的特征点、 描述子进行匹配， 获 取描述子相似度信息； A30、 若描述子的相似度信息满足预设条件， 则将当前图像帧的局部特征图像归属到上 一相邻图像帧的局部特征图像所属的图片集合中， 若不存在上一相邻图像帧的局部特征图 像所属的图片集合， 则在字典Ω中添加 新的键， 并将当前图像 帧的局部特征图像和上一相 邻图像帧的局部特征图像作为新键的值； 字典Ω中各键的值均为图片集合； 所述键为具有 标识的特 征点； 以及 获取当前图像帧和上一相邻图像帧中相机的位置变化信息， 并更新相机位置集合P中 的相机位姿， 获得 具有相机位置 轨迹的视觉地图； A40、 基于字典Ω中的键， 周期性采用筛选策略筛选用于神经网络训练的键的训练集合 Ψ， 若训练集合Ψ满足训练条件， 则基于训练集合Ψ中各键的值训练所述神经网络； 训练集 合Ψ中每一键所属的特 征点均具有稳定可靠性； 所述方法还包括： 给定用于跟踪特征点的字典Ω， 字典Ω记录正在跟踪中的所有特征 点的局部特征图像集合， 字典Ω的键KEY为具有ID的特征点， 而每个键对应的值VALUE为图 片集合， 图片集 合中各局部特 征图像携带有所属图像帧的序号； 将相似度信息符合预设条件的各局部特 征图像添加到匹配的特 征点的图片集 合； 在SLAM定位过程 开始时， 字典 Ω为空， 训练集 合Ψ为空； 训练集合Ψ表示神经网络训练样本的集 合； 当前图像帧i所有提取的特 征点集合为Фi， Фi中所有特 征点具有唯一标识， 如果当前图像帧为SLAM定位过程中的起始图像帧， 则i=1， 并将当前图像帧的所有局部 特征图像添加至 字典Ω； 其中， 基于字典Ω的键， 周期性采用筛选策略筛选用于神经网络训练的键的训练集合 Ψ， 若训练集 合Ψ满足训练条件， 则基于训练集 合Ψ中各键的值训练所述神经网络， 包括： 判断字典Ω中的每一键m的图片集合中局部特征图像的数量是否大于给定的第三阈 值， 若是， 则认为键m的特征点具有稳定可靠性， 并将键m的键值对添加到训练集合Ψ； 所述 键值对包括键及该键的图片集 合； m为字典 Ω中键的序号； 若训练集合Ψ中 图片数量超过给定的第四阈值， 则对训练集合中的各图片进行干扰增 强处理， 获取最终的训练集 合， 并采用最终的训练集 合训练所述神经网络 。 2.根据权利要求1所述的方法， 其特 征在于， 所述A 20包括： 在神经网络 未训练完成时， 将Фi中特征点的描 述子与上一相邻图像帧的Фi‑1中特征点 的描述子进行匹配， 将描述子的相似度作为与预设条件判断的依据； 在神经网络训练完成时， 将当前图像帧的局部特征图像输入训练 的神经网络进行正向 计算， 得到当前图像 帧的优化描述子， 将上一相邻图像 帧的局部特征图像输入训练的神经 网络进行正向计算， 得到上一相邻图像帧的优化描述子， 以及权　利　要　求　书 1/3 页 2 CN 114677444 B 2将Фi中特征点的优化描述子与上一相邻图像帧的Фi‑1中特征点的优化描述子进行匹 配， 将优化描述子的相似度作为与预设条件判断的依据。 3.根据权利要求1所述的方法， 其特 征在于， 所述A3 0包括： 如果当前图像帧中的特征点 ， 上一图像帧中的特征点 且两个特征点的 描述子的相似度信息满足预设条件， 且 所属的局部特征图像属于字典Ω中某个键的图 片集合， 则将 所属的局部特 征图像加入该图片集 合； 如果当前图像帧中 的特征点 ， 上一图像帧中的特征点 且两个特征 点的描述子的相似度信息满足预设条件， 且 所属的局部特征图像不属于字典Ω中任意 键的图片集合， 则向字典 Ω中添加一个新的键， 同时将 各自所属的局部特征图像组 成一个新的键的图片集 合。 4.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 在当前图像帧i处理之后， 查看字典Ω中每一键k， 将键k的图片集合中最后更新的局部 特征图像的序号s与当前图像帧i作比较； 若i ‑s大于给定的第二阈值， 则判断： 该键k的图片集合中局部特征图像的数量大于给定的第三阈值， 则， 认为键k所属的特 征点具有稳定可靠性； k 为字典Ω中键的序号； 并将该键k的键值对添加到训练集 合Ψ； 同时在视 觉地图中更新相机位置 轨迹； 若i‑s大于给定的第二阈值， 则判断键k所属的特征点不具有稳定可靠性， 在字典Ω中 删除键k及键k的图片集 合， 以及不在视 觉地图中更新相机位置 。 5.根据权利要求1所述的方法， 其特征在于， 所述对训练集合中的各图片进行干扰增强 处理， 包括： 基于随机生成的一系列图像增强系数， 对各图片的所有像素点值进行线性或非线性的 变化， 使得图片整体 变亮或者变暗， 进 而生成一系列新的局部特 征图片； 和/或， 针对每一图片的旋转中心轴， 将各图片以随机给定的旋转角度进行旋转， 生成 一系列新的局部特 征图片。 6.根据权利要求1所述的方法， 其特征在于， 并采用最终的训练集合训练所述神经网 络， 包括： 神经网络的训练过程的目标损失函数， 定义如下： 对于任意两个训练样本， 假设其输出 的优化描述子分别为A,B,  其中A,B为n维向量， 即A =[A1, A2…An],B=[B1, B2…Bn], 则优化 描述子之差 定义为： i取1至n中的自然数； 训练过程中， 神经网络中权 重的调整与优化目标有以下两个： 如果A,B为同一键的两张图像 计算得到的优化描述子， 则需要最大化d值； d为实数； 如果A,B为 不同键的两张图像 计算得到的优化描述子， 则需要最小化d值。权　利　要　求　书 2/3 页 3 CN 114677444 B 3