(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210942621.6 (22)申请日 2022.08.08 (71)申请人 中国计量大 学 地址 310018 浙江省杭州市下沙高教园区 学源街258号 (72)发明人 吴慧秀　郑恩辉　阙建飞　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 林超 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/11(2017.01) G06T 7/162(2017.01) G06V 10/74(2022.01) (54)发明名称 一种基于自适应四叉树分块的图像回环检 测方法 (57)摘要 本发明公开了一种基于自适应四叉树分块 的图像回环检测方法。 方法为： 首先实时采集图 像作为关键帧， 采用自适应四叉树分块对当前关 键帧进行区域划分， 且将所有历史关键帧均按当 前关键帧的方式重新进行区域划分； 计算当前关 键帧各个区域与所有历史关键帧相对应区域的 相似度， 确定回环候选关键帧， 并计算当前关键 帧分别和所有回环候选关键帧之间的均值图像 相似度、 欧氏距离和旋转角度差值以及当前关键 帧和回环 候选关键帧各自的位姿； 将均值图像相 似度、 欧氏距离和旋转角度差值 分别与各自相应 阈值进行比较， 进行回环检测。 本发明使得关键 帧的区域特征分布更加均匀， 提高图像相似度的 计算精度， 提高了回环检测的精度。 权利要求书3页 说明书7页 附图2页 CN 115359120 A 2022.11.18 CN 115359120 A 1.一种基于自适应四叉树分块的图像回环检测方法， 其特 征在于： 方法包括以下步骤： 1)用单目相机实时采集图像， 每间隔60帧图像随机选取1帧图像作为关键帧， 采用自适 应四叉树分块对当前关键帧进行区域划分， 在当前关键帧之前的关键帧均作为历史关键 帧， 且将所有历史关键帧均按当前关键帧的区域划分方式重新进行区域划分； 2)计算当前关键帧各个区域分别与所有历史关键帧相对应区域之间的相似度， 选取分 别与当前关键帧各个区域相似度最大的历史关键帧作为回环候选关键帧， 并计算当前关键 帧分别和所有回环候选关键帧之间的均值图像相似度； 3)分别计算当前关键帧和所有回环候选关键帧的位姿， 然后根据位姿计算当前关键帧 和所有回环候选关键帧之间的欧氏距离以及旋转角度差值； 4)将获得的均值图像相似度、 欧氏距离和旋转角度差值分别与各自的阈值进行比较， 判断是否出现回环， 完成回环检测。 2.根据权利要求1所述的一种基于自适应四叉树分块的图像回环检测方法， 其特征在 于： 所述步骤1)中， 采用自适应四叉树分块对当前关键帧进行区域划分具体为： 步骤S1.1： 以当前关键帧的几何中心点为初始节点， 过初始节点分别沿着平行于当前 关键帧相 邻两条边的方向对当前关键帧进 行划分， 将当前关键帧平均划分成4个区域， 并设 定区域的特 征点数阈值 为T； 步骤S1.2： 对划分出来的每一个区域进行FAST特征点检测， 将每个区域内的特征点数 与特征点数阈值T 进行比较； 步骤S1.3： 根据当前关键帧的各区域内的特 征点数进行如下判断： 若区域内的特征点数小于或等于特征点数阈值T， 则对特征点数小于或等于特征点数 阈值T的区域停止划分， 然后跳转至步骤S1.5； 若区域内的特征点数大于特征点数阈值T， 则将特征点数大于特征点数阈值T的区域再 平均划分成4个区域， 然后跳转至步骤S1.4； 步骤S1.4： 重复步骤S1.2和S1.3； 步骤S1.5： 当所有区域停止划分， 计算当前关键帧划分的总区域数量M， 完成区域划分。 3.根据权利要求2所述的一种基于自适应四叉树分块的图像回环检测方法， 其特征在 于： 所述步骤S1.3中对四叉树设置一个深度阈值D来限制区域划分的最大深度， 且当区域的 划分深度等于或大于深度阈值D时， 则停止划分。 4.根据权利要求1所述的一种基于自适应四叉树分块的图像回环检测方法， 其特征在 于： 所述步骤2)具体为： 步骤S2.1： 计算当前关键帧每个区域的词袋向量， 所述词袋向量具体根据以下公式计 算： 其中， 为当前关键帧第k个区域的词袋向量， k的取值范围为{1,...,M}， M为当前关键 帧分裂出来的所有区域总数， 为第k个区域内的第i类特征的数量， i的取值范围为 {1,...,N}， N为特征的种类数， 为当前关键帧第k个区域的第i类特 征的词袋权 重； 所述词袋权 重 具体根据以下公式计算：权　利　要　求　书 1/3 页 2 CN 115359120 A 2其中， nk为当前关键帧第k个区域的特 征点的数量； 步骤S2.2： 根据步骤S2.1获得的当前关键帧第k个区域的词袋向量 计算当前关键帧的 第k个区域分别与每 个历史关键帧的第k个区域之间的图像相似度， 具体 计算公式为： 其中， 为当前关键帧的第k个区域对应的词袋向量的第i个分量， 为第j个历史关键 帧的第k个区域对应的词袋向量， 为第j个历史关键帧的第 k个区域对应的词袋向量 的 第i个分量， 为当前关键帧第k个区域与第j个历史关键帧第k个区域之间的图像相 似度； 步骤S2.3： 选取与当前帧的第k个区域图像相似度最大的历史关键帧作为回环候选关 键帧； 步骤S2.4： 计算当前关键帧分别和所有回环候选关键帧之间的均值图像相似度， 具体 根据以下公式计算： 其中， Sh为当前关键帧和第h个回环候选关键帧之间的均值图像相似度， 为第h个回环 候选关键帧的第k个区域对应的词袋向量， h的取值范围为{1,. ..,M}。 5.根据权利要求1所述的一种基于自适应四叉树分块的图像回环检测方法， 其特征在 于： 所述步骤3)中计算当前关键帧和回环候选关键帧的位姿具体为： 首先对当前关键帧进行位姿确定， 具体为： 提取分别与当前关键帧相邻的两帧关键帧 的特征点以及当前关键帧的特征点， 然后对提取到的特征点进 行位姿确定， 具体为： 根据提 取到的特征点进行特征匹配得到匹配对， 将匹配对代入对极约束求解得到基础矩阵， 对基 础矩阵进行分解后得到描述相机变化的旋转矩阵Rc(rc,pc,qc)和平移向量Tc(xc,yc)， 结合 三角测量恢复深度zc对最小重投影误差进行优化得到当前关键帧的位姿为Pc(xc,yc,zc,rc, pc,qc)； 然后利用对当前关键帧同样的方式对第h个回环候选关键帧进行位姿确定， 得到第h个 回环候选关键帧的位姿为Ph(xh,yh,zh,rh,ph,qh)； 位姿的确定采用世界坐标系， 坐标系中设定水平方向为x轴、 竖直方向为y轴以及垂直 于x轴和y轴所在平面的方向为z轴； 其中， xc为当前关键帧在x轴方向上距离坐标系原点的距离， yc为当前关键帧在y轴方向 上距离坐标系原点的距离， zc为当前关键帧在z轴方向上距离坐标系原点的距离， rc为当前 关键帧的滚转角数值， pc为当前关键帧的俯仰角数值， qc为当前关键帧的偏航角数值； xh为 回环候选关键帧在x轴方向上距离坐标系原点的距离， yh为回环候选关键帧在y轴方向上距 离坐标系原点的距离， zh为回环候选关键帧在z轴方向上距离坐标系原点的距离， rh为回环权　利　要　求　书 2/3 页 3 CN 115359120 A 3