(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211038612.0 (22)申请日 2022.08.26 (71)申请人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山 街道八一路2 99号 (72)发明人 张洪艳　刘宇雁　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 王琪 (51)Int.Cl. G06V 10/75(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/46(2022.01) G06V 10/36(2022.01)G06V 10/82(2022.01) G06V 20/13(2022.01) (54)发明名称 一种基于全局-局部一致性网络的图像特征 匹配方法 (57)摘要 本发明涉及一种基于全局 ‑局部一致性网络 的图像特征匹配方法， 该方法包括获取参考图像 和感知图像 之间的假定匹配点集； 计算假定匹配 点集之间的向量长度和角度， 并生成一个三维的 运动向量分布图； 利用全局变换一致性模块对运 动向量分布图进行粗分类得到纯净的内点集； 利 用内点集作为假定匹配点集的邻域， 为每个特征 点构建邻域图； 利用局部邻域一致性模块对邻域 图进行相似度评估， 获得优化后的对应关系。 本 发明可以在不依赖于任何预定义变换模型的情 况下， 处理各种各样的变换模式(刚性和非刚 性)， 有效地过滤掉错误的匹配， 并完全保留正确 的对应关系。 权利要求书2页 说明书5页 附图2页 CN 115439671 A 2022.12.06 CN 115439671 A 1.一种基于全局 ‑局部一致性网络的图像特 征匹配方法， 其特 征在于， 包括以下步骤： 步骤1， 利用特 征点提取算法获得图像之间的假定匹配点 集； 步骤2， 对生成的假定匹配点集， 计算点集之间的向量长度和角度， 并生成一个三维的 运动向量分布图D； 步骤3， 基于全局一致性原理对步骤2中的运动向量分布图进行粗分类， 不仅要剔除冗 余点， 同时剔除和冗余 点黏连的内点， 得到纯 净的内点 集； 步骤4， 利用步骤3中获得的内点集作为假定匹配点集的邻域， 为每个特征点构建邻域 图G； 步骤5， 基于局部领域 一致性原理对步骤4中的邻域图进行 特征点相似度评估； 步骤6， 利用步骤5中得到的特 征点的相似值分布， 获得优化后的对应关系。 2.根据权利要求1所述的一种基于全局 ‑局部一致性网络的图像特征匹配方法， 其特征 在于： 步骤1中， 考虑一个图像对， 参考图像和感知图像， 采用现有的特征检测和描述算法 SIFT和最近邻匹配N NDR来获得假定匹配点 集。 3.根据权利要求1所述的基于全局 ‑局部一致性网络的图像特征匹配方法， 其特征在 于： 步骤2中利用图像之间的全局变换 连续性和一致性获得三维运动向量分布图。 4.根据权利要求3所述的基于全局 ‑局部一致性网络的图像特征匹配方法， 其特征在 于： 步骤2中生成三 维运动向量分布图包括以下步骤： 包括以下步骤： 对于n对假定对应点集 其中 分别表示两个对应 特征点的坐标， 我们让 表示点对之间运动向量的角度， 其中 为点集S的范围， max( ·)和min(·)分别表示集合中的最大值和最 小值， 同时 表示点对 之间运动向量的长度。 随后， 我们可以将假 定匹配点集转换为一个带有噪声的三维的运动向量分布图D＝{(θ,l,p )}， 其中p＝{1, 2,...,n}。 5.根据权利要求1所述的基于全局 ‑局部一致性网络的图像特征匹配方法， 其特征在 于： 步骤3中， 利用全局变换一致性模块对步骤2中的运动向量分布图进 行粗分类， 得到纯净 的内点集； 全局变换一 致性模块具体细节如下， 对步骤2中获得的三维的运动向量分布图D中的每个点Di， 利用KNN来搜寻每个点的k个 最近邻 得到有向 图 代表每个点的局部拓扑结构； 接下来， 使用一个共享的多层感知机MLP来编码图特征f， 并且对每个顶点的图特征进行聚合操作， 得到 其中， 为过滤器的权重， 由MLP训练得到， M表示过滤器的个数， m 取1—M； ReLU为激活函数， 整个MLP共有5个卷积层， 在每一层输出的特征空间中重新计算最 近邻来更新有向图g， g为gi的集合， 使得感受野和的运动向量分布图D的直径一样大。权　利　要　求　书 1/2 页 2 CN 115439671 A 26.根据权利要求1所述的基于全局 ‑局部一致性网络的图像特征匹配方法， 其特征在 于： 步骤4中的具体实现方式如下： 对于假定匹配点 集Z， 首先对Z的空间坐标进行归一 化处理， 得到归一 化之后的点 集Z’： 随后， 利用步骤3中得到的内点 集为Z’寻找k个最近邻， 最后特 征点的邻域图表示 为： 其中， t为Z ’邻点。 7.根据权利要求1所述的基于全局 ‑局部一致性网络的图像特征匹配方法， 其特征在 于： 步骤5中， 利用 局部邻域一致性模块对步骤4中的邻域图G进行相似度评估， 局部邻域一 致性模块包 含一个编码器模块对邻域图进行编码， 得到特 征点的邻域表征： Γi＝Encoder(Gi) 其中， i为特征点的序号， 随后， 利用注意力机制中的自注意力和交叉注意力对邻域表 征进行相似度评估： 其中， 在自注意力机制情况下， Qi,Ki,Vi的值都为 在交叉注意力机制情况下， Qi为 Ki,Vi的值为 表示尺度因子； 自注意力机制和交叉注意力机制分别迭代计算L 次， 计算两个特 征点表征的欧式距离： 最后选取k条边中的最小距离作为相似值： 8.根据权利要求1所述的基于全局 ‑局部一致性网络的图像特征匹配方法， 其特征在 于： 步骤6的具体实现方式为： 利用步骤1 ‑5评估假定匹配点集的相似度， 随后根据相似值的 分布情况， 剔除相似度低的点 集， 获得最后的正确的匹配点 集。权　利　要　求　书 2/2 页 3 CN 115439671 A 3