(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210695220.5 (22)申请日 2022.06.17 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 王香伟　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 专利代理师 吴晓兵 (51)Int.Cl. G06V 10/40(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/74(2022.01) G06V 10/46(2022.01)G06F 16/29(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 图像处理方法、 模 型的训练方法、 装置、 设备 及介质 (57)摘要 本公开提供了图像处理方法、 图神经模型的 训练方法、 装置、 电子设备、 存储介质以及程序产 品， 涉及人工智 能技术领域， 尤其涉及计算机视 觉、 增强现实、 虚拟现实等技术领域， 可应用于三 维感知、 3D视觉等场景。 具体实现方案为： 对待处 理图像进行特征提取， 得到多个二维特征点向 量； 确定三维空间中的多个三维特征点的三维特 征点向量， 得到多个三维特征点向量； 以及对多 个二维特征点向量和多个三维特征点向量进行 注意力处理， 得到匹配结果， 注意力处理依次包 括自注意力处 理和交叉注意力处 理。 权利要求书5页 说明书17页 附图8页 CN 114998600 A 2022.09.02 CN 114998600 A 1.一种图像处 理方法， 包括： 对待处理图像进行 特征提取， 得到多个二维特 征点向量； 确定三维空间中的多个三维特征点的三维特征点向量， 得到多个三维特征点向量； 以 及 对所述多个二维特征点向量和所述多个三维特征点向量进行注意力处理， 得到匹配结 果， 其中， 所述注意力处 理依次包括自注意力处 理和交叉注意力处 理。 2.根据权利要求1所述的方法， 其中， 所述确定三维空间中的多个三维特征点的三维特 征点向量， 得到多个三维特 征点向量， 包括： 确定所述多个三维特 征点的观测稳定性， 得到多个观测稳定性结果； 以及 基于所述多个观测稳定性结果， 确定所述多个三维特征点的三维特征点向量， 得到所 述多个三维特 征点向量。 3.根据权利要求2所述的方法， 其中， 所述确定所述多个三维特征点的观测稳定性， 得 到多个观测稳定性结果， 包括： 针对所述多个三维特 征点中的每 个三维特 征点， 确定与所述三维特征点相匹配的二维描述符 队列， 其中， 所述二维描述符 队列包括多 个基准二 维特征点各自的描述符， 所述多个基准二维特征点中的每个基准二 维特征点包括 用于生成所述 三维特征点的特 征点； 确定所述 二维描述符队列的描述符方差； 以及 基于所述描述符方差， 确定所述三维特征点的观测稳定性， 得到所述三维特征点的观 测稳定性结果。 4.根据权利要求2或3所述的方法， 其中， 所述基于所述多个观测稳定性结果， 确定所述 多个三维特 征点的三维特 征点向量， 得到所述多个三维特 征点向量， 包括： 针对所述多个三维特 征点中的每 个三维特 征点， 在确定与所述三维特征点相匹配的观测稳定性结果表征所述三维特征点为观测稳定 特征点的情况下， 基于预定的稳定观测角位信息、 所述描述符队列的均值和所述三维特征 点的位置信息， 确定所述 三维特征点的三维特 征点向量； 以及 在确定与所述三维特征点相匹配的观测稳定性结果表征所述三维特征点为观测特异 特征点的情况下， 基于所述描述符队列、 与所述描述符队列相匹配的观测角位队列信息和 所述三维特征点的位置信息， 确定所述 三维特征点的三维特 征点向量队列。 5.根据权利要求4所述的方法， 其中， 所述基于所述描述符 队列、 与所述描述符 队列相 匹配的观测角位队列信息和所述三维特征点的位置信息， 确定所述三维特征点的三 维特征 点向量队列， 包括： 针对所述描述符队列中的每 个描述符， 从与所述描述符 队列相匹配的观测角位队列信息中确定与所述描述符相匹配的观测 角位信息； 对所述与所述描述符相匹配的观测角位信息进行编码， 得到第一角位向量； 对所述三维特征点的位置信息进行编码， 得到第一 三维特征点位置向量； 以及 根据所述描述符、 所述第一角位向量和所述第一三维特征点位置向量， 确定所述描述 符的三维特 征点向量。权　利　要　求　书 1/5 页 2 CN 114998600 A 26.根据权利要求4或5所述的方法， 其中， 所述基于预定的稳定观测角位信息、 所述描述 符队列的均值和所述三维特征点的位置信息， 确定所述三维特征点的三维特征点向量， 包 括： 将所述预定的稳定观测角位信息进行编码， 得到第二角位向量； 将所述三维特征点的位置信息进行编码， 得到第二 三维特征点位置向量； 以及 根据所述描述符队列的均值、 所述第二角位向量和所述第二三维特征点位置向量， 得 到所述三维特征点向量。 7.根据权利要求4所述的方法， 其中， 所述基于所述多个观测稳定性结果， 确定所述多 个三维特 征点的三维特 征点向量， 得到多个三维特 征点向量， 还 包括： 确定与所述描述符队列相匹配的观测角位队列信息； 以及 基于所述观测角位队列信 息， 确定所述预定的稳定观测角位信 息， 其中， 所述预定的稳 定观测角位信息与所述观测角位队列信息中的任一观测角位信息不同。 8.根据权利要求1至7中任一项所述的方法， 其中， 所述对所述多个二维特征点向量与 所述多个三维特 征点向量进行注意力处 理， 得到匹配结果， 包括： 对所述多个二维特征点向量与所述多个三维特征点向量进行多轮注意力处理， 得到与 所述待处理图像相匹配的第一匹配描述矩阵， 和与所述多个三维特征点相匹配的第二匹配 描述矩阵； 基于所述第一匹配描述矩阵和所述第二匹配描述矩阵， 得到匹配得分矩阵； 以及 基于所述匹配得分矩阵， 得到所述匹配结果。 9.根据权利要求8所述的方法， 其中， 每轮所述注意力处理包括自注意力处理和交叉注 意力处理， 所述对所述多个二维特征点向量与所述多个三维特征点向量进 行多轮注意力处 理， 得到与所述待处理图像相匹配的第一匹配描述矩阵， 和与所述多个三维特征点相匹配 的第二匹配描述矩阵， 包括： 将第i‑1轮经所述交叉注意力处理后得到的二维匹配描述矩阵进行第i轮自注意力处 理， 得到第i轮的初始二维匹配描述矩阵， 其中， i大于或者 等于2； 将第i‑1轮经所述交叉注意力处理后得到的三维匹配描述矩阵进行第i轮自注意力处 理， 得到第i轮的初始三维匹配描述矩阵； 将所述第 i轮的初始二维匹配描述矩阵和所述第 i轮的初始三维匹配描述矩阵进行第i 轮交叉注意力处 理， 得到第i轮的二维匹配描述矩阵和第i轮的三维匹配描述矩阵； 以及 在满足预设条件的情况下， 将所述第i轮的二维匹配描述矩阵作为与所述待处理图像 相匹配的第一匹配描述矩阵， 将所述第i轮的三维匹配描述矩阵作为与所述多个三维特征 点相匹配的第二匹配描述矩阵。 10.根据权利要求1至9中任一项所述的方法， 其中， 所述对待处理图像进行特征提取， 得到多个二维特 征点向量， 包括： 对所述待处理图像进行特征提取， 得到多个二维特征点的位置信 息和多个二维特征点 的描述符； 对所述多个二维特征点中的二维特征点进行编码， 得到多个二维特征点位置向量； 以 及 根据所述二维特征点位置向量与 所述多个二维特征点的描述符， 得到所述多个二维特权　利　要　求　书 2/5 页 3 CN 114998600 A 3