(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210731168.4 (22)申请日 2022.06.24 (71)申请人 阿依瓦 （北京） 技 术有限公司 地址 100085 北京市海淀区上地信息路12 号1幢4层A409室 (72)发明人 肖东晋　张立群　刘顺宗　 (74)专利代理 机构 北京华专卓 海知识产权代理 事务所(普通 合伙) 11664 专利代理师 王一 (51)Int.Cl. G06F 16/53(2019.01) G06F 16/583(2019.01) G06V 20/64(2022.01) G06V 10/74(2022.01) (54)发明名称 3D对象的姿态估计方法、 装置、 电子设备及 存储介质 (57)摘要 本公开的实施例提供了一种3D对象的姿态 估计方法、 装置、 电子设备及存储介质， 涉及姿态 估计技术领域领域。 所述方法包括： 拍摄所述3D 对象的2D图像， 在预先构建的3D 对象图片库中进 行检索； 根据所述2D图像与检索得到的图像， 计 算所述2D图像的拍摄相机与检索所得图像的虚 拟拍摄相机之间的相对姿态； 根据检索得到的 图 像的拍摄信息和两拍摄相机的相对姿态， 估计所 述3D对象与所述2D图像拍摄相机的相对姿态。 以 此方式， 可以显著提升当3D 对象因尺寸过大等原 因导致全景无法拍摄时的物件六自由度姿态估 计的效能与适用性。 权利要求书1页 说明书7页 附图2页 CN 115033723 A 2022.09.09 CN 115033723 A 1.一种3D对象的姿态估计方法， 其特 征在于， 包括： 拍摄所述3D对象的2D图像， 在预 先构建的3D对象图片库中进行检索； 根据所述2D图像与检索得到的图像， 计算所述2D图像的拍摄相机与检索所得图像的虚 拟拍摄相机之间的相对姿态； 根据检索得到的图像的拍摄信息和两拍摄相机的相对姿态， 估计所述3D对象与所述2D 图像拍摄相机的相对姿态。 2.根据权利要求1所述的方法， 其特征在于， 所述3D对象图片库是通过以下方法预先构 建的： 对所述3D对象的3D模型进行虚拟拍摄， 根据虚拟拍摄所得的图像构建3D对象图片库， 所述3D对象图片库中还 对应存储有所述图像的拍摄信息 。 3.根据权利要求2所述的方法， 其特征在于， 所述对所述3D对象的3D模型进行虚拟拍摄 包括： 从不同距离和/或角度下对待估计3D对象的模型进行虚拟拍摄。 4.根据权利要求1所述的方法， 其特征在于， 所述计算所述2D图像的拍摄相机与检索所 得图像的虚拟拍摄相机之间的相对姿态包括： 将所述2D照片与虚拟照片提取相同和/或相似特征， 根据相同和/或相似特征计算2D照 片与虚拟照片对应的两拍摄相机相对姿态。 5.根据权利要求4所述的方法， 其特征在于， 若相同和/或相似特征个数小于阈值， 则认 定两拍摄相机姿态不同， 根据相同和/或相似特 征计算两拍摄相机相对姿态。 6.根据权利要求5所述的方法， 其特征在于， 所述检索得到的图像的拍摄信 息包括虚拟 拍摄相机与3D模型之间的六自由度相对姿态； 所述两拍摄相机的相对姿态包括两拍摄相机间的相对位移和/或角度。 7.根据权利要求6所述的方法， 其特征在于， 所述估计所述3D对象与所述2D图像拍摄相 机的相对姿态包括： 根据检索得到的图像的拍摄信息和两拍摄相机间的相对位移和/或角度， 估计所述3D 对象与所述2D图像拍摄相机的相对姿态。 8.一种3D对象的姿态估计装置， 其特 征在于， 包括： 检索单元， 用于拍摄所述3D对象的2D图像， 在预 先构建的3D对象图片库中进行检索； 比较单元， 用于根据所述2D图像与检索得到的图像， 计算所述2D图像的拍摄相机与检 索所得图像的虚拟拍摄相机之间的相对姿态； 计算单元， 用于根据检索得到的图像的拍摄信息和两拍摄相机的相对姿态， 估计所述 3D对象相对于所述2D图像拍摄相机的相对姿态。 9.一种电子设备， 包括： 至少一个处理器； 以及与 所述至少一个处理器通信连接的存储 器； 其特征在于， 所述存储器存储有 可被所述至少一个处理器执行的指令， 所述指令被所述 至少一个处理器执行， 以使所述至少一个处理器能够执行权利要求1 ‑7中任一项所述的方 法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机指令用于使所述计算机执行根 据权利要求1 ‑7中任一项所述的方法。权　利　要　求　书 1/1 页 2 CN 115033723 A 23D对象的姿态估计方 法、 装置、 电子设备及存储介质 技术领域 [0001]本公开涉及姿态估计技术领域领域， 尤其提供一种3D对象的姿态估计方法、 装置、 电子设备及存 储介质。 背景技术 [0002]近年来， 计算机视觉和AR技术取得了长足的发展， 把某个实际物件的3D模型以及 该物件在现实场景中的2D图像作为输入， 利用技术手段估算并输出该对象的六自由度姿态 (包括三维旋转角度以及三维位移矢量)， 是众多计算机视觉应用(特别是工业场景AR)的核 心， 受到了广泛关注。 [0003]目前的六自由度姿态估计技术， 大多针对物理尺度较小， 容易获取2D全景的物件。 首先现场拍摄的物件2D图像包含物件的完整 形态， 通过不同的技术途径对物件2D图像进 行 分析并与物件的3D模 型作交叉比对， 获取物件的六自由度姿态。 但是， 当物件难以获取2D图 像全景时， 现场拍摄的物件2D图像只能包含物件某个局部的形态， 无法实现对物件的完整 覆盖， 那么现有的技术 都会遇到本质困难， 无法输出正确结果。 原因在于 现有技术基本都是 以物件3D模 型与物件2D图像之 间的全景对应作为基础。 如果2D图像只能包含物件的一个局 部， 则全景对应无从构建， 造成结果输出失败。 发明内容 [0004]本公开提供了一种3D对象的姿态估计方法、 装置、 电子设备及存 储介质。 [0005]根据本公开的第一方面， 提供了一种3D对象的姿态估计方法， 包括： [0006]拍摄所述3D对象的2D图像， 在预 先构建的3D对象图片库中进行检索； [0007]根据所述2D图像与检索得到的图像， 计算所述2D图像的拍摄相机与检索所得图像 的虚拟拍摄相机之间的相对姿态； [0008]根据检索得到的图像的拍摄信息和两拍摄相机的相对姿态， 估计所述3D对象与所 述2D图像拍摄相机的相对姿态。 [0009]在第一方面的一些实现方式 中， 所述3D对象图片库是通过以下 方法预先构建的： [0010]对所述3D对象的3D模型进行虚拟拍摄， 根据虚拟拍摄所得的图像构建3D对象图片 库， 所述3D对象图片库中还 对应存储有所述图像的拍摄信息 。 [0011]在第一方面的一些实现方式 中， 所述对所述3D对象的3D模型进行虚拟拍摄包括： [0012]从不同距离和/或角度下对待估计3D对象的模型进行虚拟拍摄。 [0013]在第一方面的一些实现方式中， 所述计算所述2D图像的拍摄相机与检索所得图像 的虚拟拍摄相机之间的相对姿态包括： [0014]将所述2D照片与虚拟照片 提取相同和/或相似特征， 根据相同和/或相似特征计算 2D照片与虚拟照片对应的两拍摄相机相对姿态。 [0015]在第一方面的一些实现方式中， 若相同和/或相似特征个数小于阈值， 则认定两拍 摄相机姿态不同， 根据相同和/或相似特 征计算两拍摄相机相对姿态。说　明　书 1/7 页 3 CN 115033723 A 3