(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211336530.4 (22)申请日 2022.10.28 (71)申请人 云南大学 地址 650091 云南省昆明市翠湖北路2号 (72)发明人 蔡莉　王继全　刘俊晖　杨云　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 专利代理师 贾瑞华 (51)Int.Cl. G06V 20/64(2022.01) G06V 10/26(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/77(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/08(2006.01) (54)发明名称 基于多分辨率双特征折叠的点云补全方法 及系统 (57)摘要 本发明涉及一种基于多分辨率双特征折叠 的点云补全方法及系统。 该方法包括： 向点云补 全网络中输入残缺点云； 所述点 云补全网络为一 个多分辨率输入， 多级输出的金字塔网络模型， 所述点云补全网络包括多分辨率编码器、 特征折 叠层以及解码器； 利用所述多分辨率编码器提取 所述残缺点 云的全局特征以及局部特征； 所述多 分辨率编码器包括全局特征提取器以及局部残 差特征提取器； 利用所述特征折叠层融合所述全 局特征以及所述局部特征， 生成中间点特征； 利 用所述解码器解码所述中间点特征， 生成完整点 云。 本发明优化了以往的方法在点云补全的局部 细节提取和生成方面的不足。 权利要求书2页 说明书9页 附图6页 CN 115497085 A 2022.12.20 CN 115497085 A 1.一种基于多分辨 率双特征折叠的点云补全方法， 其特 征在于， 包括： 向点云补全网络中输入残缺点云； 所述点云补全网络为一个多分辨率输入， 多级输出 的金字塔网络模型， 所述 点云补全网络包括多分辨 率编码器、 特 征折叠层以及解码器； 利用所述多分辨率编码器提取所述残缺点云的全局特征以及局部特征； 所述多分辨率 编码器包括全局特征提取器以及局部残差特征提取器； 所述全局特征提取器采用多分辨率 点云全局特 征提取方法， 所述局部残差特 征提取器采用点云切分残差特 征提取方法； 利用所述特 征折叠层融合所述全局特 征以及所述局部特 征， 生成中间点特 征； 利用所述 解码器解码所述中间点特 征， 生成完整点云。 2.根据权利要求1所述的基于多分辨率双特征折叠的点云补全方法， 其特征在于， 所述 向点云补全网络中输入残缺 点云， 之后还 包括： 对所述残缺点云使用最远点采样算法进行两次下采样分别得到三个不同分辨率的残 缺点云； 将所述残缺 点云平均分割为四个点云块。 3.根据权利要求2所述的基于多分辨率双特征折叠的点云补全方法， 其特征在于， 所述 利用所述多分辨 率编码器提取 所述残缺 点云的全局特 征以及局部特 征， 具体包括： 将三个不同分辨 率的残缺 点云输入至所述全局特 征提取器， 提取全局特 征； 将所述点云块输入至所述局部残差特 征提取器， 提取局部特 征。 4.根据权利要求3所述的基于多分辨率双特征折叠的点云补全方法， 其特征在于， 所述 将三个不同分辨 率的残缺 点云输入至所述全局特 征提取器， 提取全局特 征， 具体包括： 分别将三个不同分辨率的残缺点云通过一个融合多层感知机， 将每个残缺点云分别映 射到六个维度； 将每个所述维度的特征作为局部上下文融合到最终的特征向量中， 生成融合后的特 征； 将所述融合后的特 征通过一维卷积进行降维得到全局特 征。 5.根据权利要求3所述的基于多分辨率双特征折叠的点云补全方法， 其特征在于， 所述 将所述点云块输入至所述局部残差特 征提取器， 提取局部特 征， 具体包括： 利用一个多层感知机将所述 点云块从数据转 化为特征矩阵； 利用3*1的卷积核提取所述特征矩阵的深层特征， 并进行三次升维操作， 得到16384维 的特征； 将所述16 384维的特 征通过线性层输出2048维的局部特 征。 6.根据权利要求3所述的基于多分辨率双特征折叠的点云补全方法， 其特征在于， 所述 利用所述特 征折叠层融合所述全局特 征以及所述局部特 征， 生成中间点特 征， 具体包括： 将所述全局特征以及所述局部特征映射到多个4*4的2D网格上， 得到所述全局特征对 应的网格特 征向量以及所述局部特 征对应的网格特 征向量； 对两个所述网格特 征向量进行 扭曲变形， 并连接 两个变形后的网格特 征向量； 将连接后的网格特 征向量通过一个多层感知机， 得到折叠后的中间点特 征。 7.根据权利要求3所述的基于多分辨率双特征折叠的点云补全方法， 其特征在于， 所述 利用所述 解码器解码所述中间点特 征， 生成完整点云， 具体包括： 将所述中间点特 征通过全连接层生成三个原 始点云向量；权　利　要　求　书 1/2 页 2 CN 115497085 A 2将三个所述原 始点云向量 通过一个多层感知机生成三个不同密度的粗略点云； 从第一个粗略点云开始， 将所述第 一个粗略点云中经过折叠的每个点加入到第 二个粗 略点云中， 形成新的第二个粗略点云； 将所述新的第 二个粗略点云中经过折叠的每个点加入到第 三个粗略点云中， 生成完整 点云。 8.一种基于多分辨 率双特征折叠的点云补全系统， 其特 征在于， 包括： 残缺点云输入模块， 用于向点云补全网络中输入残缺点云； 所述点云补全网络为一个 多分辨率输入， 多级输出的金字塔网络模型， 所述点云补 全网络包括多分辨率编 码器、 特征 折叠层以及解码器； 全局特征以及局部特征提取模块， 用于利用所述多分辨率编码器提取所述残缺点云的 全局特征以及局部特征； 所述多分辨率编 码器包括全局特征提取器以及局部残差特征提取 器； 所述全局特征提取器采用多分辨率点云全局特征提取方法， 所述局部残差特征提取器 采用点云切分残差特 征提取方法； 中间点特征生成模块， 用于利用所述特征折叠层融合所述全局特征以及所述局部特 征， 生成中间点特 征； 完整点云生成模块， 用于利用所述 解码器解码所述中间点特 征， 生成完整点云。权　利　要　求　书 2/2 页 3 CN 115497085 A 3