(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210681346.7 (22)申请日 2022.06.15 (71)申请人 河海大学 地址 210000 江苏省南京市 鼓楼区西康路1 号 (72)发明人 郑毅　 (74)专利代理 机构 南京千语知识产权代理事务 所(普通合伙) 32394 专利代理师 祁文彦 (51)Int.Cl. G06F 30/13(2020.01) G06F 30/27(2020.01) G06V 10/26(2022.01) G06V 10/74(2022.01) G06T 7/70(2017.01)G06T 7/80(2017.01) G06T 5/00(2006.01) G06T 17/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习与三维重建的家具设计 系统 (57)摘要 本发明公开了一种基于深度学习与三维重 建的家具设计系统， 包括： 用户个人家具数据库， 图像输入模块， 图像处理模块， 家具建模模块， 家 具模型设计模块， 服务器存储模块， 本发明通过 一种基于级联R ‑MVSNet深度神经网络的深度估 计方法， 提高三维重建精度， 尤其是提升对弱纹 理物体、 无 纹理物体或者光照条件剧烈变化区域 中的物体的三维重建能力， 同时在神经网络计算 时利用估计深度范围保证深度图的尺度正确； 采 用级联思想以及循环神经网络中的GRU方法， 在 保证精确度的同时降低3D ‑CNN、 GCN等传统神经 网络应用于深度估计与三维重建时过高的硬件 配置需求； 利用SGM算法实现R ‑MVSNet深度神经 网络初始所需输入参数的自动计算， 解决了现有 技术复杂度过高、 效率较低的技 术问题。 权利要求书4页 说明书11页 附图9页 CN 114996814 A 2022.09.02 CN 114996814 A 1.一种基于深度学习与三维重建的家具设计系统， 其特 征在于， 包括： 用户个人家具 数据库， 包括用户个人保存的家具三维模型以及家具装扮； 图像输入 模块， 用户将一组满足要求的图像序列通过图像输入 模块输入本系统； 图像处理模块， 与图像输入模块相连接， 用于接收所述图像输入模块发来的图像序列， 并使用语义分割模型对所述图像序列中的图像依次进 行背景去除处理， 获得去除了背 景的 图像， 并发送给家具建模 模块； 家具建模模块， 与图像处理模块相连接， 用于接收所述图像处理模块发来的若干图像， 然后使用基于多视图几何与深度神经网络的三维重 建技术构建出家具的三维模型， 再将该 家具的三维模型发送给家具模型设计模块； 家具模型设计模块， 与家具建模模块相连， 用于接受所述家具建模模块发送来的家具 三维模型并进行展示， 同时向用户提供调整家具三维模型 的部分参数及装扮的功能， 以及 切割、 增添、 组合家具三维模型的功能， 用户完成设计后， 将家具三维模型发送给服务器存 储模块； 服务器存储模块， 与家具建模模块相连， 用于接收家具建模模块发来的家具三维模型， 并将所述家具三维模型保存至用户个人家具 数据库。 2.根据权利要求1所述的一种基于深度 学习与三维重建的家具设计系统， 其特征在于， 所述通过图像输入模块输入的目标家具的图像序列， 该图像序列中应有一个或多个子图像 序列， 每个子图像序列中， 所有图像的拍摄高度应当尽量相同且在水平方向上相邻的两张 图片应当有重合的目标家具 的细节； 对于所有的图像， 目标家具应当尽可能地在图像中完 整出现且占整张图像的画面比例尽量高。 3.根据权利要求2所述的一种基于深度 学习与三维重建的家具设计系统， 其特征在于， 使用语义分割模型对所述图像序列依次进行背景去除处 理， 具体包括以下步骤： 对于单张图像， 使用基于Mask  R‑CNN深度神经网络的语义分割模型， 检测出该图像中 的所有语义 目标及其对应的像素位置； 在该图像上增添一个图层， 在该图层上将所有目标 对应的像素覆盖上颜色， 用不同的颜色覆盖不同的语义目标； 提取上述图层中面积最大的颜色区域对应的所有原图像的像素， 按照像素在原图像的 位置保存为 一张新的图像， 即为所述去除了背景的图像。 4.根据权利要求3所述的一种基于深度 学习与三维重建的家具设计系统， 其特征在于， 使用基于多视图几何与深度神经网络的三维重 建技术构建出家具的三维模 型， 具体包括以 下步骤： 步骤(1)对所有去除了背景的图像， 采用改进的Harris ‑SIFT算法进行特征点提取与匹 配； 步骤(2)采用SFM方法， 对去除了背景的图像对应的原图像的相机进行自标定， 并求得 目标家具的稀疏点云， 获得相关中间参数； 所述相关中间参数包括相机内部参数、 相机外部 参数、 所有去除了背景 的图像的二维特征与三维空间点的对应信息， 以及三维空间点在世 界坐标系下的坐标、 RGB值与在各个去除了背景的图像上的轨 迹； 步骤(3)对所有 去除了背景的图像进行畸变矫 正； 步骤(4)利用几何与光学算法计算出初始估计深度范围； 步骤(5)利用训练好的一种基于级联R ‑MVSNet深度神经网络， 进行深度预测， 并计算出权　利　要　求　书 1/4 页 2 CN 114996814 A 2所有畸变矫正后的图像对应的深度图， 再利用深度图融合技术进行点云的稠密重建， 获得 稠密点云； 步骤(6)对稠密点云采用泊松表面重建算法进行表面重建， 获得目标家具的三角面片 模型； 步骤(7)对所述 三角面片模型进行纹 理重建， 获得目标家具的三维模型。 5.根据权利要求4所述的一种基于深度 学习与三维重建的家具设计系统， 其特征在于， 步骤(1)中采用改进的Har ris‑SIFT算法进行 特征点提取与匹配的具体步骤为： 步骤(1.1)对彩色的目标家具图像进行 灰度化处 理； 步骤(1.2)采用Harris角点检测算法对灰度化后的目标家具图像进行角点提取,获得 图像特征角点集； 步骤(1.3)采用SIFT算法对灰度化后的目标家具图像中的关键点进行定位， 得到关键 点集； 步骤(1.4)将通过Harris算法获得的图像特征角点集与通过SIFT算法获得的关键点集 合并， 剔除重复点及对尺度变化 不稳定的点,获得 特征点集； 步骤(1.5)确定每 个特征点的主方向， 并为每 个特征点生成128维的特 征描述符； 步骤(1.6)对所有目标家具图像使用上述方法提取 特征点； 步骤(1.7)在所有目标家具图像间两两进行特征点匹配， 得到精确匹配点集， 具体步骤 如下： 计算出两幅图像之间的每 个特征点之间的马氏距离： S＝E{[X‑E(X)][Y‑E(Y)]} 式中， DmXY为特征点之间的马氏距离， X、 Y分别为特征点的坐标向量， S为两组向量的协 方差矩阵， S‑1为协方差逆矩阵， E为均值； 计算出距离后， 在两幅图像中找到马氏距离最近的两个特征点,采用下列公式决定是 否接受该对匹配点： 式中， dm1、 dm2分别为两个特征点的马氏距离， 且dm1<＝dm2； 如果dm1与dm2的比值小于阈 值ε， 则接受该对匹配点， 并将该对匹配点加入初始匹配点集； 在所有图像之间重复以上步 骤， 得到初始匹配点 集； 采用随机抽样一致性RANSAC算法对得到的初始匹配点集进行进一步提纯， 得到精确匹 配点集。 6.根据权利要求5所述的一种基于深度 学习与三维重建的家具设计系统， 其特征在于， 步骤(1.5)的具体做法如下： 首先计算出 所有特征点的邻域范围内像素点的梯度方向和梯度的模值， 可表示 为： 权　利　要　求　书 2/4 页 3 CN 114996814 A 3