(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211066713.9 (22)申请日 2022.09.01 (71)申请人 中国民用航空总局第二研究所 地址 610000 四川省成 都市武侯区二环路 南二段17号 (72)发明人 党婉丽　曹利波　王朝　耿龙　 郑怀宇　牛杰　潘野　陈肇欣　 张涛　游奕　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 刘凤 (51)Int.Cl. G06T 17/00(2006.01) G06T 3/40(2006.01) G06T 7/13(2017.01)G06T 7/80(2017.01) G06V 10/26(2022.01) (54)发明名称 一种三维重建方法、 装置、 电子设备及存储 介质 (57)摘要 本公开提供了一种三维重建方法、 装置、 电 子设备及存储介质， 通过 获取待重建场景中目标 监控图像的直线数据， 根据直线数据寻找消失 点， 确定对应的相机标定参数； 根据检测的直线 集合通过神经网络划分室内几何结构， 将目标监 控图像按照几何结构拆分成多幅图像； 将拆分的 图像投影到新的视平面进行透视变换， 并计算图 像梯度幅值和方向。 对梯度幅值进行非极大值抑 制， 计算两幅图像中相邻 区域的灰度直方图， 采 用双阈值算法对图像进行边缘检测和连接。 构建 待重建场景的三维模型， 根据相机标定参数， 确 定映射图像与三维模型之间的投影矩阵， 根据投 影矩阵， 将图像中的纹理信息投影至三维模型 中。 可以实现精准的实时三维重建， 并且具有较 好的重建视 觉效果。 权利要求书3页 说明书13页 附图5页 CN 115439607 A 2022.12.06 CN 115439607 A 1.一种三维重建方法， 其特 征在于， 包括： 获取待重建场景的目标监控图像， 检测所述目标监控图像的直线数据， 并确定拍摄所 述目标监控图像的相机标定参数； 根据所述直线数据以及所述目标监控图像， 确定划分所述目标监控图像中几何结构的 目标直线集合； 根据所述直线集合， 将所述 目标监控图像按照对应的几何结构拆分成多个 结构图像； 将所述结构图像通过透视变换投影至预设目标视平面， 确定透视变换后的所述结构图 像的像素梯度幅值和方向， 根据预设梯度阈值在透视变换后的所述结构图像中进 行边缘检 测， 确定所述结构图像对应的图像边 缘区域； 确定所述图像边缘区域对应的灰度对比度， 拼接所述灰度对比度之间的差值小于预设 灰度对比度阈值的相邻所述结构图像， 得到结构拼接图像； 构建所述待重建场景对应的三维模型， 根据所述相机标定参数， 确定所述结构拼接 图 像与所述三维模型之间的投影矩阵， 根据所述投影矩阵， 将所述结构拼接图像中的纹理信 息投影至所述 三维模型中。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述直线数据以及所述目标监控 图像， 确定划分所述目标监控图像中几何结构的目标直线集合； 根据所述直线集合， 将所述 目标监控图像按照对应的几何结构拆分成多个结构图像， 具体包括： 将所述直线数据以及所述目标监控图像输入至预先训练好的语义分割网络 中， 针对所 述目标监控图像中的几何结构进行分类， 确定所述目标监控图像对应的掩码矩阵； 将所述直线数据在所述目标监控图像中对应的像素点矩阵， 与所述掩码矩阵求交， 确 定所述目标直线集 合； 按照所述目标直线集合中包括的各个目标直线数据， 将所述目标监控图像拆分成多个 所述结构图像。 3.根据权利要求1所述的方法， 其特征在于， 在所述获取待重建场景的目标监控图像， 检测所述目标监控图像中的直线数据， 并确定拍摄所述目标监控图像的相机标定参数之 后， 所述方法还 包括： 确定所述直线数据中， 每条直线的两个端点对应的齐次坐标， 并根据所述齐次坐标将 对应的所述 直线表示 为齐次坐标向量； 根据所述齐次坐标向量， 确定所述 直线数据对应的目标消失点； 过滤所述直线数据中， 与所述消失点之间对应向量方向之差大于预设阈值的直线。 4.根据权利要求1所述的方法， 其特征在于， 所述预设梯度阈值包括预设梯度高阈值以 及预设梯度低阈值， 基于以下 方法确定所述结构图像对应的图像边 缘区域： 遍历所述结构图像中的全部像素点， 将每个所述像素点对应的所述像素梯度幅值分别 与所述预设梯度高 阈值以及所述预设梯度低阈值进行比较； 若所述像素点对应的所述像素梯度幅值大于所述预设梯度高 阈值， 则保留该像素点； 若所述像素点对应的所述像素梯度幅值小于所述预设梯度低阈值， 则过滤掉该像素 点； 若所述像素点对应的所述像素梯度幅值小于所述预设梯度高阈值且高于所述预设梯 度低阈值， 则 在该像素点的八邻域中寻找是否存在高于所述预设梯度高阈值的所述像素梯权　利　要　求　书 1/3 页 2 CN 115439607 A 2度幅值； 若存在， 则保留该像素点； 若不存在， 则过 滤掉该像素点。 5.根据权利要求1所述的方法， 其特征在于， 所述根据所述相机标定参数， 确定所述结 构拼接图像与所述 三维模型之间的投影矩阵， 具体包括： 确定所述结构拼接 图像中， 每幅所述结构图像对应的边缘角点， 以及所述边缘角点对 应的图像坐标； 根据所述相机标定参数， 确定所述边缘角点在所述三维模型中的对应的目标空间点， 以及所述目标空间点对应的空间坐标； 根据所述边缘角点对应的图像坐标以及所述目标空间点对应的空间坐标之间的对应 关系， 确定所述结构拼接图像与所述 三维模型之间的投影矩阵。 6.根据权利要求1所述的方法， 其特征在于， 所述根据所述投影矩阵， 将所述结构拼接 图像中的纹 理信息投影至所述 三维模型中， 具体包括： 提取所述结构拼接图像中的纹 理信息； 根据所述投影矩阵， 针对所述纹理信息进行矩阵运算， 将所述纹理信息投影至所述三 维模型中。 7.一种三维重建装置， 其特 征在于， 包括： 相机标定模块， 用于获取待重建场景的目标监控图像， 检测所述目标监控图像的直线 数据， 并确定拍摄所述目标监控图像的相机标定参数； 几何结构划分模块， 用于根据所述直线数据以及所述目标监控图像， 确定划分所述目 标监控图像中几何结构的目标直线集合； 根据所述直线集合， 将所述 目标监控图像按照对 应的几何结构拆分成多个结构图像； 透视变换模块， 用于将所述结构图像通过透视变换投影至预设目标视平面， 确定透视 变换后的所述结构图像的像素梯度幅值和方向， 根据预设梯度阈值在透视变换后的所述结 构图像中进行边 缘检测， 确定所述结构图像对应的图像边 缘区域； 图像拼接模块， 用于确定所述图像边缘区域对应的灰度对比度， 拼接所述灰度对比度 之间的差值小于预设灰度对比度阈值的相邻所述结构图像， 得到结构拼接图像； 纹理映射模块， 用于构建所述待重建场景对应的三维模型， 根据 所述相机标定参数， 确 定所述结构拼接图像与所述三维模型之间的投影矩阵， 根据所述投影矩阵， 将所述结构拼 接图像中的纹 理信息投影至所述 三维模型中。 8.根据权利要求7所述的装置， 其特征在于， 所述装置还包括直线数据筛选模块， 所述 直线数据筛 选模块用于： 确定所述直线数据中， 每条直线的两个端点对应的齐次坐标， 并根据所述齐次坐标将 对应的所述 直线表示 为齐次坐标向量； 根据所述齐次坐标向量， 确定所述 直线数据对应的目标消失点； 过滤所述直线数据中， 与所述消失点之间对应向量方向之差大于预设阈值的直线。 9.一种电子设备， 其特征在于， 包括： 处理器、 存储器和总线， 所述存储器存储有所述处 理器可执行 的机器可读指令， 当电子设备运行时， 所述处理器与所述存储器之间通过总线 通信， 所述机器可读指令被所述处理器执行时执行如权利要求1至6中任一项 所述的三 维重 建方法的步骤。权　利　要　求　书 2/3 页 3 CN 115439607 A 3