(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210845741.4 (22)申请日 2022.07.19 (65)同一申请的已公布的文献号 申请公布号 CN 114937123 A (43)申请公布日 2022.08.23 (73)专利权人 南京邮电大 学 地址 210003 江苏省南京市 鼓楼区新模范 马路66号 (72)发明人 张荣春　何逸婷　杨立君　郭宇轩　 张晨阳　刘兰法　衣雪峰　 (74)专利代理 机构 南京苏高专利商标事务所 (普通合伙) 32204 专利代理师 柏尚春 (51)Int.Cl. G06T 17/00(2006.01)G06T 15/00(2011.01) G06F 30/13(2020.01) G06F 30/20(2020.01) (56)对比文件 CN 105005580 A,2015.10.28 CN 114463521 A,202 2.05.10 CN 105761308 A,2016.07.13 审查员 许哲 (54)发明名称 基于多源影像融合的建 筑建模方法、 装置 (57)摘要 本发明公开了一种基于多源影像融合的建 筑建模方法、 装置， 所述方法包括： 根据第一点云 模型和第二点云模型， 进而获得第一投影面和第 二投影面， 将点的颜色语义和几何语义投影至投 影面， 分别获得第一颜色投影面、 第一几何投影 面、 第二颜色投影面和第二几何投影面； 进行线 段识别和匹配， 确定第一投影面和第二投影面上 线段的对应关系； 计算第一投影面和第二投影面 上同名语义线段之间的变换特征数值； 若变换特 征数值之间的偏差在标准阈值范围内， 则认定第 一点云模型和第二点云模型中相应的点云线段 之间具有对应关系， 根据对应关系进行融合建 模。 采用上述技术方案， 有效建立了无人机影像 和近景影像 之间的准确对应关系， 提高了三维融 合建模的精度。 权利要求书3页 说明书7页 附图2页 CN 114937123 B 2022.11.04 CN 114937123 B 1.一种基于多源影 像融合的建筑建模方法， 其特 征在于， 包括： 获取飞行器拍摄的目标建筑的第 一影像序列， 获取拍摄装置拍摄的目标建筑的第 二影 像序列， 基于第一影 像序列和第二影 像序列， 分别计算得到第一 点云模型和第二 点云模型； 确定第一点云模型和第二点云中的目标建筑的平面， 以平面作为投影面， 分别获得第 一投影面和第二投影面， 按照点云模型中的点与 投影面上 的点之间的对应关系， 将点的颜 色语义和几何语义投影至投影面， 分别获得第一颜色投影面、 第一几何投影面、 第二颜色投 影面和第二几何 投影面； 对第一颜色投影面和第 二颜色投影面进行线段识别和匹配， 确定第 一颜色投影面和第 二颜色投影面上线段的对应关系； 对第一几何投影面和第二几何投影面进 行线段识别和匹 配， 确定第一几何 投影面和第二几何 投影面上线段的对应关系； 计算第一颜色投影面和第 二颜色投影面上同名语义线段之间的颜色变换特征数值， 计 算第一几何投影面和 第二几何投影面上同名语义线段之 间的几何变换特征数值； 所述同名 语义线段指具有对应关系的两条线段； 采用如下公式计算颜色变换 特征数值： Argb（a11， a21） =A Trgb（l1， l2） + Rrgb（l1， l2） ， 其中， A表示用于度量匹配结果一致性的线段 （a1， a2） ， Argb（a11， a21） 表示计算结果， Trgb （l1， l2） = （d21‑ d12） / （d11‑ d22） ， Rrgb（l1， l2） = （d11 d12‑ d21d22） / （d11‑ d22） ， （d11， d12） 和 （d21， d22） 分别表示同名语义线段l1和l2的端点； 所述计算第一几何投影面和第二几何投影面上 同名语义线段之间的几何变换特征数值， 采用与Argb（a11， a21） 相同的公式， 代入第一几何投 影面和第二几何 投影面上同名语义线段， 计算得到Ageo（a12， a22） ； 若颜色变换特征数值和几何变换特征数值之间的偏差在标准阈值范围内， 则认定第 一 点云模型和第二点云模型中相应的点云线段之 间具有对应关系， 根据对应关系进 行第一点 云模型和第二 点云模型的融合建模。 2.根据权利要求1所述的基于多源影像融合的建筑建模方法， 其特征在于， 所述分别计 算得到第一 点云模型和第二 点云模型， 包括： 通过运动恢复结构和三维多视角立体视觉算法， 基于第一影像序列和第二影像序列， 分别计算得到第一密集 点云模型和第二密集 点云模型。 3.根据权利要求2所述的基于多源影像融合的建筑建模方法， 其特征在于， 所述几何语 义的计算方法， 包括： 逐个计算点云模型中各点的空间姿态， 将各点与局部领域内其他点进行拟合， 形成拟 合面； 以拟合面的垂直法 向量投影在水平面坐标系中的角度作为倾角， 以拟合面与 水平面之 间的夹角作为倾向， 以拟合面的弯曲程度作为曲率， 计算得到拟合面的几何特征； 同一拟合 面上的点的几何特 征相同。 4.根据权利要求3所述的基于多源影像融合的建筑建模方法， 其特征在于， 所述确定第 一点云模型和第二点云中的目标建筑的平面， 以平面作为投影面， 分别获得第一投影面和 第二投影面， 包括： 使用法向量一致性检测得到第 一点云模型和第 二点云模型中目标建筑的多个平面， 分 别获得第一投影面和第二投影面； 所述第一投影面和第二投影面均包括多个虚拟面， 并且 之间存在对应关系。权　利　要　求　书 1/3 页 2 CN 114937123 B 25.根据权利要求4所述的基于多源影像融合的建筑建模方法， 其特征在于， 所述对第 一 颜色投影面和第二颜色投影面进行线段识别和匹配， 包括： 采用串联沙漏网络模型分别对第 一颜色投影面和第 二颜色投影面进行卷积操作， 提取 图像特征， 输出节 点图、 热线图和描述符图； 所述节点图用于描述像素点形成线段端点的概 率， 所述热线图用于描述像素点位于线段上 的概率， 所述描述符图用于构建像素级的局部 描述符； 对第一几何 投影面和第二几何 投影面进行线段识别和匹配， 采用相同的步骤。 6.根据权利要求5所述的基于多源影像融合的建筑建模方法， 其特征在于， 所述串联沙 漏网络模型的训练包括： 对于节点图， 采用交叉熵函数计算节点损失， 对于热线图， 采用二进制交叉熵函数计算 热线损失， 对于描述符图， 采用三重态损失函数计算描述符损失； 通过动态加权的多任务学习， 计算总损 失， 以总损 失低于训练阈值作为训练条件对所 述串联沙漏网络模型进行训练。 7.根据权利要求5所述的基于多源影像融合的建筑建模方法， 其特征在于， 所述颜色变 换特征数值和几何变换 特征数值之间的偏差， 采用以下公式计算： d （Argb， Ageo） =|| a11‑  a21||+|| a12‑a22||。 8.一种基于多源影像融合的建筑建模装置， 其特征在于， 包括： 点云模型建立单元、 投 影面建立单 元、 线段识别和匹配单 元、 一致性度量单 元和融合建模单 元， 其中： 所述点云模型建立单元， 用于获取飞行器拍摄的目标建筑的第一影像序列， 获取拍摄 装置拍摄的目标建筑的第二影像序列， 基于第一影像序列和第二影像序列， 分别计算得到 第一点云模型和第二 点云模型； 所述投影面建立单元， 用于确定第一点云模型和第二点云中的目标建筑的平面， 以平 面作为投影面， 分别获得第一投影面和第二投影面， 按照点云模型中的点与 投影面上 的点 之间的对应 关系， 将点的颜色语义和几何语义投影至投影面， 分别获得第一颜色投影面、 第 一几何投影面、 第二颜色投影面和第二几何 投影面； 所述线段识别和匹配单元， 用于对第 一颜色投影面和第 二颜色投影面进行线段识别和 匹配， 确定第一颜色投影面和第二颜色投影面上线段的对应关系； 对第一几何投影面和第 二几何投影面进 行线段识别和匹配， 确定第一几何投影面和 第二几何投影面上线段的对应 关系； 所述一致性度量单元， 用于计算第 一颜色投影面和第 二颜色投影面上同名语义线段之 间的颜色变换特征数值， 计算第一几何投影面和 第二几何投影面上同名语义线段之 间的几 何变换特征数值； 所述同名语义线段指具有对应关系的两条线段； 采用如下公式计算颜色 变换特征数值： Argb（a11， a21） =A Trgb（l1， l2） + Rrgb（l1， l2） ， 其中， A表示用于度量匹配结果一致性的线段 （a1， a2） ， Argb（a11， a21） 表示计算结果， Trgb （l1， l2） = （d21‑ d12） / （d11‑ d22） ， Rrgb（l1， l2） = （d11 d12‑ d21d22） / （d11‑ d22） ， （d11， d12） 和 （d21， d22） 分别表示同名语义线段l1和l2的端点； 所述计算第一几何投影面和第二几何投影面上 同名语义线段之间的几何变换特征数值， 采用与Argb（a11， a21） 相同的公式， 代入第一几何投 影面和第二几何 投影面上同名语义线段， 计算得到Ageo（a12， a22） ； 所述融合建模单元， 用于若颜色变换特征数值和几何变换特征数值之间的偏差在标准权　利　要　求　书 2/3 页 3 CN 114937123 B 3