(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210831579.0 (22)申请日 2022.07.14 (71)申请人 国网上海市电力公司 地址 200122 上海市浦东 新区源深路1 122 号 申请人 上海交通大 学 (72)发明人 秦旷宇　钟彬　史健勇　曾远帆　 吕征宇　周亮　 (74)专利代理 机构 上海恒慧知识产权代理事务 所(特殊普通 合伙) 31317 专利代理师 徐红银　刘翠 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/64(2022.01) G06F 30/13(2020.01)G06F 30/20(2020.01) G06T 17/00(2006.01) (54)发明名称 基于图像识别的设备安装进度监控方法及 系统 (57)摘要 本发明提供了一种基于图像识别的设备安 装进度监控方法及系统， 其中方法包括： 分别构 建BIM结构模型和BIM设备模型， 并将BIM设备模 型添加到BIM 结构模型中的所需位置上， 得到BIM 模型； 扫描施工环境， 获得施工环境图像， 将BIM 模型叠加到施工环境图像中， 得到虚实结合的场 景图像； 按照设定的速率分别获取场景图像和施 工环境图像， 识别场景图像中的BIM设备模型与 施工环境图像中的真实设备之间的位置关系， 自 动统计设备安装情况。 本发明不依赖特定设备， 对工程项目进行实时数据获取， 统计的设备安装 进度过程能够由系统自动完成， 提高了工作效 率， 实现工程建设进度的可视化和信息交互， 进 而实现对工程现场设备安装 进度的实时监控。 权利要求书3页 说明书15页 附图7页 CN 115240140 A 2022.10.25 CN 115240140 A 1.一种基于图像识别的设备安装进度监控方法， 其特 征在于， 包括： 分别构建BIM结构模型和BIM设备模型， 并将所述BIM设备模型添加到所述BIM结构模型 中的所需位置上， 得到BIM模型； 扫描施工环境， 获得施工环境图像， 将所述BIM模型叠加到所述施工环境 图像中， 得到 虚实结合的场景图像； 按照设定的速率分别获取所述场景图像和所述施工环境图像， 识别所述场景图像 中的 BIM设备模型与所述施工环境图像中的真实设备之间的位置关系， 自动统计设备安装情况。 2.根据权利要求1所述的基于图像识别的设备安装进度监控方法， 其特征在于， 所述分 别构建BIM结构模 型和BIM设备模 型， 并将所述BIM 设备模型添加到所述BIM结构模 型中的所 需位置上， 得到BIM模型， 包括： 根据CAD图纸， 按照模型与施工现场1:1比例， 分别创建BIM结构模型和BIM设备模型， 并 将所述设BIM备模型按照放置的真实位置添加到所述BIM结构模型中， 得到初步BIM模型； 将所述初步BIM模型转化为三维模型文件， 并分别对所述BIM结构模型和所述BIM设备 模型进行 材质配置， 得到最终的BIM模型； 其中： 所述BIM结构模型的材质为固定材质， 所述BIM设备模型的材质根据设备类型、 设备型 号和设备名称三个维度进行区别设置 。 3.根据权利要求1所述的基于图像识别的设备安装进度监控方法， 其特征在于， 所述扫 描施工环境， 获得施工环境图像， 将所述BIM模型叠加到所述施工环境图像中， 得到虚实结 合的场景图像， 包括： 对施工现场进行扫描， 获得施工环境图像； 在所述BIM模型上创建标点， 获得虚拟空间坐标， 并获取所述施工环境图像 中与所述标 点相对应的点， 得到施工环境空间坐标； 将所述虚拟空间坐标与所述施工环境坐标进行配准， 使得所述BIM模型与所述施工环 境图像进行重 叠， 得到虚实结合的场景图像。 4.根据权利要求1所述的基于图像识别的设备安装进度监控方法， 其特征在于， 所述按 照设定的速率分别获取所述场景图像和所述施工环境图像， 识别所述场景图像中的BIM设 备模型与所述施工环境图像中的真实设备之间的位置关系， 自动统计设备安装情况， 包括： 按照设定的速率分别获取所述场景图片和所述施工现场图像， 并按照时间戳将所述场 景图片和所述施工现场图像一一对应， 识别所述场景图片 中的BIM设备模型和所述施工现 场图像中的真实设备； 利用所述BIM模型的材质， 判断所述BIM设备模型与所述真实设备 是否重叠： 如果重叠， 则进一步判断所述BIM设备模型与所述真实设备是否为同一设备类型、 设备 型号和设备名称， 如果是， 则标记所述真实设备为已安装设备； 如果不是， 则搜索所述BIM结 构模型的材质指定像素点范围内， 是否具有与其同一设备类型、 设备型号和设备名称的真 实设备， 如果有， 则标记所述真实设备为已安装设备； 反之， 则标记所述真实设备为未安装设备； 完成对设备安装情况的自动统计。 5.根据权利要求4所述的基于图像识别的设备安装进度监控方法， 其特征在于， 还包括 如下任意 一项或任意多 项：权　利　要　求　书 1/3 页 2 CN 115240140 A 2‑所述利用所述BIM模型的材质， 判断所述BIM设备模型与所述真实设备是否重叠， 包 括： 设置所述BIM结构模型为半透明材质； 根据设备类型、 设备型号和设备名称三个维度， 设置所述BIM设备模型为 不同的单色材质； 获取当前画面中所有的非半透明材质， 并根据预设置的单色材质与BIM设备模型对应 关系， 获取所述BIM 设备模型在当前画 面中的二 维坐标； 同时， 识别当前画 面中的真实设备， 并得到所述真实设备的二维坐标， 根据这两组坐标判断所述BIM设备模型与所述真实设备 是否重叠； ‑所述搜索所述BIM结构模型的材质指定像素点范围内， 是否具有与其同一设备类型、 设备型号和设备名称的真实设备， 包括： 从所述场景图像 中获取所述BIM结构模型的长宽像素值， 以x倍像素值为直径画圆或矩 形， 获得指定像素点范围， 其中， x可为可调参数； 当所述指定像素点范围内存在与所述BIM设备模型同一设备类型、 设备型号和设备名 称的真实设备时， 则认为已安装所述真实设备。 6.一种基于图像识别的设备安装进度监控系统， 其特 征在于， 包括： BIM模型处理模块， 该模块用于分别构建BIM结构模型和BIM设备模型， 并将所述BIM设 备模型添加到所述BIM结构模型中的所需位置上， 得到BIM模型； 定位模块， 该模块用于扫描施工环境， 获得施工环境图像， 将所述BIM模型叠加到所述 施工环境图像中， 得到虚实结合的场景图像； 图像处理模块， 该模块用于按照设定的速率分别获取所述场景图像和所述施工环境图 像， 识别所述场景图像中的BIM设备模型与所述施工环境图像中的真实设备， 并进行关联； 进度识别模块， 该模块用于判断所述场景图像中的BIM设备模型与所述施工环境图像 中的真实设备之间的位置关系， 进行安装进度识别， 实现对设备安装情况的自动统计； 网络模块， 该模块用于负责各模块之间的通信。 7.根据权利要求6所述的基于图像识别的设备安装进度监控系统， 其特征在于， 还包括 如下任意 一项或任意多 项： ‑所述BIM模型处 理模块， 包括： 模型构建单元， 该单元根据CAD图纸， 按照模型与施工现场1:1比例， 分别创建BIM结构 模型和BIM 设备模型， 并将设BIM备模 型按照放置的真实位置添加到BIM结构模 型中， 得到初 步BIM模型； 格式转化单元， 该单元用于将所述初步BIM模型转 化为三维模型文件； 属性导出单元， 该单元用于将初步BIM模型按构件将模型属性导出为文本文档， 用于后 续的所述初步BIM模型 材质设置； 材质单元， 该单元用于将所述初步BIM模型按照设备类型、 设备型号和设备名称三个维 度赋予不同材质， 得到最终的BIM模型； ‑所述定位模块， 包括： 视觉惯性SLAM单元， 该单元用于在BIM模型上创建标点， 获得虚拟空间坐标， 并获取施 工环境图像中与标点相对应的点， 得到施工环境空间坐标； 将虚拟空间坐标与施工环境坐 标进行配准， 使得施工环境中设备移动时保持稳定， 得到虚实结合的场景图像；权　利　要　求　书 2/3 页 3 CN 115240140 A 3