(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211242113.3 (22)申请日 2022.10.11 (71)申请人 北京大成国测科技有限公司 地址 102206 北京市昌平区昌平路97号6幢 503 (72)发明人 张淮　康秋静　蒋梦　孙云蓬　 高玉亮　高飞　王鹤　刘小惠　 曹钰　苏景武　杜春连　李波　 丁海有　黄玉君　赵谦　闵飞　 闵晓龙　 (74)专利代理 机构 北京君有知识产权代理事务 所(普通合伙) 11630 专利代理师 焦丽雅 (51)Int.Cl. G01S 17/86(2020.01)G06K 9/62(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/52(2022.01) (54)发明名称 一种激光雷达与视觉融合的智能监测方法 和系统 (57)摘要 本申请提供的一种激光雷达与视觉融合的 智能监测方法和系统， 具体应用于数据融合领 域， 包括： 采集目标场景的点云数据、 反射强度和 图像数据； 根据点云数据和反射强度建立两个坐 标系； 图像数据分别与两个坐标系构建第一映射 关系和第二映射关系； 根据第一映射关系和第二 映射关系融合目标场景的点云数据和图像数据， 实现智能监测。 通过改进的数据融合技术提高目 标识别的精度， 进而优化智能监测系统对环境的 感知能力。 权利要求书2页 说明书9页 附图2页 CN 115469326 A 2022.12.13 CN 115469326 A 1.一种激光雷达与视 觉融合的智能监测方法， 其特 征在于， 包括： 利用激光雷达采集目标场景的点云数据和反射强度； 利用单目摄 像头采集目标场景的图像数据； 根据所述 点云数据和所述反射强度建立第一 坐标系和第二 坐标系； 将所述图像数据分别与所述第一坐标系和所述第二坐标系构建第一映射关系和第二 映射关系； 根据所述第一映射关系和所述第二映射关系融合所述目标场景的点云数据和图像数 据， 得到融合结果； 基于所述融合结果实现智能监测。 2.根据权利要求1所述的激光雷达与视觉 融合的智能监测方法， 其特征在于， 所述根据 所述点云数据和所述反射强度建立第一 坐标系和第二 坐标系， 包括： 分离所述 点云数据中的背景点云数据和前 景点云数据； 基于所述背景点云数据建立第一 坐标系； 基于所述前 景点云数据建立第二 坐标系； 基于所述反射强度调整所述第一 坐标系和所述第二 坐标系。 3.根据权利要求2所述的激光雷达与视觉 融合的智能监测方法， 其特征在于， 基于所述 反射强度调整所述第一 坐标系， 包括： 将所述背景点云数据划分为预设大小的多个第一矩形区块； 确定每一所述第一矩形区块对应的第一子反射强度； 根据所述第一子反射强度构建子第一 参数矩阵； 计算所述第一子参数矩阵与所述第一矩形区块的Hadamard乘积， 得到第一参数化区 块； 根据所述第一 参数化区块调整所述第一 坐标系。 4.根据权利要求3所述的激光雷达与视觉 融合的智能监测方法， 其特征在于， 基于所述 反射强度调整所述第二 坐标系， 包括： 将所述前 景点云数据划分为多个预设大小的第二矩形区块； 确定每一所述第二矩形区块对应的第二子反射强度； 根据所述第二子反射强度构建第二子参数矩阵； 计算所述第二子参数矩阵与所述第二矩形区块的Hadamard乘积， 得到第二参数化区 块； 根据所述第二 参数化区块调整所述第二 坐标系。 5.根据权利要求4所述的激光雷达与视觉 融合的智能监测方法， 其特征在于， 所述将所 述图像数据分别与所述第一坐标系和所述第二坐标系构建第一映射关系和 第二映射关系， 包括： 分离所述图像数据中的背景图像数据和前 景图像数据； 将所述背景图像数据与调整后的第一 坐标系建立第一映射关系； 将所述前 景图像数据与调整后的第二 坐标系建立第二映射关系。 6.根据权利要求5所述的激光雷达与视觉 融合的智能监测方法， 其特征在于， 所述将所 述背景图像数据与调整后的所述第一 坐标系建立第一映射关系， 包括：权　利　要　求　书 1/2 页 2 CN 115469326 A 2对所述背景图像数据进行局部傅里叶变换， 得到第一编码结果； 将所述第一 参数化区块进行傅里叶变换， 得到第二编码结果； 将所述第一编码结果和所述第 二编码结果输入深度神经网络模型， 得到所述背景图像 数据与调整后的所述第一 坐标系之间的第一映射关系。 7.根据权利要求6所述的激光雷达与视觉 融合的智能监测方法， 其特征在于， 所述将所 述前景图像数据与调整后的所述第二 坐标系建立第二映射关系， 包括： 对所述前 景图像数据进行局部傅里叶变换， 得到第三编码结果； 将所述第二 参数化区块进行傅里叶变换， 得到第四编码结果； 将所述第三编码结果和所述第四编码结果输入深度神经网络模型， 得到所述前景图像 数据与调整后的所述第二 坐标系之间的第二映射关系。 8.根据权利要求1所述的激光雷达与视觉 融合的智能监测方法， 其特征在于， 所述根据 所述第一映射关系和所述第二映射关系融合所述目标场景的点云数据和图像数据， 得到融 合结果， 包括： 若所述第一映射关系和所述第 二映射关系的偏差值在预设范围内， 则根据所述第 一映 射关系和所述第二映射关系建立融合 规则； 基于所述融合 规则融合所述目标场景的点云数据和图像数据， 得到融合结果。 9.一种激光雷达与视 觉融合的智能监测系统， 其特 征在于， 包括： 数据采集模块， 用于利用激光雷达采集目标场景的点云数据和反射强度； 利用单目摄 像头采集目标场景的图像数据； 坐标系建立模块， 用于根据 所述点云数据和所述反射强度建立第 一坐标系和第 二坐标 系； 数据映射模块， 用于将所述图像数据分别与所述第 一坐标系和所述第 二坐标系构建第 一映射关系和第二映射关系； 数据融合模块， 用于根据所述第 一映射关系和所述第 二映射关系融合所述目标场景的 点云数据和图像数据， 得到融合结果； 智能监测模块， 用于基于所述融合结果实现智能监测。 10.根据权利要求9所述的激光雷达与视觉融合的智能监测系统， 其特征在于， 所述坐 标系建立模块具体用于： 分离所述 点云数据中的背景点云数据和前 景点云数据； 基于所述背景点云数据建立第一 坐标系； 基于所述前 景点云数据建立第二 坐标系； 基于所述反射强度调整所述第一 坐标系和所述第二 坐标系。权　利　要　求　书 2/2 页 3 CN 115469326 A 3