(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210641330.3 (22)申请日 2022.06.08 (71)申请人 广东领慧建 筑科技有限公司 地址 528041 广东省佛山市禅城区佛山大 道中189号家博城C座五楼CNC 5021 (72)发明人 陈铭昌　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 刘俊 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/762(2022.01) G06V 10/774(2022.01) G06V 20/64(2022.01) (54)发明名称 一种基于点云数据处理的墙面分割识别方 法及系统 (57)摘要 本发明提出一种基于点云数据处理的墙面 分割识别方法及系统， 涉及建筑测量的技术领 域， 对点云数据进行平面拟合， 得出点云数据的 拟合平面， 便于后续计算加速， 提高精准度， 利用 聚类算法剔除拟合平面中的干扰数据， 分离出主 平面， 通过三维投影的方式将点云数据映射处 理， 得到若干个基础图片， 降低了数据的复杂性， 对基础图片进行特征提取， 然后人工生成标注图 片， 从标注图片中随机抽取若干个标注图片进行 再处理， 获得新的标注图片和新的实例分割信息 以作为训练样本， 引入实例分割网络， 利用训练 样本训练实例分割网络， 得到训练好的实例分割 网络用于墙面识别， 避免了传统利用深度学习模 型进行训练的方式需要大量且不相同的数据， 数 据成本较高的缺陷。 权利要求书3页 说明书8页 附图3页 CN 115239951 A 2022.10.25 CN 115239951 A 1.一种基于点云数据处 理的墙面分割识别方法， 其特 征在于， 所述方法包括以下步骤： S1.加载房间的点云数据， 基于点云数据进行平面拟合， 得 出点云数据的拟合平面； S2.利用聚类算法剔除拟合平面中的干扰数据， 分离出主平面； S3.重复步骤S1～S2， 分离出房间的各个垂直墙面和水平面， 得到各个垂直平面和水平 面中点的位置集 合数据； S4.通过三维投影的方式将点云数据映射处 理， 得到若干个 基础图片； S5.对若干个基础图片的尺寸进行自适应高度缩放， 并对基础图片进行特征提取， 然后 人工生成标注图片， 从标注图片中随机抽取若干个已做特征提取的标注图片和标注再重新 组合， 获得新的标注图片和新的实例分割信息， 作为训练样本； S6.引入实例分割网络， 利用训练样本训练实例分割网络， 得到训练好的实例分割网 络； S7.获取并以S1～S4的方式处理待测房间的点云数据得到基础图片， 并对基础图片进 行自适应缩放以及特 征提取， 然后输入训练好的实例分割网络， 输出墙面分割识别结果。 2.根据权利要求1所述的基于点云数据处理 的墙面分割识别方法， 其特征在于， 在步骤 S1中， 设点云数据中的其中三个点的位置坐标分别为(x1,y1,z1)、 (x2,y2,z2)及(x3,y3, z3)， 基于三个点的位置坐标得出平面方程： Ax+By+Cz+D＝0， A、 B、 C均为未知项系数， D为常 数项， A、 B、 C分别满足： A＝(y3‑y1)*(z3‑z1)‑(z2‑z1)*(y3‑y1)； B＝(x3‑x1)*(z2‑z1)‑(x2‑x1)*(z3‑z1)； C＝(x2‑x1)*(y3‑y1)‑(x3‑x1)*(y2‑y1)； 将点云数据中除(x1,y1,z1)、 (x2,y2,z2)及(x3,y3,z3)之外的其它点带入平面方程， 得出每一个点至平面的距离， 设存在一个平 面H， 所有点到平面H的绝对值距离总和最小时， 则这个平面H为 点云数据的拟合平面。 3.根据权利要求2所述的基于点云数据处理 的墙面分割识别方法， 其特征在于， 在步骤 S2中， 利用聚类算法剔除拟合平面中的干扰数据， 分离出主平面的过程： S21.设拟合平面领域内最小距离为epsilon， 领域内元素数量最小为minPts， 点云总点 数为num， 设聚类总数集合为omega， 引入形状为[num,num]的空矩阵distMatrix， 设未被访 问的点云数据样本集 合为gama， gama为0到num的一个 计数集合； S22.从点云数据中选取两点M、 N， 计算两点距离MN， 得到距离结果d并放入矩阵 distMatrix中； S23.设M点的匹配数为count， 判断d是否小于epsilon， 若是， 令M点的匹配数count加1； 否则， M点的匹配数count不变； S24.从点云数据 中选取除N点之外的其余num ‑1个点与M点做距离计算， 重复步骤S23， 得到与M点做 距离计算的所有点之后最终的M点的匹配数count； S25.判断M点 的匹配数count是否大于minPts， 若是， 利用omega记录M点的标签信息值 为1； 否则， 利用omeg a记录M点的标签信息为0； S26.将omega内部记录的标签信息值相加， 当相加综合大于0时， 执行步骤S27， 否则， 结 束； S27.从omega内部挑选出任意一个标签信息值为1的点， 将gama内部该点的标号信息修权　利　要　求　书 1/3 页 2 CN 115239951 A 2改为‑1， 在矩阵distMatrix中确定该点与其它点的距离， 并确认距离中小于epsilon的距离 对应的样本点个数q； S28.判断q是否大于minPts， 若是， 则将omega内部M点的位置信息修改为0， 并将样本内 的点与未 标记的点取交集， 生成一个簇； S29.遍历拟合平面领域内所有 的点云， 获得一个或多个簇， 将同一簇中数量最多 的保 留， 剔除拟合平面中的干扰数据， 分离出主平面。 4.根据权利要求3所述的基于点云数据处理的墙面分割识别方法， 其特征在于， M、 N两 点间的距离结果 求解公式表示 为： d＝sqrt((x1‑x2)^2+(y1 ‑y2)^2+(z1 ‑z2)^2) 其中， d表示M、 N两点间的距离结果， M点 坐标为(x1,y1,z1)， N 点坐标为(x2,y2,z2)。 5.根据权利要求4所述的基于点云数据处理 的墙面分割识别方法， 其特征在于， 在步骤 S4中， 设三维投影 公式为cross＝(ay*bz ‑az*by， az*bx ‑ax*bz,ax*by ‑ay*bx)， 其中， (ax,ay, az)表示向量A， (bx,by,bz)表示向量B， 为将墙面位于Z轴的坐标投影到Y轴上， 设置数值 data_y＝(0,0,1)， 转换矩阵t rans_mat rix为一个4行4列的矩阵； 设平面方程为Ax +By+Cz+D＝0， 则法向量为(A,B,C)， 计算得到α ＝sqrt(A*A+B*B+C*C)， 并得到平行法线 normals＝array([A /α,B/α,C/α ])， 将data_y和normal s代入三维投影公式 获得data_x， 将data_x和data_y带入三维投影公式获得data_z， 其中， data_x和data_z分别 表示投影后的结果； 将data_x,data_y,data_z放入转换矩阵trans_matrix的前三行三列， 即令trans_ matrix[:3,:3]＝[data_x,data_y,data_z]， 将点云内各点的坐标(x,y,z)求均 值， 得到点 云的中心点， 点云的中心点乘以 ‑1， 再乘以data_z后得到一个向量(xa， ya， za)， 将向量的 xa、 ya、 za相加后， 再乘以data_z得到变量origin的值， 分别把转换矩阵trans_matrix的前 三行的前三个个数值提取， 乘以origin再乘以 ‑1后， 得到一个向量(xb， yb， zb)， 把向量的 xb、 yb、 zb相加得到的值分别放入转换矩阵trans_ matrix每一个的第四个位置上， 确定转换 矩阵。 ； 将点云基于转换矩阵trans_matrix进行转换， 将点云数据对应三维坐标系中xy轴上的 位置信息映射到转换矩阵trans_ matrix上的hw， z轴上的值减去z轴上的平均值后填充到对 应的hw位置上， 此时得到墙面的凹凸信息矩阵， 把凹凸信息矩阵中的值进行归一化并映射 到0‑255的整数区间范围内， 则得到展示的图片格式， 完成三维投影， 得到图片， 图片的h和w 分别为x轴与y轴上的数值， z轴上的数值 为图片的像素值， h表示高度， w表示宽度。 6.根据权利要求5所述的基于点云数据处理 的墙面分割识别方法， 其特征在于， 通过三 维投影的方式将点云数据映射处理后， 得到图片二维数组， 利用区域平均取值算法对图片 二维数组进行处 理， 降低三维数组的离 散度。 7.根据权利要求6所述的基于点云数据处理 的墙面分割识别方法， 其特征在于， 步骤S5 所述的对若干个基础图片的尺寸进行自适应高度缩放,并对基础图片进 行特征提取的过程 具体包括： S51.基于自适应直方图均衡化算法对基础图片进行对比度增强， 然后进行特征 提取， 并保存为 新的图片； S52.利用数据标注软件 对新的图片进行 数据标注， 得到标注图片。权　利　要　求　书 2/3 页 3 CN 115239951 A 3