ICS 65.020.99 CCS B 07 DB6111 杨凌农业高新技术产业示范区地方标准 DB 6111/T 175—2021 智慧农业 果实三维数字化数据采集及建 模技术规范 Smart Agriculture - Specification for 3D Digital Data Collection and Modeling of Fruits 2021 - 10 - 22 发布 杨凌示范区市场监督管理局 2021 - 11 - 01 实施 发 布 DB6111T/ 175—2021 前  言 本文件依据GB/T 1.1-2020 《标准化工作导则 第1部分：标准化文件的结构和起草规则》起草。 本文件由杨凌示范区农业标准化技术委员会提出并归口。 本文件起草单位：西北农林科技大学、陕西贞观实业有限公司、陕西杨凌田上农业科技有限公司、 陕西美好家园农业科技发展股份有限公司、杨凌锦田果蔬专业合作社。 本文件主要起草人：杨会君、王 昕、于启瑞、李劲波、雷 鸣、张田龙、李海平 本文件首次发布。 本文件由西北农林科技大学负责解释。 联 系 人：杨会君 联系方式：[email protected] 联系地址：陕西省杨凌示范区西农南路3号 邮政编码：712100 I DB6111T/ 175—2021 智慧农业 1 果实三维数字化数据采集及建模技术规范 范围 本文件规定了果实三维数字化数据采集及建模的术语与定义、缩略语、果实图像数据的采集、果实 三维重建和精细度评估及三维模型发布与应用。 本文件适用于智慧果园苹果、猕猴桃、桃子等鲜果果实三维数字化的点云数据采集、建模、处理， 得到干净、准确的果实模型数据。不适用于干果品质评测过程中的形态特征获取、色泽和水分含量测定。 2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本 文件。 GB/T 2822-2005 标准尺寸 GB/T 8170-2008 数值修约规则与极限数值的表示和判定 GB/T 18784 CAD/CAM数据质量 GB/T 24734.1-2009 技术产品文件 数字化产品定义数据通则 第1部分：术语和定义 GB/T 26099.1-2010 机械产品三维建模通用规则 第1部分：通用要求 GB/T 31053-2014 机械产品逆向工程三维建模技术要求 GB/T 38368-2019 产品几何技术规范（GPS）基于数字化模型的测量通用要求 3 术语和定义 GB/T 26099.1-2010、GB/T 31053-2014和GB/T 38368-2019界定的以及下列术语和定义适用于本文 件。 3.1 果实三维数字化 Fruit 3D Digitization 用三维重建和分析工具获取、创建、修改、完善、分析果实数字模型的系列技术。 3.2 点云数据采集 Point Cloud Data Collection 用三维扫描仪、深度相机、RGB相机等获取果实点云形态的形状（几何构造）和外观信息（如颜 色、表面反照率等）过程。 3.3 场景图 Scene Graph 1 DB6111T/ 175—2021 以图像为节点，以几何校验后的匹配图像之间的重叠关系作为边构成的三维场景图。 4 缩略语 下列缩略语适用于本文件: ——CAD--计算机辅助设计(Computer Aided Design)； ——SFM--运动恢复结构(Structure From Motion)； ——SIFT---尺度不变特征变换(Scale Invariant Feature Transform)； ——RANSAC--随机采样一致性(Random Sample Consensus)。 5 果实多视角图像数据采集 5.1 采集设备 选用彩色相机、摄像头或手机等普通RGB摄像设备。调试确定设备的分辨率、拍摄距离等具体参数， 参见表1。 表1 项 数据采集过程中的拍摄参数要求 目 具体要求 设备选型 单目相机 分辨率 最低支持1920×1080 角 度 见图1所示 距离范围 20 cm～100 cm 拍摄数量 每一方位≥20张 拍摄设备和图像关系 限单个设备连续拍摄多视角照片 目标占比 前景目标物占图像内容50%以上 摄像头内部参数由摄像头本身元件所确定。计算方法见公式（1）。 ........................................................ (1) 式中： focalpix----焦距(像素)； focalmm----焦距(毫米)； wpix ----图像宽度(像素)； hpix ----图像高度(像素)； ccdwmm ----传感器尺寸(毫米)； 参数通常包含于图像EXIF信息中，若缺失，也可通过计算相机元件参数获得。 5.2 采集环境 选择纹理丰富、照明良好，光照变化不强的环境。应避开玻璃、瓷砖等强反光材料，移除拍摄视野 中除环境光以外的其它光源。最佳拍摄角度、方位和频次示意图参见图1。 2 DB6111T/ 175—2021 图1 5.3 图像数据采集路径标定板（红色为俯视图，蓝色为侧视图） 拍摄与数据存储方案 参照图1所示的位置关系，确定拍摄视角，具体方案如下： a) 根据环境和拍摄果实实际尺寸确定标定板的具体大小，并打印图 1 所示数据采集标定方案图。 b) 将拍摄目标放在标定板的正中心，找到果实中心轴，在距离果实中心轴 30 cm 的斜上方 30° 角以及斜下方 30°角拍摄，每拍摄一次旋转角度小于等于 18°，所得图像应连续且有重叠， 每一方位拍摄至少 20 张多视角图像。 c) 建立新文件夹，以存储拍摄的多视角果实图像，具体参照 6.2 中重建执行流程。 5.4 5.4.1 预处理 背景预处理 按照5.3拍摄得到的多视角图片示例参见图2。用OpenCV库中的K-均值聚类或分水岭算法预处理果实 图像背景，最终以离散背景点少、果实边缘完整、基本无阴影、除去速度较快、保留果实特征信息为原 则判定处理效果。 图2 5.4.2 规范采集的多视角图像示例（部分数据） 图像预处理 3 DB6111T/ 175—2021 对原始图像处理，应避免调整大小、旋转或变换几何形状。以便后续通过数字化建模特征提取，特 征匹配，几何验证，增量式重建以及稠密化重建，正确得到点云。 6 果实三维重建 6.1 果实表面重建规范 6.1.1 6.1.1.1 生成稀疏场景图 生成方法 采取具有迭代重构分量的顺序处理管道——增量式SFM生成稀疏场景图。 6.1.1.2 特征提取 使用SIFT算法检查每个像素是否代表一个特征，提取同一场景在不同角度下的图像信息。输入对象 是拍摄的图像，输出是一系列的特征点，如图3所示。提取方法采用以下三步： a) 首先使用高斯滤波技术(Gaussian Blur)来降低图像中的噪点，除去纹理噪点等次要特征，保 留给定图像轮廓主要特征。使用高斯差分技术(Difference of Gaussian)，将去噪后图像与原 图像进行相减运算； b) 过滤特征点并精确定位。利用黑塞(Hessian)矩阵处理并确定某像素点是否为特征点，特征点 初步定位后，过滤除去不精确的特征点，完成特征点精确定位； c) 计算并分配特征点方向值。统计获得特征点相邻区域内梯度方向直方图，以直方图中最大值作 为该特征点的主方向；根据经验值，大于主方向 80%的作为该特征点的辅方向，辅方向能够有 效增强匹配的鲁棒性。 图3 4 相邻果实图像特征提取结果示例 DB6111T/ 175—2021 6.1.1.3 特征匹配 根据6.1.1.2得到相邻两幅图像的显著特征点，利用特征点及其邻域信息计算SIFT描述子，并用基 于欧氏距离的K-近邻算法匹配两张相邻图像的特征点，比较两个描述子的相似程度判断是否为同一个特 征。特征匹配的输入是提取到的特征点，输出是重叠的图像及其相关联的特征对应关系，如图4所示。 6.1.1.4 几何验证 采用SFM通过估计射影几何映射图像之间的特征点转换来验证可能重叠的图像对。 a) 选择合适的初始化图像对。本规程对初始化图像对的选择要求是：具有足够多匹配点与足够远 摄像头中心的一对图像； b) 捆绑调整。使用五点法估计初始化图像对的外参，根据轨迹三角化后提供的三维点，采用稀疏 光束平差法进行捆绑调整，最终确定需保留的三维点； a) 增量式迭代重建。其余多视角图像序列将被依次输入并生成三维点重复参与捆绑调整过程，直 到所有图像输入并优化完成。最终得到如图 4 的摄像头位姿信息与稀疏三维点云场景图，如图 4(a)所示。 6.1.2 果实表面稠密重建 6.1.2.1 增量式重建 输入场景图，估计配准图像和重构场景结构的位姿。 a) 利用 Harris 和 Dog（Difference-of-Gaussians）算子在多张图片上检测、匹配特征点，生成、 初始化一组与突出图像区域相关的稀疏面片 patch 集； b) 通过求解 PnP 问题将新图像配准到稀疏模型； c) 使用特征对应法对已配准的图像中的点进行三角化(2D-3D 对应)，并利用 2D-3D 对应关系配准 新图像； d) 使用将场景点投影到图像空间的函数π和降低异常值权重的损失函数ρJT 最小化重投影误差， 并将摄像机参数 Pc 和点参数 Xkt 联合非线性细化。 (a) 稀疏重建的场景图 图4 6.1.2.2 (b) 稠密化重建点云 果实点云重建结果图 稠密化重建 采用Patch-Match方法估计密集点云，恢复果实表面稠密数据，如图4(b)所示。 5 DB6111T/ 175—2021 6.2 果实重建处理流程 6.2.1 配置及处理要求 通过开源库Colmap实现果实稀疏三维点云重建，Patch-Match实现稠密重建。配置和处理过程请参 见附录A。 6.2.2 准备操作 6.2.2.1 6.2.2.2 6.2.2.3 6.2.2.4 6.2.3 mkdir colmap_data //新建 colmap_data 文件夹,作为重建操作的主文件夹 cd colmap_data //进入 colmap_data 目录 mkdir images //新建子文件夹 images，存储输入的多视角图片。 mkdir database.db //新建子文件夹 database.db, 存储输出的特征点信息。 稀疏重建 6.2.3.1 colmap fea