(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210640033.7 (22)申请日 2022.06.08 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 叶峰　李粤峥　赖乙宗　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 王东东 (51)Int.Cl. G06T 7/80(2017.01) G06T 7/00(2017.01) G06T 7/12(2017.01) G06T 7/521(2017.01) G06V 10/44(2022.01)G06V 10/764(2022.01) (54)发明名称 一种目标检测样 本自动采集标注方法、 系统 及介质 (57)摘要 本发明公开了一种目标检测样本自动采集 标注方法、 系统及介质， 包括， 将待采样的实体样 本随机放置输送带上； 按照触发频率， 二维面阵 相机及线激光三维相机对实体样本进行采集获 得图像数据； 根据线激光三维相机获取的图像， 得到三维轮廓数据； 对齐二维RGB图像和三维轮 廓数据， 得每一帧二维RGB图像对应的三维轮廓 数据； 根据三维轮廓数据获得目标检测样本的定 位边界框； 根据实体样本是单一类别还 是混合类 别样本， 给定类别标签或通过分割子图像进行识 别得到类别标签。 通过以上方法可 实现自动采集 和标注样 本， 从而大幅提升样 本采集和标注的效 率， 减少人力工作量。 权利要求书2页 说明书4页 附图2页 CN 115082567 A 2022.09.20 CN 115082567 A 1.一种目标检测样本自动采集标注方法， 其特 征在于， 包括： 将待采样的实体样本随机放置 输送带上； 按照触发频率， 二维面阵相机及线激光 三维相机对实体样本分别进行采集获得图像； 根据线激光 三维相机获取激光灰度图， 得到三维轮廓数据； 对齐二维 RGB图像和三维轮廓数据， 得到每一帧二维 RGB图像对应的三维轮廓数据； 根据每一帧二维RGB图像对应的三维轮廓数据， 进一步获得三维轮廓数据俯视 图中所 有图形的外轮廓， 获得目标检测样本的定位 边界框； 根据实体样本是 单一类别还是混合类别样本， 得到类别标签。 2.根据权利要求1所述的目标检测样本自动采集标注方法， 其特征在于， 所述二维面阵 相机的采样频率与线激光三维相机的触发频率的比值为固定值， 所述固定值为每幅二维 RGB图像对应的激光线数量。 3.根据权利要求1所述的目标检测样本自动采集标注方法， 其特征在于， 所述根据三维 线激光相机获取激光灰度图， 得到三维轮廓数据， 具体为： 根据激光灰度图， 提取激光中心线； 对激光中心线进行从图像像素坐标系到世界坐标系的坐标转换， 得到世界坐标系下的 激光中心线， 进一 步得到三维轮廓数据。 4.根据权利要求1所述的目标检测样本自动采集标注方法， 其特征在于， 所述对齐二维 RGB图像和三维轮廓数据， 得每一帧二维 RGB图像对应的三维轮廓数据， 具体为： 设置二维面阵相机和线激光三维相机的触发比例和固定的纵坐标偏移量对齐图像的 高度方向， 每条激光 三维轮廓的宽度为 二维图像的高度除以激光线数； 设置二维RGB图像像素点对应真实物 理距离的比例和固定的横坐标偏移量对齐图像的 宽度方向； 将三维轮廓数据对齐到二维RGB图像上， 得到每一帧二维RGB图像对应的三维轮廓数 据。 5.根据权利要求1所述的目标检测样本自动采集标注方法， 其特征在于， 所述获得目标 检测样本的定位 边界框， 具体为： 提取三维图像轮廓数据的俯视图中所有图形的外轮廓数据， 提取外轮廓数据的矩形边 界框， 作为目标检测样本的定位 边界框。 6.根据权利要求5所述的目标检测样本自动采集标注方法， 其特征在于， 所述俯视图指 垂直于输送带的视角， 即与二维图像相同的视角。 7.根据权利要求1所述的目标检测样本自动采集标注方法， 其特 征在于， 当实体样本为单一类别时， 则直接给定类别标签； 当实体样本为混合类别样本时， 则将定位边界框裁剪得到若干个子 图像， 再对子 图像 进行识别得到类别标签， 所述子图像进行识别采用预训练的识别模型提取图像特征， 结合 少量人工标注的目标类别子图像作为样本， 训练识别模型的分类头或微调模型的方法。 8.根据权利要求1 ‑7任一项所述的目标检测样本自动采集标注方法， 其特征在于， 在获 得目标检测样本的定位 边界框后， 还 包括纠正 微调步骤。 9.一种基于权利要求1 ‑8任一项所述的目标检测样本自动采集标注方法的系统， 其特 征在于， 包括输送带、 编码器、 触发模块、 计算机、 二维面阵相机及线激光 三维相机；权　利　要　求　书 1/2 页 2 CN 115082567 A 2所述输送带用于传输待采样实体样本； 所述的编码器用于将输送带的运动转换为脉冲信号； 所述的触发模块接收编码器的信号输入， 计数触发二维面阵相机和线激光 三维相机； 所述的计算机用以执 行自动采集和自动标注所需软件； 所述的二维面阵相机用于采集待采样 实体样本的图像； 所述线激光三维相机用于采集 待采样实体样本的三维图像。 10.一种存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被处理器执 行时实现权利要求1 ‑8任一项所述的目标检测样本自动采集标注方法。权　利　要　求　书 2/2 页 3 CN 115082567 A 3