(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210650722.6 (22)申请日 2022.06.09 (71)申请人 江汉大学 地址 430056 湖北省武汉市沌口经济技 术 开发区新江大路8号 (72)发明人 周静　胡怡宇　邓宏涛　 (74)专利代理 机构 北京众达德权知识产权代理 有限公司 1 1570 专利代理师 王春艳 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/46(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01)G06N 3/04(2006.01) (54)发明名称 弱感知目标检测方法及相关 设备 (57)摘要 本申请实施例公开了一种弱感知目标检测 方法及相关设备。 该方法包括： 获取训练样本集， 输入至弱感知目标检测网络中， 通过弱感知目标 检测网络中的第一点云特征编码子网络进行初 步检测获取初始候选数据； 基于候选目标点云数 据利用弱感知目标检测网络中的transformer编 码器和tran sformer解码器进行迭代运算获取弱 感知目标完整形状特征序列； 基于弱感知目标完 整形状特征序列和候选目标点云特征进行弱感 知目标检测网络中的注意力融合操作、 置信度计 算和位置回归操作并计算损失值生成弱感知目 标检测模型； 利用弱感知目标检测模 型对待检测 样本集进行检测， 生成弱感知目标检测框和 弱感 知目标类别信息， 完成弱感知目标检测。 权利要求书4页 说明书19页 附图3页 CN 115222954 A 2022.10.21 CN 115222954 A 1.一种弱感知目标检测方法， 其特 征在于， 包括： 获取训练样本集， 输入至弱感知目标检测网络中， 通过所述弱感知目标检测网络中的 第一点云特征编码子网络进行初步检测获取初始候选数据， 其中， 所述初始候选数据包括 初始候选 框、 候选目标点云数据和候选目标点云特 征； 基于所述候选目标点云数据利用所述弱感知目标检测网络中的transformer编码器和 transformer解码器进行迭代运算得到弱感知目标缺失部分形状特征序列， 根据所述弱感 知目标缺失部分形状特征序列利用所述弱感知目标检测网络中的重构操作获取弱感知目 标完整形状特 征序列； 基于所述弱感知目标完整形状特征序列和所述候选目标点云特征进行所述弱感知目 标检测网络中的注意力融合操作得到弱感知目标全局特 征； 基于所述弱感知目标全局特征进行所述弱感知目标检测网络中的置信度计算和位置 回归操作以获取弱感知目标的置信度分数和残差参数， 并基于所述置信度分数和所述残差 参数计算损失值以调整所述弱感知目标检测网络的参数， 生成弱感知目标检测模型； 利用所述弱感知目标检测模型对待检测样本集进行检测， 生成弱感知目标检测框和弱 感知目标类别 信息， 完成弱感知目标检测。 2.如权利要求1所述的方法， 其特征在于， 所述迭代运算包括第 一迭代运算和第 二迭代 运算， 所述重构操作包括 折叠操作和特 征提取操作； 所述基于所述候选目标点云数据利用所述弱感知目标检测网络中的transformer编码 器和transformer解码器进行迭代运算得到弱感知目标缺失部分形状特征序列， 根据所述 弱感知目标缺失部分形状特征序列利用所述弱感知目标检测网络中的重构操作获取弱感 知目标完整形状特 征序列， 包括： 根据所述候选目标点云数据进行所述弱感知目标检测网络中的采样卷积操作和第一 嵌入操作以获取嵌入位置局部结构特 征序列； 基于所述嵌入位置局部结构特征序列， 利用所述transformer编码器进行所述第一迭 代运算和维度变换操作， 以获取缺失部分中心点序列和缺失部分中心点局部结构特征序 列； 对所述缺失部分中心点序列和所述缺失部分中心点局部结构特征序列执行所述弱感 知目标检测网络中的第二嵌入操作得到局部形状特 征序列； 根据所述局部形状特征序列、 所述缺失部分中心点局部结构特征序列和所述缺失部分 中心点序列， 利用所述transformer 解码器进行所述第二迭代 运算和特征变换操作， 获取所 述弱感知目标缺失部分形状特 征序列； 对于所述弱感知目标缺失部分形状特征序列， 结合所述缺失部分中心点序列和所述候 选目标点云数据， 进行 所述折叠操作获取弱感知目标完整点云数据； 对于所述弱感知目标完整点云数据， 采用第 二点云特征编码子网络进行所述特征提取 操作， 得到所述弱感知目标完整形状特 征序列。 3.如权利要求2所述的方法， 其特征在于， 所述根据 所述候选目标点云数据进行所述弱 感知目标检测网络中的采样卷积操作和第一嵌入操作以获取嵌入位置局部结构特征序列， 包括： 利用所述 候选目标点云数据通过迭代最远采样方法获取中心点序列；权　利　要　求　书 1/4 页 2 CN 115222954 A 2利用所述中心点序列基于图卷积网络提取相关特 征序列； 对所述中心点序列和所述相关特征序列执行所述第一嵌入操作以获取所述嵌入位置 局部结构特 征序列。 4.如权利要求2所述的方法， 其特征在于， 所述维度变换操作包括最大池化操作和第 一 多层感知器； 所述基于所述嵌入位置局部结构特征序列， 利用所述transformer编码器进行所述第 一迭代运算和维度变换操作， 以获取缺 失部分中心 点序列和缺失部 分中心点局部结构特征 序列， 包括： 将所述嵌入位置局部结构特征序列作 为所述transformer编码器的输入进行所述第一 迭代运算以获取编码器输出特征序列， 其中， 所述第一迭代运算是基于第一自注意力加权 操作和第一前馈网络进行编码的； 根据所述编码器输出特征序列利用所述最大池化操作和所述第一多层感知器变换特 征维度， 获取 所述缺失部分中心点序列和所述 缺失部分中心点局部结构特 征序列。 5.如权利要求2所述的方法， 其特征在于， 所述第 二迭代运算包括第 二自注意力加权操 作、 交叉注意力加权操作和第二前馈网络； 所述根据 所述局部形状特征序列、 所述缺失部分中心点局部结构特征序列和所述缺失 部分中心点序列， 利用所述transformer 解码器进行所述第二迭代 运算和特征变换操作， 获 取所述弱感知目标缺失部分形状特 征序列， 包括： 将所述局部形状特 征序列作为所述t ransformer解码器的首层输入形状特 征序列D(1)； 将所述transformer解码器的第k层的输入形状特征序列D(k)进行所述第二自注意力加 权操作得到所述t ransformer解码器的第k层对应的query向量E(k+1)； 基于所述transformer解码器 的第k层的输入形状特征序列D(k)， 所述缺失部分中心点 局部结构特征序列和所述缺失部分中心点序列， 通过下式计算得到所述tr ansformer解码 器的第k层的混合特 征R(k)： R(k)＝Conv2(Cat(D(k),S)+Conv1(Y)),k＝1,...,L 其中， Cat代表第一拼接操作， Conv1代表第一卷积操作， Conv2代表第二卷积操作， Y表示 所述缺失部分中心点序列， S表示所述缺失部分中心点局部结构特征序列， L表示所述 transformer解码器的层数； 将所述混合特征R(k)作为所述transformer解码器的第k层对应的key向量和value向 量， 结合所述transformer解码器的第k层对应的query向量E(k+1)， 通过下式进行所述交叉注 意力加权操作得到所述t ransformer解码器的第k层的交叉注意力加权形状特 征U(k+1)： 其中， H是注意力 头的个数， 和 分别表示所述transformer解码器的第 k层的第h个所述注意力头的第一投影矩阵、 第二投影矩阵和第三投影矩阵， 为所述 transformer解码器的第k层的交叉注意力加权操作的输出线性投影矩阵， d是缩放因子， T 表示矩阵转置操作， δ表示归一 化操作； 基于所述transformer解码器的第k层的交叉注意力加权形状特征U(k+1)利用所述第二 前馈网络获取 所述transformer解码器的第k层的输出 形状特征序列D(k+1)；权　利　要　求　书 2/4 页 3 CN 115222954 A 3