(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210663043.2 (22)申请日 2022.06.07 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 (72)发明人 方浩　胡家瑞　王奥博　陈杰　 (74)专利代理 机构 北京正阳理工知识产权代理 事务所(普通 合伙) 11639 专利代理师 张利萍 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 弱纹理环境下基于神经网络的视觉特征处 理系统及方法 (57)摘要 本发明公开了一种弱纹理环境下基于神经 网络的视觉特征处理系统及方法， 所述处理系统 包括： 主干网络、 检测器分支及描述器分支， 所述 检测器分支与所述描述器分支为孪生网络的对 称子分支； 所述主干网络将原始图像进行卷积处 理， 输出所述原始图像的深层特征图； 第一空间 模块的输出与所述检测器分支中第一卷积层的 输出相融合， 所述检测器分支输出角点概率图， 所述角点概率图用于表征所述原始图像中各个 点是角点的概率； 第二空间模块的输出与所述描 述器分支中第一卷积层的输出相融合， 所述描述 器分支输 出描述子图， 所述描述子图用于表征所 述原始图像中各个点的描述子形态。 权利要求书3页 说明书10页 附图4页 CN 114937153 A 2022.08.23 CN 114937153 A 1.一种弱纹理环境下基于神经网络的视觉特征处理系统， 其特征在于， 所述处理系统 包括： 主干网络、 检测器分支及描述器分支， 所述检测器分支与所述描述器分支为孪生网络 的对称子分支； 所述主干网络用于接收输入的原始图像， 并将所述原始图像进行卷积处理， 输出所述 原始图像的深层特征图； 所述主干网络包括多个级连的卷积层， 其中， 所述主干网络浅层卷 积后得到的浅层特征图被同时输入第一空间模块与第二空间模块； 所述第一空间模块及所 述第二空间模块分别用于空间不变性还原； 所述检测器分支包括多个级连的卷积层， 所述第 一空间模块的输出与 所述检测器分支 中第一卷积层的输出相融合， 所述检测器分支输出角点概率图， 所述角点概率图用于表征 所述原始图像中各个点是角点的概 率； 所述描述器分支包括多个级连的卷积层， 所述第 二空间模块的输出与 所述描述器分支 中第一卷积层的输出相融合， 所述描述器分支输出描述子图， 所述描述子图用于表征所述 原始图像中各个点的描述子形态。 2.如权利要求1所述的系统， 其特征在于， 所述检测器分支用于接收所述主干网络输出 的所述原始图像的深层特征图， 所述检测器分支包括多个级连的卷积层， 其中， 所述第一空 间模块的输出与所述检测器分支中第一卷积层的输出相融合， 所述检测器分支输出角点概 率图， 所述角点 概率图用于表征 所述原始图像中各个点是角点的概 率； 所述描述器分支用于接收所述主干网络输出的所述原始图像的深层特征图， 所述描述 器分支包括多个级连 的卷积层， 其中， 所述第二空间模块的输出与所述描述器分支中第一 卷积层的输出相融合， 所述描述器分支输出描述子图， 所述描述子图用于表征所述原始图 像中各个点的描述子形态。 3.如权利要求1 ‑2中任一所述的系统， 其特征在于， 所述检测器分支在训练过程中采用 信息量损失函数， 以8 ×8邻域作为一个基础单元划分所述原始图像， 得到基础单元网格， 假 设网格内共计HC×WC个基础单元， 每一个基础单元表示为xhw， 真实场景数据集内真值数据 标签集合记为Y， 所述检测器分支具体损失函数为： 其中， HC为基础单元 网格的总行数， WC为基础单元 网格的总列数， h为基础单元 网格的行 索引， w为基础单元网格的列索引， y为一个基础单元 中角点所在的像素位置， lp对角点所在 像素位置处的网络预测值进行归一化并取负对数， xhwy为一个基础单元中角点所在像素位 置处的网络预测值， xhwk为一个基础单元中任一像素位置处的网络预测值， k 为通道编号。 4.如权利要求1 ‑2中任一所述的系统， 其特征在于， 所述描述器分支在训练过程中采用 hinge‑loss函数， 具体形式为：权　利　要　求　书 1/3 页 2 CN 114937153 A 2原始图像对应的描述子图： D， 单应变换： H， 原始图像经过单应变换后得到的变形后图 像对应的描述子图： D ′ 原始图像对应的描述子： dhw， 变形后图像对应的描述子： d ′h′w′ 原始图像内8 ×8邻域中心像素坐标： phw 变形后图像内8 ×8邻域中心像素坐标： p ′h′w′ 判断对应关系： ld(dhw,d′h′w′,s) ＝ λd*s*max(0,mp‑dhwTd′h′w′)+(1‑s)*max(0,dhwTd′h′w′‑mn) 其中， 为描述器损失函数， Hphw为原始图像内8 ×8邻域中心像素经过单应 变换后的坐标， λd为权重参数， s为对应关系判断参数， mp为正向边缘参数， dhwT为dhw的转置； h为原始图像对应的基础单元网格的行索引， w为原始图像对应的基础单元网格的列索引， h′为变形后图像对应的基础单元网格的行索引， w ′为变形后图像对应的基础单元网格的列 索引， mn为负向边 缘参数。 5.如权利要求1 ‑2中任一项所述的系统， 其特征在于， 所述第一空间模块及所述第二空 间模块均包括多个卷积网络、 一个网格生成器、 一个采样网络及一个采样 器； 所述空间模块 接收主干网络中的浅层特征图作为输入， 通过所述多个卷积网络的卷积操作， 得到六自由 度仿射变换矩阵， 将得到的六自由度仿射变换矩阵输入网格生成器， 所述网络生成器进行 网格生成， 得到采样网格， 所述采样器依照采样网格对主干网络中的浅层特征图进行像素 采样得到空间转换 特征图。 6.如权利要求1 ‑2中任一项所述的系统， 其特征在于， 所述处理系统的训练为五 阶段训 练， 第一阶段， 对训练样本数据集进 行数据增强操作， 随后利用该训练样本数据集单独对所 述检测器分支进行训练； 第二阶段， 利用第一阶段训练得到的检测器分支， 对真实场景数据 集进行标注， 获得真实场景下的特征标注数据集； 第三阶段， 将第一阶段中训练得到所述检 测器分支的权重参数全部清空， 利用第二阶段所得特征标注数据集单独对 所述检测器分支 进行再次训练； 第四阶段， 利用第三阶段所得检测器分支对所述真实场景数据集进行重新 标注， 得到二次标注数据集； 第五阶段， 清空所述检测器分支和所述描述器分支的权重， 利 用所述二次标注数据集对所述检测器分支及所述描述器分支进行 联合训练。 7.一种弱纹理环境下基于神经网络的视觉特征处理方法， 其于如权利要求1 ‑6中任一 项所述的处 理系统， 其特 征在于， 所述方法包括以下步骤： 步骤S1： 获取原 始图像； 步骤S2： 将所述原 始图像输入所述处 理系统； 步骤S3： 所述处理系统对原始图像进行特征检测与描述， 得到所述原始图像的角点和权　利　要　求　书 2/3 页 3 CN 114937153 A 3