(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210651462.4 (22)申请日 2022.06.10 (71)申请人 西安工业大 学 地址 710032 陕西省西安市未央区学府中 路2号 (72)发明人 胡秀华　惠燕　梁颖宇　吴玺　 刘焕　赵婧　胡旭洋　尤世界　 (74)专利代理 机构 西安新思维专利商标事务所 有限公司 61 114 专利代理师 黄秦芳 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/77(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 5/04(2006.01) (54)发明名称 一种利用属性特征构建图卷积网络的行人 重识别方法 (57)摘要 本发明涉及图像处理技术领域， 具体涉及一 种利用属性特征构建图卷积网络的行人重识别 方法。 本发 明方法给出的一种结合属性和身体部 位构建图卷积网络的行人重识别方法， 能够通过 多尺度上下文感知网络高效学习全局特征， 利用 身体解析模 型提取人体部位语义 分割特征， 并基 于属性相关性筛选删除对识别结果影响相对较 小的属性节 点， 构建得到维度较低的图网络模型 提取局部 特征。 本发明通过融合全局特征与局部 特征学习得到更全面的行人特征描述， 能够减少 不同感受野之间的冗余信息， 提取更为丰富的行 人图像全局特征， 有效增强视觉上下文信息， 并 根据属性预测进行图像筛选， 有效减少图库图像 匹配范围， 优化检索过程。 权利要求书3页 说明书10页 附图1页 CN 115205894 A 2022.10.18 CN 115205894 A 1.一种利用属性特 征构建图卷积网络的行 人重识别方法， 其特 征在于， 包括以下步骤： 步骤一、 构建提取全局特征的多尺度 上下文感知网络和利用行人属性及身体部位进行 推理得到局部特 征的图卷积网络： 所述多尺度上下文感知网络的构建中： 采用不同膨胀比的空洞卷积以获得增强的多尺 度感受野； 所述图卷积网络模型的构建中： 利用人体解析模型提取人体部位的掩膜图， 得到每个 身体部位的视觉特征， 由一个查找词嵌入表示行人属 性， 在所得身体部位特征和筛选降维 的属性特征的基础上构 造一个图卷积网络， 该图包含相关矩阵条件下的关键属性节点和身 体部位节点， 然后采用图卷积网络对其进行推理， 编码得到更 具代表性的局部特 征； 步骤二、 基于属性预测值优化图像匹配处理： 依据步骤一构建的上下文感知网络和图 卷积网络对图库图像进行特征提取和属性预测， 将具有高置信度的属性预测视为查询图像 和图库图像的可靠预测， 然后删除掉可靠属性与查询图像不同的图库候选图像。 2.根据权利要求1所述的一种利用属性特征构建图卷积网络的行人重识别方法， 其特 征在于， 所述步骤一的多尺度上下文感知网络中： 初始卷积层 采用5*5的卷积核提取底层视 觉特征， 从第二层开始， 采用不同膨胀比的多尺度卷积层获取图像上 下文信息 。 3.根据权利要求2所述的一种利用属性特征构建图卷积网络的行人重识别方法， 其特 征在于， 所述不同膨胀比包括三种， 三种膨胀比表示每个卷积层有3个卷积核， 分别为膨胀 比为1、 2和3的卷积核。 4.根据权利要求1或2或3所述的一种利用属性特征构建图卷积网络的行人重识别方 法， 其特征在于， 所述 步骤一图卷积网络模型的构建中， 包括以下 具体的方法： (1)身体部位节点表示方法 将身体部位分为头部、 上半身、 下半身和胳膊区域， 每一个行人图像分割成NP个身体部 位， 用一组掩码 表示， 其中Hk是一个与行人图像大小相同的二进制掩码， 将每个 掩码Hk缩放到与特征图F相同的大小， 应用L1归一化后为H ′k； 特征图F∈RW×H×D具有W×H位 置， 每个位置i都与一个特 征向量fi∈RD相关联； 第k个身体部位 计算如公式(1)所示： 其中 是H′k位置i处的标量 值， 投影到D维向量上； (2)利用关键属性节点和身体部位节点构建图网络模型： 包括关键属性节点的优化选 取、 图的构建和图卷积神经网络的推理 ①属性节点的选取 保留8个关键属性节点； ②图的构建 定义图为G＝(V， E)， 节点为V＝{V1， V2， ...， VN}， 节点总数为NG＝NA+NP， 其中， NA为属性数 目， NP为身体部 位数目； 图中每个节点表征一个行人属性或身体部位， 使用D维特征向量xv对 其初始化； 属性用词嵌入向量 表示， 其中NA为属性个数， DW为词嵌入向量的维 数； 图由相关矩阵 表示， 它包含每条边(Vi， Vj)∈E相关的权值； 相关矩阵M具体权　利　要　求　书 1/3 页 2 CN 115205894 A 2表示为： 其中， 表示属性与属性之间的相关矩阵， 表示身体部位与部 位之间的相关矩阵， 表示身体部位与属性之间的相关矩阵， 表示 属性与身体部位之间的相关矩阵； ③对图卷积网络进行推理计算 将身体部位与属性作为节点构建成一个图， 对其进行推理， 编码成更具代表性的局部 特征， 获得的特 征与全局特 征进行连接。 5.根据权利要求4所述的一种利用属性特征构建图卷积网络的行人重识别方法， 其特 征在于， 所述8个关键属性节点为性别、 袖长、 下半身衣服长度、 下半身衣服类型、 头发、 背 包、 手提包及其 他包。 6.根据权利要求5所述的一种利用属性特征构建图卷积网络的行人重识别方法， 其特 征在于， 所述图的构建中， 具体矩阵的构建包括： a、 属性与属性之间的相关矩阵 构造属性与属性之间的相关矩阵AA， 其中元素AAij表示当属性i出现时， 属性j出现的概 率， 具体表示如下： 其中， Ki表示属性 i在训练集行 人中出现的次数， Lij表示属性对i， j同时出现的次数； b、 身体部位与部位之间的相关矩阵 假设在训练集行人中， 每个行人图像的身体部位都可识别， 将身体部位与部位之间的 相关矩阵PP中所有 元素均设置为1， 可以推断如果身体部位i被识别， 识别身体部位j的概率 就为1； c、 身体部位与属性之间的相关矩阵 对于身体部位与属性之间的相关矩阵PA， 其中元素PAij表示当身体部位i被识别时， 属 性j出现的概率； 通常， 一些属性只与特定的身体部位有关， 因此， 识别一个身体部位i， 若属 性j没有依附在身体部位 i上， 则PAij如公式(4)所示， 否则如公式(5)所示： PAij＝0    (4) PAij＝Kj    (5) 其中， Kj是属性出现在训练集行 人中的百分比； d、 属性与身体部位之间的相关矩阵 对于属性与身体部位之间的相关矩阵AP， 其中元素APij表示当属性j出现时， 身体部位i 被识别的概率； 假设行人所有的身体部位在训练集中均可识别， 如果属性j依附身体部位i， 则APij如公式(6)所示， 否则如公式(7)所示： APij＝1    (6) APij＝0    (7) 7.根据权利要求6所述的一种利用属性特征构建图卷积网络的行人重识别方法， 其特 征在于， 所述 ③对图卷积网络进行推理计算的具体过程是：权　利　要　求　书 2/3 页 3 CN 115205894 A 3