(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211381250.5 (22)申请日 2022.11.07 (71)申请人 松立控股集团股份有限公司 地址 266000 山东省青岛市 市南区宁 夏路 288号软件园6号楼1 1层 (72)发明人 刘寒松　王永　王国强　刘瑞　 董玉超　李贤超　 (74)专利代理 机构 青岛高晓专利事务所(普通 合伙) 37104 专利代理师 黄晓敏 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01)G06V 10/74(2022.01) (54)发明名称 多角度相机协同重要性排名约束的辅助驾 驶方法 (57)摘要 本发明属于辅助驾驶技术领域， 尤其涉及一 种多角度相机协同重要性排名约束的辅助驾驶 方法， 通过多角度相机拍摄的视频内容， 充分利 用物体级关系约束， 输出物体级重要性排名， 能 够将周围环 境中存在的人、 车辆等进行重要性排 名， 从而依据重要性程度排名的提醒驾驶员注 意， 实现辅助驾驶的智 能化， 不仅能够实现单一 车辆的驾驶辅助， 同时能够实现智能化监控， 而 且本发明提出的重要性排名技术能用于智慧工 厂中安全生产， 针对智慧工厂中重要的事件提醒 工人注意。 权利要求书3页 说明书8页 附图2页 CN 115424187 A 2022.12.02 CN 115424187 A 1.一种多角度相机协同重要性 排名约束的辅助驾驶方法， 其特 征在于， 具体过程 为： （1） 构建视频数据集： 收集车辆行驶过程中产生的道路监控视频数据， 并挑选质量比较 高的视频 数据构建视屏数据集， 并采用框标注的方式将每 个物体标注类别； （2） 多角度相机协同约束特征提取： 将不同相机的视频数据输入特征提取网络对物体 进行多角度相机协同约束特 征提取， 得到物体的多尺度特 征信息； （3） 多角度相机协同约束物体检测： 将步骤 （2） 得到的多尺度特征输入运动信息感知模 块， 运动信息感知 模块感知到运动信息后， 将运动信息转化为物体检测特征， 采用相机间像 素级关系约束计算相似度的基础上， 引入图关系建模， 通过引入的图关系将相似性约束以 邻接矩阵的方式记 忆下来， 从而保证相机间相似性约束能够 在其内部循环约束； （4） 基于位置信息的特征编码： 在步骤 （3） 得到的特征中通过添加位置信息的方式将准 确的定位信息引入到特 征维度， 得到基于位置信息编码的像素级关系约束； （5） 基于物体级特征关系建模： 将相邻帧间物体级约束关系进行建模， 通过对比当前物 体在不同帧之间的差异将当前物体加权， 得到物体级帧间关系约束； （6） 基于图关系迭代的多角度物体级排名： 在步骤 （5） 的基础上引入基于类别信息约束 的物体间特征约束， 通过计算物体之间的特征之间的相似度， 判定当前物体与周围物体之 间的关系； （7） 多角度相机协同重要性排名结果输出： 采用将物体间类别关系约束与当前多尺度 特征相结合的方式将当前物体级重要性 排名结果输出； （8） 网络训练： 先将车辆行驶过程中的多角度拍摄的视频转化为单帧信息， 整个数据集 包含100段车辆行驶过程中的视频段， 网络训练时， 先将车辆行驶过程中的物体检测出来， 然后将检测的结果映射为物体级特征信息， 并结合类别信息输出最终的物体级重要性排 名， 训练完成后将精度最高的模型输出到 本地文件； （9） 网络测试： 在网络的测试阶段， 先将多角度拍摄的视频裁剪为图片后输入网络中， 再加载网络精度最高的模型， 并初始 化网络参数， 输出重要性排名结果， 实现多角度相机协 同重要性 排名约束的辅助驾驶。 2.根据权利要求1所述多角度相机协同重要性排名约束的辅助驾驶方法， 其特征在于， 步骤 （1） 所述质量比较高的判定标准为： 场景中存在多种类型的事物且场景变化大场景中 的车辆和行 人处于不断变化过程中。 3.根据权利要求2所述多角度相机协同重要性排名约束的辅助驾驶方法， 其特征在于， 步骤 （2） 提取 特征的过程 为： 其中， 代表第index个摄像机， 代表ResNet网络， 代表第 index个摄像机产生的多尺度特征， 3,4,5代表ResNet网络第3,4,5个ResBlock输出的特征 层； 代表将输出的特征在通道上叠加； 代表卷积操作， 将输出的特征降低维度， 从 而使得特征语义性更强； 代表第index个摄像头产生的多尺度特征聚权　利　要　求　书 1/3 页 2 CN 115424187 A 2合。 4.根据权利要求3所述多角度相机协同重要性排名约束的辅助驾驶方法， 其特征在于， 步骤 （3） 所述 运动信息感知模块感知的运动信息为： ； 将运动信息转 化为物体检测特征的过程 为： 其中， 代表第index个摄像头的多尺度时空特征， 代表 3D卷积组成的Blocks， 包含3D Conv、 BN和Relu， 代表网络的输出， 表示外围边界框， 表示类别信息， 表示外围边界框形成的掩膜； 代表Add、 norm以及forward层组成的Bl ock。 5.根据权利要求4所述多角度相机协同重要性排名约束的辅助驾驶方法， 其特征在于， 步骤 （4） 的具体过程 为： 其中， 代表将外围边界框和类别信息以及掩膜信息与特征进行 映射， 从而得到基于proposal的特征信息 ； 代表在特征生成的过 程中引入位置信息； 代表当前物体所处的位置进行编码。权　利　要　求　书 2/3 页 3 CN 115424187 A 3