(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210642932.0 (22)申请日 2022.06.08 (71)申请人 视辰信息科技 （上海） 有限公司 地址 201203 上海市浦东 新区郭守敬路498 号14幢23 501室 (72)发明人 江晓斌　张小军　 (74)专利代理 机构 上海大邦律师事务所 31252 专利代理师 郜少毅 (51)Int.Cl. G06F 16/583(2019.01) G06V 10/44(2022.01) (54)发明名称 检索真值获取方法、 图像 检索方法及系统 (57)摘要 本发明提供一种检索真值获取方法、 图像检 索方法及系统， 所述检索真值获取方法包括： 获 取视觉地图及其地图关键帧、 第一三维坐标集； 采集连续图像帧， 将所述连续图像帧对齐至视觉 地图以获得所述连续图像帧对应的第二三维坐 标集； 为所述地图关键帧及所述连续图像帧对应 的第一三维坐标集及第二三维坐标集生成对应 第一包围盒集及第二包围盒； 根据所述第二包围 盒集相对于所述第一包围盒集具有的重叠包围 盒占所有第二包围盒的第一比例， 将该地图关键 帧选定为该连续图像帧的检索真值 以得到该连 续图像帧的共视图像集。 本发明技术方案能够提 高图像检索模型的鲁棒 性及准确性。 权利要求书5页 说明书13页 附图7页 CN 114969421 A 2022.08.30 CN 114969421 A 1.一种基于连续图像帧的检索真值获取 方法， 其特 征在于， 包括： 获取视觉地图， 所述视觉地图含地图关键帧及所述地图关键帧对应的第一三维坐标 集； 采集连续图像帧， 将所述连续图像帧对齐至视觉地图以获得所述连续图像帧对应的第 二三维坐标集； 为所述地图关键帧对应的第 一三维坐标集生成第 一包围盒集， 所述第 一包围盒集包括 每个第一三维坐标的第一包围盒； 为所述连续图像帧对应的第 二三维坐标集生成第 二包围盒集， 所述第 二包围盒集包括 每个第二三维坐标的第二包围盒； 若所述第二包围盒集相对于所述第 一包围盒集具有重叠包围盒， 基于所述重叠包围盒 占所有第二包围盒的第一比例将对应地图关键 帧选定为该连续图像帧的检索真值以得到 该连续图像帧的共视图像集。 2.如权利要求1所述的基于连续图像帧的检索 真值获取方法， 其特征在于， 所述基于所 述重叠包围盒占所有第二包围盒的第一比例将对应地图关键 帧选定为该连续图像帧的检 索真值以得到该 连续图像帧的共视图像集包括： 若所述第一比例大于第 一阈值， 统计所述重叠包围盒所包围的第 一三维坐标占所有第 一三维坐标的第二比例， 以及统计所述重叠包围盒所包围的第二三 维坐标占所有第二三 维 坐标的第三比例； 若所述第二比例及第 三比例都大于第 二阈值， 且所述连续图像帧与 所述地图关键帧的 朝向夹角小于90 °， 将该地图关键帧选定为该连续图像帧的检索真值以得到该连续图像 帧 的共视图像集。 3.如权利要求1所述的基于连续图像帧的检索 真值获取方法， 其特征在于， 所述基于所 述重叠包围盒占所有第二包围盒的第一比例将对应地图关键 帧选定为该连续图像帧的检 索真值以得到该 连续图像帧的共视图像集包括： 若所述第一比例大于第 一阈值， 统计所述重叠包围盒所包围的第 一三维坐标占所有第 一三维坐标的第二比例， 以及统计所述重叠包围盒所包围的第二三 维坐标占所有第二三 维 坐标的第三比例； 若所述第二比例及第 三比例都大于第 二阈值， 且所述连续图像帧与 所述地图关键帧的 朝向夹角小于90 °， 将该地图关键帧选定为该连续图像帧的检索真值以得到该连续图像 帧 的共视图像集； 若所述第二比例及第 三比例中至少有一个比例值小于或等于第 二阈值， 则当所述连续 图像帧的空间位置及地图关键 帧的空间位置之间的距离小于第三阈值且所述连续图像帧 与所述地图关键帧的朝向夹角小于第四阈值时， 将该地图关键帧选定为该连续图像帧的检 索真值以得到该 连续图像帧的共视图像集。 4.如权利要求1所述的基于连续图像帧的检索 真值获取方法， 其特征在于， 所述基于所 述重叠包围盒占所有第二包围盒的第一比例将对应地图关键 帧选定为该连续图像帧的检 索真值以得到该 连续图像帧的共视图像集包括： 若所述第一比例大于第 一阈值， 统计所述重叠包围盒所包围的第 一三维坐标占所有第 一三维坐标的第二比例， 以及统计所述重叠包围盒所包围的第二三 维坐标占所有第二三 维权　利　要　求　书 1/5 页 2 CN 114969421 A 2坐标的第三比例； 若所述第二比例及第 三比例中至少有一个比例值小于或等于第 二阈值， 则当所述连续 图像帧的空间位置及地图关键 帧的空间位置之间的距离小于第三阈值且所述连续图像帧 与所述地图关键帧的朝向夹角小于第四阈值时， 将该地图关键帧选定为该连续图像帧的检 索真值以得到该 连续图像帧的共视图像集。 5.如权利要求1所述的基于连续图像帧的检索 真值获取方法， 其特征在于， 所述基于所 述重叠包围盒占所有第二包围盒的第一比例将对应地图关键 帧选定为该连续图像帧的检 索真值以得到该 连续图像帧的共视图像集包括： 若所述第一比例大于第 一阈值， 将该地图关键帧选定为该连续图像帧的检索 真值以得 到该连续图像帧的共视图像集。 6.如权利要求1所述的基于连续图像帧的检索 真值获取方法， 其特征在于， 所述第 一三 维坐标集含所述地图关键帧对应的三 维点云数据， 所述第二三维坐标集含 所述连续图像帧 对应的三维点云数据。 7.如权利要求1或6所述的基于连续图像帧的检索真值获取方法， 其特征在于， 通过如 下步骤获得 所述连续图像帧对应的第二 三维坐标集： 获取所述连续图像帧的第 一相对位姿， 所述第 一相对位姿含所述连续图像帧相对于参 考图像的第一旋转角度与第一相对位移； 采集所述连续图像帧在所述视觉地图所在坐标系的第 二相对位姿， 所述第 二相对位姿 含所述连续图像帧在所述视 觉地图定位得到的第二旋转角度与第二相对位移； 通过所述连续图像帧的第一相对位姿及第二相对位姿校准所述连续图像帧在所述视 觉地图的第三相对位姿， 所述第三相对位姿含所述连续图像帧在所述视觉地图校准得到的 第三旋转角度与三相对位移； 基于所有连续图像帧的第三相对位姿， 通过三角化重建得到检索地图， 所述检索地图 含所述连续图像帧 帧对应的第二 三维坐标集。 8.如权利要求如权利要求7所述的基于连续图像帧的检索 真值获取方法， 其特征在于， 所述获取 所述连续图像帧的第一相对位姿包括： 通过VIO算法或SLAM算法获取 所述连续图像帧的第一相对位姿。 9.如权利要求如权利要求7所述的基于连续图像帧的检索 真值获取方法， 其特征在于， 所述采集所述连续图像帧在所述视 觉地图所在坐标系的第二相对位姿包括： 将所述连续图像帧与所述视觉地图进行特征匹配以得到第一三维坐标集中的匹配三 维坐标集； 基于所述匹配三维坐标集， 通过PNP算法得到所述连续图像帧对应的第二相对位姿。 10.如权利要求如权利要求7所述的基于连续图像帧的检索真值获取方法， 其特征在 于， 所述通过所述连续图像帧的第一相对位姿及第二相对位姿校准所述连续图像帧在所述 视觉地图的第三相对位姿包括： 在所述连续图像帧的第二相对位姿的基础上， 根据该连续图像帧的第一相对位姿， 使 用RANSAC算法将所有连续图像帧重新纳入 所述视觉地图进 行位姿校准， 以得到所述第三相 对位姿。 11.如权利要求如权利要求1所述的基于连续图像帧的检索真值获取方法， 其特征在权　利　要　求　书 2/5 页 3 CN 114969421 A 3