(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211128618.7 (22)申请日 2022.09.16 (71)申请人 银牛微电子 （无锡） 有限责任公司 地址 214400 江苏省无锡市江阴市澄江东 路99号301室 (72)发明人 赵明喜　钱哲弘　 (74)专利代理 机构 上海隆天律师事务所 31282 专利代理师 万铁占 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/30(2017.01) G06T 5/00(2006.01) G06V 10/26(2022.01) G06V 10/82(2022.01) (54)发明名称 深度图处 理方法、 装置及存 储介质 (57)摘要 本公开实施例中提供深度图处理方法、 装置 及存储介质， 通过获取深度图及与深度图配准的 彩色图， 对彩色图进行目标检测， 并基于检测到 的目标的轮廓对彩色图进行区域划分， 得到轮廓 区域， 从深度图中提取空洞 区域， 基于深度图与 彩色图之间的配准关系， 将深度图与进行区域划 分的彩色图进行求交集， 得到空洞区域中与轮廓 区域相交的子区域。 其中， 子区域即是空洞 区域 与轮廓区域的子区域， 那么， 子区域是子区域的 子区域， 根据子区域可以对子区域进行有效区 分。 因此， 本实施例能够对空洞区域进行子区域 的准确区分， 在该前提下， 就能准确确定子区域 的深度值并做填充等相应处 理。 权利要求书1页 说明书7页 附图5页 CN 115439455 A 2022.12.06 CN 115439455 A 1.一种深度图处 理方法， 其特 征在于， 包括： 获取深度图及与所述深度图配准的彩色图； 对所述彩色图进行目标检测， 并基于检测到的目标的轮廓对所述彩色图进行区域划 分， 得到轮廓区域； 从所述深度图中提取空洞区域， 基于所述深度图与所述彩色图之间的配准关系， 将所 述深度图与进 行区域划分的彩色图进 行求交集， 得到所述空洞区域中与轮廓区域相交的子 区域。 2.根据权利要求1所述的深度图处理方法， 其特征在于， 所述对所述彩色图进行目标检 测， 并基于检测到的目标的轮廓对所述彩色图进行区域划分， 得到轮廓区域， 包括： 对所述彩色图进行图像 语义分割， 得到轮廓区域。 3.根据权利要求2所述的深度图处理方法， 其特征在于， 所述对所述彩色图进行图像语 义分割， 得到轮廓区域， 包括： 使用Mask R‑CNN模型对所述彩色图进行图像 语义分割， 得到轮廓区域。 4.根据权利要求1所述的深度图处理方法， 其特征在于， 所述将所述深度图与进行区域 划分的彩色图进行求交集， 得到所述空洞区域中与轮廓区域相交的子区域， 包括： 在对所述彩色图得到多个轮廓区域的情况下， 将所述深度图与进行区域划分的彩色图 进行求交集， 得到所述空洞区域与至少两个 轮廓区域相交的子区域。 5.根据权利要求1所述的深度图处 理方法， 其特 征在于， 所述深度图处 理方法还 包括： 基于所述子区域的有效邻域 点的深度信息对所述子区域进行深度像素填充。 6.一种深度图处 理装置， 其特 征在于， 包括： 获取模块， 获取深度图及与所述深度图配准的彩色图； 图像划分模块， 对所述彩色图进行目标检测， 并基于检测到的目标的轮廓对所述彩色 图进行区域划分， 得到轮廓区域； 求交集模块， 从所述深度图中提取空洞区域， 基于所述深度图与所述彩色图之间的配 准关系， 将所述深度图与进行区域划分的彩色图进行求交集， 得到所述空洞区域中与轮廓 区域相交的子区域。 7.根据权利要求6所述的深度图处 理装置， 其特 征在于， 所述图像划分模块具体用于： 对所述彩色图进行图像 语义分割， 得到轮廓区域。 8.根据权利要求6所述的深度图处 理装置， 其特 征在于， 所述深度图处 理装置还 包括： 填充模块， 基于所述子区域的有效邻域点的深度信息对所述子区域进行深度像素填 充。 9.一种计算机装置， 其特征在于， 包括： 通信器、 存储器及处理器； 所述通信器用于与外 部通信； 所述存储器存储有程序指令； 所述处理器用于运行所述程序指令以执行如权利要 求1至5所述的深度图处 理方法。 10.一种计算机可读存储介质， 其特征在于， 存储有程序指令， 所述程序指令被运行以 执行如权利要求1至 5所述的深度图处 理方法。权　利　要　求　书 1/1 页 2 CN 115439455 A 2深度图处理 方法、 装置及存储介质 技术领域 [0001]本公开涉及图像处 理技术领域， 尤其涉及深度图处 理方法、 装置及存 储介质。 背景技术 [0002]在3D计算机图形和计算机视觉中， 深度图是一种图像或图像通道， 其中包含与场 景对象的表面到 视点的距离有关的信息， 用于模拟的3D形状或重建他们。 [0003]但是， 在采集深度图时， 会出现相机拍摄不到的区域， 从而在深度图中出现位于边 缘部位的空洞， 如图1所示， 白色手部区域10， 右侧边缘产生空洞区域11。 这个空洞区域 11既 包含手臂也包含天花板， 但是它们的深度值差异很大。 如果直接利用空洞周边的有效邻域 点的深度值进行填充， 对于空洞中的某些点会有比较大 的误差。 譬如手臂的深度值变为了 天花板的深度值， 反之亦有可能。 因此， 在没有对空洞区域进行有效区分的情况下， 将无法 填充准确的深度信息 。 [0004]因此， 如何对深度图空洞区域进行准确区分是业界普遍考虑的课题。 发明内容 [0005]鉴于以上相关技术的缺点， 本公开的目的在于提供深度图处理方法、 装置及存储 介质， 以解决相关技 术无法对深度图空洞区域进行准确区分的技 术问题。 [0006]本公开第一方面 提供一种深度图处 理方法， 其包括： [0007]获取深度图及与深度图配准的彩色图； [0008]对彩色图进行目标检测， 并基于检测到 的目标的轮廓对彩色图进行区域划 分， 得 到轮廓区域； [0009]从深度图中提取空洞区域， 基于深度图与彩色图之间的配准关系， 将深度图与进 行区域划分的彩色图进行求交集， 得到空洞区域中与轮廓区域相交的子区域。 [0010]在一些实施例中， 对彩色图进行目标检测， 并基于检测到 的目标的轮廓对彩色图 进行区域划分， 得到轮廓区域， 包括： [0011]对彩色图进行图像 语义分割， 得到轮廓区域。 [0012]在一些实施例中， 对彩色图进行图像 语义分割， 得到轮廓区域， 包括： [0013]使用Mask R‑CNN模型对彩色图进行图像 语义分割， 得到轮廓区域。 [0014]在一些实施例中， 将深度图与进行区域划 分的彩色图进行求交集， 得到空洞区域 中与轮廓区域相交的子区域， 包括： [0015]在对彩色图得到多个轮廓区域的情况下， 将深度图与进行区域划分的彩色图进行 求交集， 得到空洞区域与至少两个 轮廓区域相交的子区域。 [0016]在一些实施例中， 深度图处 理方法还 包括： [0017]基于子区域的有效邻域 点的深度信息对子区域进行深度像素填充。 [0018]本公开第二方面还提供一种深度图处 理装置， 其包括： [0019]获取模块， 获取深度图及与深度图配准的彩色图；说　明　书 1/7 页 3 CN 115439455 A 3