(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210637616.4 (22)申请日 2022.06.08 (65)同一申请的已公布的文献号 申请公布号 CN 114723951 A (43)申请公布日 2022.07.08 (73)专利权人 成都信息工程大学 地址 610225 四川省成 都市西南 航空港经 济开发区学府路1段24 号 (72)发明人 许源平　杨雅丽　许志杰　张朝龙　 李婵玉　曹衍龙　盖秋艳　谢攀　 李涂鲲　 (74)专利代理 机构 成都正德明志知识产权代理 有限公司 513 60 专利代理师 张小娟 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/44(2022.01)G06F 17/16(2006.01) (56)对比文件 CN 113947680 A,202 2.01.18 CN 113628334 A,2021.1 1.09 CN 112329780 A,2021.02.0 5 CN 111340814 A,2020.0 6.26 US 2021174513 A1,2021.0 6.10 CN 113888744 A,2022.01.04 魏兆祥.面向室内复杂场景的RGB-D图像 语 义分割研究. 《中国优秀硕士学位 论文全文数据 库 工程科技 II辑》 .2022,(第 （202 2） 02期), C038-212. JIANZHONG YUAN 等.DMFNet: De ep Multi- Modal Fusi on Network for RGB-D I ndoor Scene Segmentati on. 《IEEE Access》 .2019,第7 卷第1693 50-169358页. 审查员 代冯楠 (54)发明名称 一种用于RGB-D图像分割的方法 (57)摘要 本发明公开了一种用于RGB ‑D图像分割的方 法， 本方法基于RGB ‑D彩色深度图像进行语义级 别分割， 提取深度图像中的前景像素信息并以一 个权重矩阵作为输出， 用来加权辅助RGB图像中 的特征信息提取， 使 得两个模态下的重要特征信 息相互补 充响应， 充分弥补在采样过程中的特征 信息损失， 无论是在语义上的特征表现还是空间 上的精细度都得到了提升， 特别是对物体边缘信 息具备更强的灵敏性。 权利要求书1页 说明书6页 附图4页 CN 114723951 B 2022.11.04 CN 114723951 B 1.一种用于RGB ‑D图像分割的方法， 其特 征在于， 包括以下步骤： S1、 获取目标图像的RGB图像和 深度图像； 分别构 建RGB图像特征提取与下采样网络、 深 度图像特 征提取与下采样网络； 其中RGB图像特征提取与下采样网络包括依次连接的第一图像切分模块、 第一特征提 取与下采样模块、 第二特征提取与下采样模块、 第三特征提取与下采样模块和第四特征提 取与下采样模块； 深度图像特征提取与下采样网络包括依次连接的卷积层、 第二图像切分模块、 第五特 征提取与下采样模块、 第六特征提取与下采样模块、 第七特征提取与下采样模块和第八特 征提取与下采样模块； S2、 将第五特征提取与下采样模块的输出通过第一softmax层后的结果与第一特征提 取与下采样模块的输出相乘， 得到第一矩阵； S3、 将第六特征提取与下采样模块的输出通过第二softmax层后的结果与第二特征提 取与下采样模块的输出相乘， 得到第二矩阵； S4、 将第七特征提取与下采样模块的输出通过第三softmax层后的结果与第三特征提 取与下采样模块的输出相乘， 得到第三矩阵； S5、 将第八特征提取与下采样模块的输出通过第四softmax层后的结果与第四特征提 取与下采样模块的输出相乘， 得到第四矩阵； S6、 将第四特征提取与下采样模块的输出通过瓶颈层后的结果与第四矩阵相加， 得到 第五矩阵； S7、 通过第一上采样模块对第五矩阵进行上采样处理， 将处理结果与第 三矩阵相加， 得 到第六矩阵； S8、 通过第二上采样模块对第六矩阵进行上采样处理， 将处理结果与第 二矩阵相加， 得 到第七矩阵； S9、 通过第三上采样模块对第七矩阵进行上采样处理， 将处理结果与第 一矩阵相加， 得 到第八矩阵； S10、 通过第四上采样模块对第八矩阵进行上采样处理， 将处理结果进行重构， 得到图 像分割结果。 2.根据权利要求1所述的用于RGB ‑D图像分割的方法， 其特征在于， 第一 图像切分模块 和第二图像切分模块均采用Patc h Partition层。 3.根据权利要求1所述的用于RGB ‑D图像分割的方法， 其特征在于， 第一特征提取与下 采样模块和第五特征提取与下采样模块结构相同， 均包括依次连接的Linear  Embedding层 和Swin Transformer  Block层。 4.根据权利要求1所述的用于RGB ‑D图像分割的方法， 其特征在于， 第二特征提取与下 采样模块、 第三特征提取与下采样模块、 第四特征提取与下采样模块、 第六特征提取与下采 样模块、 第七特征提取与下采样模块和第八特征提取与下采样模块的结构相同， 均包括依 次连接的Patc h Merging层和Sw in Transformer  Block层。 5.根据权利要求1所述的用于RGB ‑D图像分割的方法， 其特征在于， 每个上采样模块均 包括依次连接的多层感知机和上采样层。权　利　要　求　书 1/1 页 2 CN 114723951 B 2一种用于RGB ‑D图像分割的方 法 技术领域 [0001]本发明涉及图像分割领域， 具体涉及一种用于RGB ‑D图像分割的方法。 背景技术 [0002]虽然卷积神经 网络(CNN)在过去十年中已经成为RGB图像处理的主流技术， 并取得 了巨大的成功， 但是由于其局部特性， CNN很难获得全局和 远程的语义信息。 在传统的语义 分割任务中， RGB图像虽然包含丰富的纹理和颜色信息， 但缺乏空间深度信息， 很难单独从 RGB图像中做到精准的像素级分类， 进而精细分割出物体边缘， 这在面对镜面反射、 反光玻 璃、 强光下的物体等场景时尤其如此。 发明内容 [0003]针对现有技术中的上述不足， 本发明提供的一种用于RGB ‑D图像分割的方法解决 了现有图像分割方法在部分场景 下难以精细分割物体边 缘的问题。 [0004]为了达到上述发明目的， 本发明采用的技 术方案为： [0005]提供一种用于RGB ‑D图像分割的方法， 其包括以下步骤： [0006]S1、 获取目标图像的RGB图像和深度图像； 分别构建RGB图像特征提取与下采样网 络、 深度图像特 征提取与下采样网络； [0007]其中RGB图像特征提取与下采样网络包括依次连接的第一图像切分模块、 第一特 征提取与下采样模块、 第二特征提取与下采样模块、 第三特征提取与下采样模块和第四特 征提取与下采样模块； [0008]深度图像特征提取与下采样网络包括依次连接 的卷积层、 第二图像切 分模块、 第 五特征提取与下采样模块、 第六特征提取与下采样模块、 第七特征提取与下采样模块和第 八特征提取与下采样模块； [0009]S2、 将第五特征提取与下采样模块 的输出通过第一softmax层后的结果与第一特 征提取与下采样模块的输出相乘， 得到第一矩阵； [0010]S3、 将第六特征提取与下采样模块 的输出通过第二softmax层后的结果与第二特 征提取与下采样模块的输出相乘， 得到第二矩阵； [0011]S4、 将第七特征提取与下采样模块 的输出通过第三softmax层后的结果与第三特 征提取与下采样模块的输出相乘， 得到第三矩阵； [0012]S5、 将第八特征提取与下采样模块 的输出通过第四softmax层后的结果与第四特 征提取与下采样模块的输出相乘， 得到第四矩阵； [0013]S6、 将第四特征提取与下采样模块的输出通过瓶颈层后的结果与第四矩阵相加， 得到第五矩阵； [0014]S7、 通过第一上采样模块对第五矩阵进行上采样处理， 将处理结果与第三矩阵相 加， 得到第六矩阵； [0015]S8、 通过第二上采样模块对第六矩阵进行上采样处理， 将处理结果与第二矩阵相说　明　书 1/6 页 3 CN 114723951 B 3