(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211125403.X (22)申请日 2022.09.15 (71)申请人 南京航空航天大 学 地址 211100 江苏省南京市将军大道 29号 (72)发明人 尹建华　周苏伟　尚林伟　王慧捷　 (51)Int.Cl. G06T 7/00(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 5/50(2006.01) G06T 7/41(2017.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于多特征信息采集与融合的多模态 学习卷积神经网络模型的实施方法 (57)摘要 本发明将深度学习技术与偏光显微成像、 明 场显微成像和超光谱显微 成像技术相结合， 提出 了一种基于多种特征信息采集与融合的多模态 学习卷积神经网络(MML ‑CNN)模型的实施方法。 该方法包 括： (1)利用局部二值模式算法(LBP)提 取不同角度的偏光图像特征并叠加， 实现像元级 融合； (2)利用卷积层分别提取偏光图像和明场 图像特征并叠加， 实现特征级融合； (3)用三维卷 积神经网络(3D ‑CNN)对超光谱数据进行判别， 并 与图像的结果组合， 之后利用支持向量机(SV M)、 偏最小二乘法(PLS)或Fi sher判别等方法进行统 计分析， 实现决策级融合。 本发明将多模态信息 采集、 多模态学习、 多特征融合方式相结合， 从而 提供了一条癌症病理快捷精准智能诊断的新思 路。 权利要求书1页 说明书3页 附图1页 CN 115311259 A 2022.11.08 CN 115311259 A 1.一种基于多种特征采集与融合的多模态学习卷积神经网络模型的实施方法， 其特征 在于： 包括以下步骤： 步骤1： 从癌症组织切片样本中分别采集不同角度的偏光显微图像、 (NIR ‑Vis)明场显 微图像和(UV ‑Vis， NIR， IR)超光谱显微图像； 步骤2： 利用数据增强方法来扩充数据， 以降低过拟合 风险； 步骤3： 利用局部二值模式(LBP)算法提取不同偏振角度的偏光显微 图像的纹理特征， 并将其叠加得到融合偏光图像， 实现像元级融合； 步骤4： 利用若干对称的二维卷积层分别对融合偏光显微图像和明场显微图像进行下 采样， 提取 特征， 并将其结果叠加得到融合图像特 征， 实现特 征级融合； 步骤5： 从超光谱显微图像 中自动提取大量显微光谱， 并将光谱数据排列堆叠成三维结 构， 随后建立三维卷积神经网络(3D ‑CNN)模型并将其应用于超光谱数据以提取光谱特征， 并将光谱特征与融合图像特征进行组合， 利用支持向量机(SVM)、 偏最小二乘法(PLS)或 Fisher判别等方法进行统计分析， 实现决策级融合； 步骤6： 将该模型用于学习和预测癌症样本的相应数据， 实现癌症的高精度智能诊断。 2.根据权利要求1所述的方法， 其特征在于， 所述的步骤1中， 用低温切片机将癌症 组织 样本和正常组织样本分别切成一定厚度的切片， 用于偏光显微图像、 明场显微图像和超光 谱显微图像多模数据的采集。 3.根据权利要求1所述的方法， 其特 征在于， 所述的步骤2包括以下几个要点： 从总数据中分离出一定比例的数据用作测试集， 剩余数据通过数据增强的方法来扩充 其数量， 以降低过拟合 风险； 对于图像数据， 采用水平或垂直翻转， 不同角度旋转， 任意比例裁剪， 添加2％的高斯随 机噪声等方式来扩充数据量； 对于堆叠而成的三维超光谱数据， 同时对其中所有光谱采用左右平移1～2个波数， 将 多条光谱乘以不同比例(总比例和为100％)然后求和， 添加2％的高斯随机噪声等方式来扩 充数据量。 4.根据权利 要求1所述的方法， 其特征在于， 所述的步骤6中， 按照k＝10的k折交叉验证 法对模型进行训练， 随后用测试集数据测试模型的性能， 以验证本发明的有效性。权　利　要　求　书 1/1 页 2 CN 115311259 A 2一种基于多特征信息采集与融合的多模 态学习卷积神经 网络 模型的实施方 法 技术领域 [0001]本发明属于深度学习技术领域和偏光显微成像技术、 (NIR ‑Vis)明场显微成像技 术和(UV‑Vis， NIR， IR)超光谱显微成像技术领域， 尤其涉及一种基于多种特征采集与融合 的多模态学习卷积神经网络模型的实施方法。 背景技术 [0002]随着深度学习技术的发展， 神经网络模型在医疗领域的应用成为了热门。 然而， 医 疗领域不同于其他领域， 人体是一种复杂的生物系统， 单一的检测手段通常无法得出准确 的结果。 因此， 临床上对于疾病的诊断往往需要 结合多种检测技术作综合分析， 这就要求神 经网络模型 具有能够同时处 理多种数据类型的能力。 [0003]多模态融合是一个有效手段， 其主要包括四种方式： 信号级融合、 像元级融合、 特 征级融合和决策级融合。 现有的用于医疗领域的多模态融合神经网络模型往往只涉及其中 一种， 实现的仅是双 模态融合。 因此现有神经网络模型在 疾病诊断的应用中仍然受限， 其潜 力没有被完全开 发。 在此基础上， 开 发一种同时包含多种特征融合方式， 能够同时处理多种 数据类型的神经网络模型 具有重要意 义。 [0004]另一方面， 针对癌症组织的传统或临床检测仪器往往造价昂贵、 所提供的数据信 息量有限， 信噪比低。 在此基础上， 新型的光学检测技术如偏光显微成像技术、 明场显微成 像技术和 光谱显微成像技术具有突出 的优势， 且正走向临床， 相应的检测仪器也不断被开 发出来。 这些显微成像和光谱技术分别具有各自的特点和优势， 从而揭示病变组织不同的 生理特征、 物理特征和生化特征。 其中， 偏光显微成像技术可解释病变进程中胶原纤维等成 分的有序排列、 交联及双折射特性等变化信息； 明场显微成像技术可获得目标样本组织的 精细形貌及变化； 光谱成像技术则不仅可以揭示病变进程中组织的形貌变化， 还可以提供 更丰富的组织内生物大分子及微量成分的变化及分布(如蛋白质、 脂质、 核酸、 胶原、 钙化 等)。 综上所述， 将多种多模态融合方法运用到上述光学检测技术中， 从而可提取不同病变 组织的特征信息作为判断的有力依据， 并基于此建立一个多模态学习卷积神经网络(MML ‑ CNN)模型以实现癌症组织的高精度智能诊断将会很有意 义， 并极具 可靠性。 发明内容 [0005]发明目的： 本发明的目的在于提供一种基于多种特征信息采集、 包含三种特征融 合方式的多模态学习卷积神经网络模型的实施方法， 以此将三种多模态融合方式整合到单 一的神经网络模型中， 使其能够同时处理三种类型 的数据， 实现对于癌症组织的高精度智 能诊断。 [0006]技术方案： 一种基于多特征信息采集与融合的多模态学习卷积神经网络模型的实 施方法， 包括以下步骤： [0007]步骤1： 从癌症组织切片样本中分别采集不同角度的偏光显微图像、 (NIR ‑Vis)明说　明　书 1/3 页 3 CN 115311259 A 3