(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211125402.5 (22)申请日 2022.09.15 (71)申请人 南京航空航天大 学 地址 211100 江苏省南京市将军大道 29号 (72)发明人 尹建华　尚林伟　王慧捷　 (51)Int.Cl. G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/14(2022.01) G06N 3/04(2006.01) G06T 7/00(2017.01) (54)发明名称 一种基于分子谱像特征采集与融合的多模 态学习卷积神经网络模型的实施方法 (57)摘要 本发明将深度学习技术与显微偏光成像技 术、 显微荧光成像技术和显微拉曼光谱技术相结 合， 提出了一种基于分子谱像特征采集与融合的 多模态学习卷积神经网络(MML ‑CNN)模型的实施 方法。 该方法包括： (1)利用局部二值模式算法 (LBP)提取不同角度的偏光图像特征并叠加， 实 现像元级融合； (2)利用卷积层分别提取偏光图 像和荧光图像特征并叠加， 实现特征级融合； (3) 利用一维卷积神经网络(1D ‑CNN)判别拉曼光谱， 并与图像的结果组合， 之后用支持向量机(SV M)、 偏最小二乘法(PLS)或Fi sher判别等方法进行统 计分析， 实现决策级融合。 本发明将多模态信息 采集、 多模态学习、 多特征融合方式相结合， 从而 提供了一条癌症病理快精准智能诊断的新思路。 权利要求书1页 说明书3页 附图1页 CN 115294434 A 2022.11.04 CN 115294434 A 1.一种基于分子谱像特征采集与融合的多模态学习卷积神经网络模型的实施方法， 其 特征在于： 包括以下步骤： 步骤1： 从癌症组织切片样本 中分别采集不同角度的显微偏光图像、 显微荧光图像和显 微拉曼光谱； 步骤2： 利用数据增强方法来扩充数据， 以降低过拟合 风险； 步骤3： 利用局部二值模式(LBP)算法提取不同偏振角度的显微偏光 图像的纹理特征， 并将其叠加得到融合偏光图像， 实现像元级融合； 步骤4： 利用若干对称的卷积层分别对融合偏光图像和荧光图像进行下采样， 提取特 征， 并将其结果叠加得到融合图像特 征， 实现特 征级融合； 步骤5： 建立一维卷积神经网络(1D ‑CNN)模型并将其应用于拉曼光谱数据， 其结果与融 合图像的结果进行组合， 并用支持向量机(SVM)、 偏最小二乘法(PLS)或Fisher判别 等方法 进行统计分析， 实现决策级融合； 步骤6： 将该模型用于学习和预测癌症样本的相应数据， 实现癌症的高精度智能诊断。 2.根据权利要求1所述的方法， 其特征在于， 所述的步骤1中， 用低温切片机将癌症 组织 样本和正常组织样本分别切成一定厚度的切片， 用于显微偏光图像、 显微荧光图像和显微 拉曼光谱多模数据的采集。 3.根据权利要求1所述的方法， 其特 征在于， 所述的步骤2包括以下几个要点： 从总数据中分离出一定比例的数据用作测试集， 剩余数据通过数据增强的方法来扩充 其数量， 以降低过拟合 风险； 对于图像数据， 采用水平或垂直翻转， 不同角度旋转， 任意比例裁剪， 添加2％的高斯随 机噪声等方式来扩充数据量； 对于光谱数据， 采用左右平移 1～2个波数， 多条光谱乘以不同比例(总比例和为100％) 然后求和， 添加2％的高斯随机噪声等方式来扩充数据量。 4.根据权利 要求1所述的方法， 其特征在于， 所述的步骤6中， 按照k＝10的k折交叉验证 法对模型进行训练， 随后用测试集数据测试模型的性能， 以验证本发明的有效性。权　利　要　求　书 1/1 页 2 CN 115294434 A 2一种基于分子谱像特征采集与融合的多模 态学习卷积神经 网 络模型的实施方 法 技术领域 [0001]本发明属于深度学习技术领域和显微偏光成像技术、 显微荧光成像技术、 显微拉 曼光谱技术领域， 尤其涉及一种基于分子谱像特征采集与融合的多模态学习卷积神经网络 模型的实施方法。 背景技术 [0002]随着深度学习技术的发展， 神经网络模型在医疗领域的应用成为了热门。 然而， 医 疗领域不同于其他领域， 人体是一种复杂的生物系统， 单一的检测手段通常无法得出准确 的结果。 因此， 临床上对于疾病的诊断往往需要 结合多种检测技术作综合分析， 这就要求神 经网络模型 具有能够同时处 理多种数据类型的能力。 [0003]多模态融合是一个有效手段， 其主要包括四种方式： 信号级融合、 像元级融合、 特 征级融合和决策级融合。 现有的用于医疗领域的多模态融合神经网络模型往往只涉及其中 一种， 实现的仅是双 模态融合。 因此现有神经网络模型在 疾病诊断的应用中仍然受限， 其潜 力没有被完全开 发。 在此基础上， 开 发一种同时包含多种特征融合方式， 能够同时处理多种 数据类型的神经网络模型 具有重要意 义。 [0004]另一方面， 针对癌症组织的传统或临床检测仪器往往造价昂贵、 所提供的数据信 息量有限， 信噪比低。 在此基础上， 新型的光学检测技术如拉曼光谱检测技术、 荧光检测技 术、 偏振光检测技术具有突出 的优势， 且正走向临床， 相应的检测仪器也不断被开发出来。 综上所述， 将多种多模态融合方法运用到上述光学检测技术中， 并以此建立一个多模态学 习卷积神经网络(M ML‑CNN)模型以实现癌症组织的高精度智能诊断将会很有意 义。 发明内容 [0005]发明目的： 本发明的目的在于提供一种基于多种分子谱像特征采集、 包含三种特 征融合方式的多模态学习卷积神经网络模型的实施方法， 以此将三种多模态融合方式整合 到单一的神经网络模型中， 使其能够同时处理三种类型 的数据， 实现对于癌症组织的高精 度智能诊断。 [0006]技术方案： 一种基于分子谱像特征采集与融合的多模态学习卷积神经网络模型的 实施方法， 包括以下步骤： [0007]步骤1： 从癌症组织切片样本中分别采集不同角度的显微偏光图像、 显微荧光图像 和显微拉曼光谱； [0008]步骤2： 利用数据增强方法来扩充数据， 以降低过拟合 风险； [0009]步骤3： 利用局部二值模式(LBP)算法提取不同偏振角度的显微偏 光图像的纹理特 征， 并将其叠加得到融合偏光图像， 实现像元级融合； [0010]步骤4： 利用若干对称的卷积层分别对融合偏光图像和荧光图像进行下采样， 提取 特征， 并将其结果叠加得到融合图像特 征， 实现特 征级融合；说　明　书 1/3 页 3 CN 115294434 A 3