(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211128727.9 (22)申请日 2022.09.16 (71)申请人 山东大学 地址 250061 山东省济南市历下区经十路 17923号 (72)发明人 赵子健　逄雪娇　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 闫伟姣 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) (54)发明名称 一种基于深度学习的消化道识别系统及方 法 (57)摘要 本发明公开的一种基于深度学习的消化道 识别系统及方法， 包括： 输入处理模块， 用于获取 消化道图像， 并对消化道图像进行预处理， 获得 预处理后输入数据； 消化道识别模块， 用于根据 预处理后输入 数据和训练好的消化道识别模型， 获得消化道识别结果； 其中， 训练好的消化道识 别模型通过全局信息提取路径从预处理后输入 数据中提取不同空间维度的全局特征信息， 通过 局部信息提取路径从预处理后输入数据提取局 部特征信息， 通过特征信息融合模块将全局特征 信息和局部特征信息进行特征融合， 获得融合后 特征， 根据融合后特征获得消化道识别结果。 提 高了消化道 识别的准确率。 权利要求书2页 说明书7页 附图3页 CN 115423788 A 2022.12.02 CN 115423788 A 1.一种基于深度学习的消化道 识别系统， 其特 征在于， 包括： 输入处理模块， 用于获取消化道图像， 并对消化道图像进行预处理， 获得预处理后输入 数据； 消化道识别模块， 用于根据预处理后输入数据和训练好的消化道识别模型， 获得消化 道识别结果； 其中， 训练好的消化道识别模型通过全局信 息提取路径从预处理后输入数据中提取不 同空间维度的全局特征信息， 通过局部信息提取路径从预 处理后输入数据中提取局部特征 信息， 通过特征信息融合模块将全局特征信息和局部特征信息进行特征融合， 获得融合后 特征， 根据融合后特 征获得消化道 识别结果。 2.如权利要求1所述的一种基于深度 学习的消化道识别系统， 其特征在于， 对消化道图 像进行归一化、 裁剪和重新调整 大小操作， 得到预设尺寸的输入图像， 将其划分为相同大小 的图像块， 并通过图像块映射层转换为 一维向量， 获得 预处理后输入数据。 3.如权利要求1所述的一种基于深度 学习的消化道识别系统， 其特征在于， 全局信 息提 取路径包括三个依次连接的transformer编码层， 且相邻transformer编码层之间设置下采 样， 所有t ransformer编码层的输出构成不同空间维度的全局特 征信息。 4.如权利要求3所述的一种基于深度学习的消化道识别系统， 其特征在于， 三个 transformer编码层包含不同个数的transformer块， 每个transformer块均包括交替的多 头注意力机制和多层感知机 。 5.如权利要求1所述的一种基于深度 学习的消化道识别系统， 其特征在于， 通过卷积操 作和CSA模块搭建了一个四层的局部信息提取路径用于捕获局部特征信息， 每一层均由一 个卷积层、 批归一 化层、 激活函数和CSA模块构成， 最后输出提取的局部特 征信息。 6.如权利要求5所述的一种基于深度学习的消化道识别系统， 其特征在于， CSA模块包 括通道注意力模块和空间注意力模块， 通道注 意力模块的输入为CSA模块的输入 特征图， 将 经过通道注意力加权的特征图与CSA模块的输入 特征图相加后获得通道注意力模块的输出 特征图， 空间注意力模块的输入为通道注意力模块的输出特征图， 将经过空间注意力加权 的特征图与通道注意力模块的输出特征图相加后获得空间注意力模块的输出特征图， 将 CSA模块的输入特征图与空间注意力模块的输出特征图相加后， 获得CSA模块的输出特征 图。 7.如权利要求1所述的一种基于深度 学习的消化道识别系统， 其特征在于， 特征信 息融 合模块将不同空间维度的全局特征信息进 行维度和尺度统一后融合， 获得融合后全局特征 信息， 将融合后全局特 征信息与局部特 征信息融合， 输出融合后特 征。 8.一种基于深度学习的消化道 识别方法， 其特 征在于， 包括： 获取消化道图像， 并对消化道图像进行 预处理操作， 获得 预处理后输入数据； 消化道识别模块根据 预处理后输入数据和训练好的消化道识别模型， 获得消化道识别 结果； 其中， 训练好的消化道识别模型通过全局信 息提取路径从预处理后输入数据中提取不 同空间维度的全局特征信息， 通过局部信息提取路径从预 处理后输入数据中提取局部特征 信息， 通过特征信息融合模块将全局特征信息和局部特征信息进行特征融合， 获得融合后 特征， 根据融合后特 征获得消化道 识别结果。权　利　要　求　书 1/2 页 2 CN 115423788 A 29.一种电子设备， 其特征在于， 包括存储器和处理器以及存储在存储器上并在处理器 上运行的计算机指 令， 所述计算机指 令被处理器运行时， 完成权利要求8任一项 所述的一种 基于深度学习的消化道 识别方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 用于存储计算机指令， 所述计算机指令被 处理器执行时， 完成权利要求8任一项所述的一种基于深度学习的消化道 识别方法的步骤。权　利　要　求　书 2/2 页 3 CN 115423788 A 3