(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211131103.2 (22)申请日 2022.09.16 (71)申请人 安徽省立医院 （中国科 学技术大学 附属第一医院） 地址 230061 安徽省合肥市庐阳区庐江路 17号 申请人 中国人民解 放军陆军 军医大学第一 附属医院 (72)发明人 张潇潇　卞修武　姚小红　时雨　 林勇　陈聪　闫红　 (74)专利代理 机构 北京科迪生专利代理有限责 任公司 1 1251 专利代理师 关玲 (51)Int.Cl. G06V 10/82(2022.01)G06N 3/08(2006.01) G06T 7/11(2017.01) G06T 7/00(2017.01) G06T 7/187(2017.01) G06V 10/25(2022.01) (54)发明名称 一种基于图像标注和分割模型的训练方法 及装置 (57)摘要 本发明提供了一种基于图像标注和分割模 型的训练方法及装置， 包括以下步骤： 获取样本 图像， 对照连续切片的免疫组织化学染色配准图 像标注得到对应的的掩膜图像； 将样本图像、 掩 膜图像作为一组训练样本， 将样 本图像按照不同 染色空间的模板进行适应性色彩变换， 基于多组 训练样本对分割模型进行训练。 本发 明提供的技 术方案改善了病理图像感兴趣目标难以精确标 注的问题， 提升标注效率和有效性， 提高了算法 对不同染色条件和扫描仪器产生的图像的泛化 性， 使用主动学习模式和迁移学习技术， 使模型 在小型数据集训练上达 到良好的分割性能。 权利要求书2页 说明书8页 附图4页 CN 115546605 A 2022.12.30 CN 115546605 A 1.一种基于图像标注和分割模型的训练方法， 其特 征在于， 包括如下步骤： 步骤1、 获取样本病理组织连续切片全景图像序列， 包括H&E染色图像和CD34、 α ‑SMA免 疫组织化学染色图像； 挑选样本数据集中典型 的图像， 其余数据在模型训练的反馈后重新 进行挑选； 通过医学先验知识划分微血管分型； 通过将对应的CD 34和α‑SMA免疫组织化学染 色图像与待标注的H&E图像进行配准， 获得准确的血管存在和分型结果的参考标准； 对H&E 图像对照配准后的免疫组织 化学图像进行 标注， 获取样本 H&E图像的多分类血 管标注掩膜； 步骤2、 根据 所述步骤1中标注后的图像得到的训练样本， 进行预处理； 训练图像分割卷 积神经网络模型， 以完成微血管分型分割的任务； 对当前训练好的模 型进行性能评估； 根据 性能评估结果挑选出模型表现不佳的图像， 重新挑选需要标注的样本数据； 根据新一轮的 训练样本， 重复训练， 直到 达到预定的性能指标。 2.根据权利要求1所述的一种基于图像标注和分割 模型的训练方法， 其特征在于， 所述 步骤1中的配准的算法包括手动配准、 基于图像强度的自动配准或者基于地标的半自动配 准方法， 应用刚性或非刚性形变。 3.根据权利要求1所述的一种基于图像标注和分割 模型的训练方法， 其特征在于， 训练 图像分割卷积神经网络模型 具体包括： 步骤(1)、 收集样本图像和对应的微血 管掩膜图像作为 一组样本； 步骤(2)、 将组织块图像以设定的放大倍数从全景图像的金字塔结构中提取出来， 或者 将组织块图像以设定的放大倍数进行缩放； 将多组样本按照一定的比例随机分配到训练集 或验证集， 基于多组训练样本对原 始分割模型进行训练； 步骤(3)、 构建网络模型； 步骤(4)、 进行随机采样， 即网络模型按照固定的输入大小对该样本图像和对应的微血 管掩膜图像进行随机的一致的剪裁， 边缘不足输入大小的图像进行反射填充， 以增大数据 集的多样性； 步骤(5)、 进行 数据增强； 步骤(6)、 进行难分样本挖掘， 改善多分类图像分割中的类别不均衡。 4.根据权利要求1所述的一种基于图像标注和分割 模型的训练方法， 其特征在于， 对当 前训练好的模型进行性能评估； 根据性能评估结果挑选出模型表现不佳的图像， 重新挑选 需要标注的样本数据； 根据新一轮的训练样本， 重复训练， 直到达到预定的性能指标， 具体 包括以下步骤： 步骤(1)、 将验证集样本按照滑动窗算法进行切块； 步骤(2)、 将切片图像输入训练过的网络模型， 获取对应切片的5种分型的血管和背景 分割概率矩阵； 步骤(3)、 分割结果后处理， 包括： 通过滑动窗图像融合算法， 进行图像重建和对重叠的 子分割概率矩阵进行加权平均， 对多个子 分割矩阵进 行组合并确定待分割图像上每个像素 点的分割结果； 通过连通域算法、 多数投票算法、 分割区域形态学处理算法和噪点处理算 法， 对组合后的分割结果进行后处 理， 获得最终分割结果； 步骤(4)、 对训练模型进行性能评估； 步骤(5)、 应用主动学习策略对训练模型进行迭代， 直到性能参数达 到预定目标。 5.根据权利要求3所述的一种基于图像标注和分割 模型的训练方法， 其特征在于， 所述权　利　要　求　书 1/2 页 2 CN 115546605 A 2步骤(1)包括： 使用全局阈值算法对组织块所在的区域进 行提取， 将图像上面积大于 设定最 小面积值的空 白区域去除， 按照连通域算法提取出连续的组织块， 如果存在多个连通域则 将该区域按照连通性进 行分割， 得到独立的组织块图像； 提取出的组织块图像形状不规则， 计算每个组织块形状的最小边界框， 以每个边界框为待分割的组织块的范围； 记录每个待 分割组织块图像的左上角(x,y)坐标， 以便组织块图像与空白区域重建为待分割区域的大 小。 6.根据权利要求3所述的一种基于图像标注和分割 模型的训练方法， 其特征在于， 所述 步骤(3)中， 所述网络模型为卷积神经网络、 深度神经网络或循环神经网络 。 7.根据权利要求3所述的一种基于图像标注和分割 模型的训练方法， 其特征在于， 所述 步骤(5)包括： 以公开数据集中从不同医院收集的样本图像为多个色彩模板， 将 每个模板由 RGB空间分解为苏木精、 伊红和残差三个通道， 计算苏木精、 伊红两个通道的权重值， 设定为 模板值， 创建模板值集合； 将样本图像的通道分解为苏木精、 伊红和残差三个通道， 将样本 图像苏木精、 伊红通道的权重随机调整为模板值集合中的一个值； 重新组合该图像调整后 的苏木精、 伊红通道和未经调整的残差通道， 合成为新的样本图像， 和血管掩膜图像作为一 组训练样本 。 8.根据权利要求3所述的一种基于图像标注和分割 模型的训练方法， 其特征在于， 所述 步骤(6)包括： 使用加权焦点损失函数和加权Dice损失函数进 行组合， 以提高难分样 本在损 失函数中的比重 。 9.实现权利要求1 ‑8之一所述的一种基于图像标注和分割模型的训练方法的训练装 置， 其特征在于， 包括： 预处理模块， 用于对多个病理全景图像和标注掩膜分别进行组织提 取与裁切， 获得多个大小相同的小图片和对应的掩膜图片， 构成样本集； 训练模块， 用于将 所述样本集输入初始神经网络模型， 并将所述初始神经网络模型的输出通过计算得到所述 样本集中每个所述小图片上每个像素 的输出概率向量； 损失函数计算模块， 用于根据预设 样本集的每个所述小图片的输出概率矩阵计算梯度模长和梯度密度， 并根据所述梯度模长 和梯度密度计算损失函数； 后处理模块， 用于将与预处理模块裁切的样本图像对应的模型 预测得到的概率图融合重建为全景图像， 并进行分型投票、 轮廓平滑、 孔洞填充、 噪点处理 操作； 性能评估模块， 用于对训练得到的神经网络模型的性能表现进 行评估， 提取出模型预 测效果不佳的样本， 进行 数据标注和算法训练的迭代过程。 10.根据权利要求9所述的训练装置， 其特征在于， 所述初始神经网络模型通过迁移学 习训练得到， 作为用于对病理全景图像上感兴趣组织进行分割的神经网络模型。权　利　要　求　书 2/2 页 3 CN 115546605 A 3