(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210659832.9 (22)申请日 2022.06.13 (71)申请人 湖州师范学院 地址 313000 浙江省湖州市吴兴区二环东 路759号 (72)发明人 康艳蕾　段振宇　李重　胡海龙　 叶星火　苏晓凤　 (74)专利代理 机构 杭州中利知识产权代理事务 所(普通合伙) 33301 专利代理师 李妮 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/24(2022.01)G06V 10/44(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于视觉Tran sformer的药物晶体类型 识别及分割方法 (57)摘要 本发明提出了一种基于视觉Tran sformer的 药物晶体类型识别及分割方法， 通过将来自卷积 神经网络(CNN)的特征图进行编码为序列信息， 利用Transformer提取图片全局特征； 通过和传 统U‑Net网络结合设计的混合网络恢复图片的空 间信息， 同时混合网络有效的利用了低层次的 CNN特征， 构建了一个极为鲁棒的识别及分割网 络模型用于药物晶体的识别分割， 该方法不仅能 够识别药物晶体类型， 分割效果显著， 同时模型 结构简单。 此外， 该方法克服了药物晶体图片数 据量不足的问题， 通过小数据集来实现准确度不 俗的药物晶体 类型识别、 分割。 权利要求书2页 说明书5页 附图2页 CN 115187778 A 2022.10.14 CN 115187778 A 1.一种基于视觉Transformer的药物晶体类型识别及分割方法， 其特征在于： 包括以下 步骤： S1.收集药物晶体图片的样本， 经处理得到输入图像和分割掩码， 将输入图像和分割掩 码作为模型的训练集： S2.对输入图像和分割掩码同时进行随机旋转操作、 随机翻转操作， 将操作后的输入图 像和分割掩码数据对作为训练数据； S3.将步骤S2中的训练数据尺寸缩放到统一大小， 使用卷积神经网络提取图像特征， 并 保存特征图信息， 将特征图进 行展平操作后加入位置编码送入Tranformer进行自注 意力编 码， 将编码结果改变维度恢复空间信息后进行上采样操作， 和上述保存的特征图信息进行 同级跳跃拼接， 重复多次至恢复图像原始空间信息， 得到识别分割结果， 将识别分割结果与 分割掩码真实值进行比较， 再反向传播， 调整模型参数； S4.将所需识别分割的药物晶体图片送入网络模型进行运算， 将晶体区域的像素分割， 标记上不同的像素值， 得到预测的识别分割结果， 根据不同像素值， 判断所属药物晶体类 型。 2.如权利 要求1所述的一种基于视觉Transformer的药物晶体类型识别及分割方法， 其 特征在于： 步骤S1具体包括以下步骤： S1.1获取药物晶体的原始图片， 对图像进行预处理得到输入图像， 对输入图像进行人 工标注， 获得图像的分割标签； S1.2将分割标签转换成与输入图像大小对应的二值png图片， 得到与输入图像对应的 分割掩码； S1.3将输入图像和分割掩码压缩成numpy数据格式， 以数据对的形式送入训练网络 。 3.如权利 要求2所述的一种基于视觉Transformer的药物晶体类型识别及分割方法， 其 特征在于： 步骤S1.2中， 得到与述输入图像对应的分割掩码的方法， 具体包括以下步骤： a)使用开源的图片标注软件l abelme， 逐点标注图片中晶体的边缘， 将标注完的闭合曲 线打上晶体 类别的标签， 生成jso n文件； b)编写程序， 读入上述生成的j son文件， 使用numpy数学工具包生成一张与原图大小一 致的H×W×1的零值矩阵， 通过json文件中的信息， 将晶体对应的像素位置， 不同晶体对应 不同数值， 赋值到与原图大小一 致H×W×1的零值矩阵； c)将数组转换成与输入图像大小对应的二值png图片， 像素值即为对应原始图片的类 别值， 得到与输入图像对应的分割掩码。 4.如权利 要求1所述的一种基于视觉Transformer的药物晶体类型识别及分割方法， 其 特征在于： 步骤S3中， 预测的识别分割结果的方法具体步骤为： S31.将步骤S2得到的训练数据尺寸缩放到统一大小， 送入训练网络； S32.经过第一层卷积神经网络， 卷积核大小为7 ×7， 步距为2， padding＝3， 输出特征图 标记为x1， 将x1送入第一个ResNetV2残差块， 输出特征图标记为x2， 将x2送入第二个 ResNetV2残差块， 输出特征图记为x3， 将x3送入第三个ResNetV2残差块， 将得到的输出特征 图进行展平处理， 变为一维向量， 并加上位置编码， 经过Dropout后送入12个连续的 Transformer自注意力层， 输出与原始大小相同的一维向量， 输入Transformer的每一个值 都有三个可 学习的权 重(Q， K， V)用于自注意力模块， 表示 为：权　利　要　求　书 1/2 页 2 CN 115187778 A 2其中softmax函数表示 为： 则一个Transformer层的输出 结果可以表示 为： ZL+1＝MLP(LN(Z′L))+Z′L Z′L＝MSA(LN(ZL)+ZL 其中MSA表示多头注意力机制， MLP表示多层感知机， LN表示层归一化， ZL为一个 Transformer层的输入， ZL+1为该Transformer层的输出 结果， Z'L为多头注意力输出； S33.将一维向量做改变维度处理， 恢复空间信息， 再进行三次上采样操作， 即为上述 ResNetV2残差网络的逆操作， 按x3， x2， x1 的顺序， 分别将保存的特征图与每次上采样结果 进行通道拼接， 最后再进 行一次上采样， 恢复训练图片的空间信息， 得到预测的识别分割结 果。 5.如权利 要求4所述的一种基于视觉Transformer的药物晶体类型识别及分割方法， 其 特征在于： 步骤S3中， 调整模型参数的方法具体步骤为： 基于步骤S33产生的预测的识别分 割结果， 计算 其预测准确率， 药物晶体识别部分采用交叉熵损失函数， 其计算公式如下： L＝‑[Ylogy+(1‑Y)log(1‑y)] 其中， Y为真实标签数据， 其 值为1或0， y为预测值， 为预测概 率， 其值为0到1之间； 药物晶体分割部分采用DiceL oss， 为集合相似度函数， 其计算公式如下： 其中， |X∩Y|表示两个集合对应元素点乘， 然后逐元素相乘的结果相加求和， 其 中， X表 示预测值， Y表示真实值， 真实值由0或1表示， 根据预测损失反向传播， 调整模型参数。权　利　要　求　书 2/2 页 3 CN 115187778 A 3