(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211146222.5 (22)申请日 2022.09.20 (71)申请人 北京深势科技有限公司 地址 100082 北京市海淀区海淀东 三街2号 14层1401 (72)发明人 许瑞晗　王宇航　张林峰　孙伟杰　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 曹延鹏 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/194(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 冷冻电镜实空间解码 器的训练方法、 装置和 电子设备 (57)摘要 本发明提供了一种冷冻电镜实空间解码器 的训练方法、 装置和电子设备。 其中， 该方法包 括： 获取冷冻电镜的输入投影图像和标签信息； 将输入投影图像的投影参数输入解码器中， 输出 预测投影图像； 通过掩膜对三维重构目标结构的 机器学习表 示形式、 预测投影图像和输入投影图 像进行掩膜处理； 基于掩膜处理后的输入投影图 像和预测投影图像计算损失值， 基于损失值调整 解码器的参数； 直至满足预设的训练条件， 得到 训练完成的解码器。 该方式适用于机器学习场 景， 让基于机器学习的冷冻电镜三维重构更能满 足实际需求， 可专注于三维重构目标结构的重点 局部信息， 有效分离前景和背景， 从而提升重构 质量， 在图像 较少时也能取得较为 不错的结果。 权利要求书2页 说明书11页 附图5页 CN 115526850 A 2022.12.27 CN 115526850 A 1.一种冷冻电镜实空间解码器的训练方法， 其特 征在于， 包括： 从样本集中获取冷冻电镜的输入投影图像和所述输入投影图像的标签信息； 其中， 所 述输入投影图像的标签信息包括： 所述输入投影图像的投影参数和掩膜， 所述投影参数包 括投影角度和图像平 移； 将所述输入投影图像的投影参数输入解码器中， 对解码器 内部的三维重构目标结构的 机器学习表示形式的投影视野进 行空间变换， 输出预测投影图像； 其中， 所述机器学习表 示 形式包括显式表示形式和隐式表示形式； 通过所述掩膜对三维重构目标结构的机器学习表示形式、 所述预测投影图像和所述输 入投影图像进行掩膜处 理； 基于所述掩膜 处理后的输入投影图像和预测投影图像计算损失值， 基于所述损失值调 整所述解码器的参数； 多次执行从样本集中获取冷冻电镜的输入投影图像和所述输入投影图像的标签信息 的步骤， 直至满足预设的训练条件， 得到训练完成的解码器。 2.根据权利 要求1所述的方法， 其特征在于， 所述掩膜包括3D局域掩膜、 2D局域掩膜和/ 或平面前 景背景掩膜。 3.根据权利要求2所述的方法， 其特征在于， 所述3D局域掩膜包括内切球形掩膜或带有 权重的掩膜， 所述2D局域掩膜基于所述3D局域掩膜确定 。 4.根据权利要求2所述的方法， 其特征在于， 基于投影参数对所述3D局域掩膜进行空间 变换和投影 计算， 得到所述2D局域掩膜。 5.根据权利要求2所述的方法， 其特征在于， 所述平面前景背景掩膜用于区分投影图像 的前景区域和背景区域。 6.根据权利要求1所述的方法， 其特征在于， 所述三维重构目标结构的显 式表示形式包 括： 通过三维格点矩阵的格点编码三维结构的库伦势能值； 所述三维重构目标结构的隐式表示形式包括： 用神经网络表征把空间坐标映射到三维 结构的库伦势能值的函数。 7.根据权利要求1所述的方法， 其特征在于， 将所述输入投影图像的投影参数输入解码 器中的步骤之后， 所述方法还 包括： 对解码器内部的三维重构目标结构的机器学习表示形式的投影视野进行空间变换和 后续处理， 输出所述预测投影图像。 8.根据权利要求2所述的方法， 其特征在于， 基于所述掩膜 处理后的输入投影图像和预 测投影图像 计算损失值的步骤， 包括： 基于所述2D局域掩膜和平面前景背景掩膜对所述输入投影图像进行掩膜处理， 得到掩 膜处理后的所述输入投影图像； 基于所述平面前景背景掩膜对所述预测投影图像进行掩膜 处理， 得到掩膜 处理后的所 述预测投影图像； 基于掩膜处理后的所述输入投影图像和所述预测投影图像确定所述输入投影图像的 指定区域的损失值。 9.根据权利要求8所述的方法， 其特征在于， 掩膜 处理后的所述输入投影图像包括指定 区域和其 他区域； 得到掩膜处 理后的所述输入投影图像的步骤之后， 所述方法还 包括：权　利　要　求　书 1/2 页 2 CN 115526850 A 2通过正则化的方式抑制所述 其他区域的噪声。 10.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 将冷冻电镜的第一电镜图像输入投影参数预测编码器， 输出所述第 一电镜图像的空间 变换参数； 其中， 所述空间变换参数表征 所示第一电镜图像的投影参数； 将所述空间变换参数输入到所述冷冻电镜实空间解码器， 并进行训练迭代； 其中， 训练迭代产生的损 失值通过机器学习计算图反传给所述编码器和解码器， 并基 于所述训练迭代产生的损失值对所述编码器和所述 解码器的参数进行 更新。 11.一种冷冻电镜实空间解码器的训练装置， 其特 征在于， 所述装置包括： 输入投影图像获取模块， 用于从样本集中获取冷冻电镜的输入投影图像和所述输入投 影图像的标签信息； 其中， 所述输入投影图像的标签信息包括： 所述输入投影图像的投影参 数和掩膜， 所述投影参数包括投影角度和图像平 移； 预测投影图像输出模块， 用于将所述输入投影图像的投影参数输入解码器中， 对解码 器内部的三 维重构目标结构的机器学习表示形式的投影视野进行 空间变换， 输出预测投影 图像； 其中， 所述机器学习表示形式包括显式表示形式和隐式表示形式； 掩膜处理模块， 用于通过所述掩膜对三维重构 目标结构的机器学习表示形式、 所述预 测投影图像和所述输入投影图像进行掩膜处 理； 损失值计算模块， 用于基于所述掩膜 处理后的输入投影图像和预测投影图像计算损失 值， 基于所述损失值调整所述 解码器的参数； 解码器训练完成模块， 用于多次执行从样本集中获取冷冻电镜的输入投影图像和所述 输入投影图像的标签信息的步骤， 直至满足预设的训练条件， 得到训练完成的解码器。 12.一种电子设备， 其特征在于， 包括处理器和存储器， 所述存储器存储有能够被所述 处理器执行的计算机可执行指 令， 所述处理器执行所述计算机可执行指令以实现权利要求 1至10任一项所述的冷冻电镜实空间解码器的训练方法。 13.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机可 执行指令， 所述计算机可执行指令在被处理器调用和执行时， 计算机可执行指令促使处理 器实现权利要求1至10任一项所述的冷冻电镜实空间解码器的训练方法。权　利　要　求　书 2/2 页 3 CN 115526850 A 3