(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211127861.7 (22)申请日 2022.09.16 (71)申请人 中国人民解 放军空军 军医大学 地址 710032 陕西省西安市新城区长乐西 路169号 (72)发明人 冯达云　高原　郭保霖　蔡青　 (74)专利代理 机构 西安正华恒远知识产权代理 事务所(普通 合伙) 61271 专利代理师 黄鑫 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/593(2017.01) G06T 7/73(2017.01) G06V 10/82(2022.01) A61B 3/02(2006.01)G06N 3/04(2006.01) (54)发明名称 一种科研实验室用基于神经反馈的大脑视 觉检测方法 (57)摘要 本发明公开了一种科研实验室用基于神经 反馈的大脑视觉检测方法， 包括以下步骤： 在检 测图像的二维位置信息的基础上融合视觉标的 物的深度信息， 实现三维立体空间下的视觉标的 物检测， 获得视觉标的物的三维坐标； 根据视神 经反馈信号 以及视觉标的物的三维坐标拟合出 大脑视觉的响应模型。 本发明以深度学习算法为 核心， 融合了传统机器视觉的深度信息， 解决了 单一深度学习算法只能获取二维坐标信息的不 足， 获得的完备三维坐标； 根据视神经反馈信号 以及视觉标的物的三维坐标拟合出大脑视觉的 响应模型， 以用于对待预测的大脑视觉进行视觉 检测， 模型识别提高了视觉检测的效率， 降低繁 琐性。 权利要求书3页 说明书7页 附图1页 CN 115511809 A 2022.12.23 CN 115511809 A 1.一种科研实验室用基于神经反馈的大脑视 觉检测方法， 其特 征在于： 包括以下步骤： 步骤S1、 选取一组样本个体， 并在视觉检测场景中采集样本个体的视神经反馈信号和 视觉检测场景 的场景左视图、 场景右视图， 采用深度学习目标检测算法对场景左视图中的 视觉检测场景进行学习 得到自主视觉检测模型， 获得检测图像， 得到视觉标 的物的二维位 置信息； 步骤S2、 通过半全局立体匹配算法S GBM对所述场景左视图、 场景右视图进行立体匹配， 完成对视觉检测场景的全局深度感知， 获得深度图像， 得到视觉标的物的深度信息， 在检测 图像的二 维位置信息的基础上融合视觉标的物的深度信息， 实现三 维立体空间下的视觉标 的物检测， 获得视 觉标的物的三维坐标； 步骤S3、 根据视神经反馈信号以及视觉标的物的三维坐标拟合出大脑视觉的响应模 型， 以用于对待预测的大脑视 觉进行视 觉检测。 2.根据权利要求1所述的一种科研实验室用基于神经反馈的大脑视觉检测方法， 其特 征在于： 所述采用深度学习目标检测算法对场景左视图中的视觉检测 场景进行学习得到自 主视觉检测模型， 包括： 依据预设尺寸比例关系的锚点框anchor在场景左视图中可能出现视觉标的物目标的 区域进行预测， 根据位置回归算法对视觉标 的物预测框的位置进行微调， 再采用非极大值 抑制算法筛 选出最优的视 觉标的物预测框， 以获得表征视 觉标的物的检测图像； 选取场景左视图作为深度学习目标检测算法的输入图像， 选取检测图像作为深度 学习 目标检测算法的输出图像， 采用深度学习目标检测算法基于所述输入图像和输出图像进 行 算法训练得到所述自主视 觉检测模型， 所述自主视 觉检测模型的模型表达式为： g＝YOLO V5(G)； 式中， g为场景左视图， G为检测图像， YOLO  V5为深度学习目标检测算法。 3.根据权利要求2所述的一种科研实验室用基于神经反馈的大脑视觉检测方法， 其特 征在于： 所述得到 视觉标的物的深度信息， 包括： 在半全局立体匹配算法SGBM中， 对输入的场景左视图和场景右视图进行水平梯度 预处 理， 根据视觉检测场景中同一个像素点在场景左视图和场景右视图中各自对应位置， 依 次 进行代价聚合计算、 视差计算以及后处理视差优化， 以完成对避障场景的全局深度感知， 获 得深度图像， 以及从深度图像中得到 视觉标的物的深度信息 。 4.根据权利要求3所述的一种科研实验室用基于神经反馈的大脑视觉检测方法， 其特 征在于： 所述获得视 觉标的物的三维坐标， 包括： 以检测图像和深度图像在二维空间中的一一映射关系为原则， 对检测图像的二维位置 信息进行坐标解码得到场景左视图下的视 觉标的物的二维位置坐标； 通过检测图像的二维位置坐标以坐标索引方式在深度图像中得到视觉标的物的二维 位置坐标对应的深度信息， 解码得到二维位置坐标对应的深度坐标， 并将视觉标的物的二 维位置坐标和视 觉标的物的深度坐标 结合得到 视觉标的物的三维坐标。 5.根据权利要求4所述的一种科研实验室用基于神经反馈的大脑视觉检测方法， 其特 征在于： 所述根据视神经反馈信号以及视觉标的物的三维坐标拟合出大脑视觉的响应模 型， 包括： 将视觉标的物的三维坐标作为BP神经网络的输入项， 将视神经反馈信号作为BP神经网权　利　要　求　书 1/3 页 2 CN 115511809 A 2络的输出项， 采用BP神经网络对所述输入项和输出项进行卷积训练得到表征视觉标的物的 三维坐标和视神经反馈信号映射关系的所述大脑视觉的响应模型， 所述大脑视觉的响应模 型的模型表达式为: S＝BP([X,Y,Z])； 式中， S为视神经反馈信号， [X,Y,Z]为视神经反馈信号， BP为BP神经网络； 其中， 所述视觉标的物的三维坐标所属场景左视 图、 场景右视 图的和视神经反馈信号 源自于对同一视 觉标的物的同时段采集。 6.根据权利要求5所述的一种科研实验室用基于神经反馈的大脑视觉检测方法， 其特 征在于： 所述对待预测的大脑视 觉进行视 觉检测， 包括： 将待检测个体安置于视觉检测场景中， 在视觉检测场景中采集待检测个体的视神经反 馈信号真实值和视 觉检测场景的场景左视图、 场景右视图； 利用自主视觉检测模型在场景左视图中得到表征视觉标的物的检测图像， 通过半全局 立体匹配算法SGBM对所述场景左视图、 场景右视图进行立体匹配， 获得深度图像以及视觉 标的物的深度信息， 在检测图像的二 维位置信息的基础上融合视觉标的物的深度信息获得 视觉标的物的三维坐标； 利用大脑视觉的响应模型基于视觉标的物的三维坐标得到待检测个体的视神经反馈 信号预测值， 将所述待检测个体的视神经反馈信号真实值和待检测个体的视神经反馈信号 预测值进行相似度检测， 其中， 若所述视神经反馈信号真实值和所述视神经反馈信号预测值进行相似度低于预设阈 值， 则将待检测个 体的大脑视 觉标记为异常状态； 若所述视神经反馈信号真实值和所述视神经反馈信号预测值进行相似度高于或等于 预设阈值， 则将待检测个 体的大脑视 觉标记为 正常状态； 所述相似度检测的计算公式为： 式中， I为视神经反馈信号真实值和所述视神经反馈信号预测值的相似度， Sr为视神经 反馈信号真实值的向量形式， S为视神经反馈信号预测值的向量形式， T为 转置运算符。 7.根据权利要求6所述的一种科研实验室用基于神经反馈的大脑视觉检测方法， 其特 征在于， 当待检测个体的大脑视觉处于异常状态， 则利用视神经反馈信号真实值和所述视 神经反馈信号预测值 量化出异常程度， 所述异常程度的计算公式为： 式中， P为异常程度， |Sr‑S|为Sr和S间的向量距离， |S|为S和0向量间的向量距离 。 8.根据权利要求7所述的一种科研实验室用基于神经反馈的大脑视觉检测方法， 其特 征在于， 所述场景左视图和场景右视图分别由双目摄像头的左目摄像头和右目摄像头对应 采集， 所述双目摄像头与样本个体或待检测个体的双目位置一致， 以实现样本个体或待检 测个体在视觉检测场景中的视 觉检测仿真模拟。 9.根据权利要求8所述的一种科研实验室用基于神经反馈的大脑视觉检测方法， 其特权　利　要　求　书 2/3 页 3 CN 115511809 A 3