(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111615997.8 (22)申请日 2021.12.27 (71)申请人 北京邮电大 学 地址 100876 北京市海淀区西土城路10号 申请人 北京东方通网信科技有限公司 　 北京东方通科技股份有限公司 (72)发明人 肖波　李翀　周卫东　黄永军　 (74)专利代理 机构 北京挺立专利事务所(普通 合伙) 11265 代理人 叶盛　高福勇 (51)Int.Cl. H04L 41/28(2022.01) H04L 9/40(2022.01) G06F 9/451(2018.01) (54)发明名称 一种基于视频录屏与OCR技术的跳板机违规 操作检测方法 (57)摘要 本发明公开了一种基于视频录屏与OCR技术 的跳板机违规操作检测方法， 首先对用户操作界 面进行录屏， 之后针对录屏的视频通过光标检测 或固定字符串检测判断出用户输入命令行的位 置， 然后通过OCR技术将用户输入的命令转化为 文本， 再对文本进行违规操作词的检测。 本发明 提出的基于视频录屏与OCR技术的跳板机违规操 作检测方法， 实现在跳板机监测运维人员的操 作， 对其进行审计及控制， 对用户误操作、 违规操 作进行审计、 定责， 同时降低用堡垒机进行审计、 运维的成本， 此外地无需硬件化 设施及软件安装 等， 使对用户在终端操作的监控、 审计、 运维更加 轻量、 简洁。 权利要求书1页 说明书5页 附图3页 CN 114285761 A 2022.04.05 CN 114285761 A 1.一种基于视频录屏与OCR技术的跳板机违规操作检测方法， 其特征在于， 首先对用户 操作界面进行录屏， 之后针对录屏的视频通过光标检测或固定字符串检测判断出用户输入 命令行的位置， 然后通过OCR技术将用户输入的命令转化为文本， 再对文本进 行违规操作词 的检测。 2.根据权利要求1所述的基于视频录屏与OCR技术的跳板机违规操作检测方法， 其特征 在于， 对用户操作界面进行录屏通过Asci inema实现。 3.根据权利要求1所述的基于视频录屏与OCR技术的跳板机违规操作检测方法， 其特征 在于， 对用户操作界面进行录屏从用户接入跳 板机开始， 到所有操作结束为止 。 4.根据权利要求1所述的基于视频录屏与OCR技术的跳板机违规操作检测方法， 其特征 在于， 录屏视频内容的拼接方法为： 当视频内容向下滚动时， 通过比对整体的像素向上偏 移， 判断屏幕中的内容是否有滚动， 每当滚动时， 将新的内容截图拼接至旧的内容后方， 形 成用户所有输入与输出的长截图。 5.根据权利要求1所述的基于视频录屏与OCR技术的跳板机违规操作检测方法， 其特征 在于， 固定 字符串由用户权限及主机名所组成。 6.根据权利要求1所述的基于视频录屏与OCR技术的跳板机违规操作检测方法， 其特征 在于， 通过固定字符串定位输入命令行的方法为： 在视频最初数帧中， 用户未曾进 行任何操 作， 截取末尾命令行即可提取出最初的固定字符串， 将此字符串记录下来与长截图中逐行 比对， 确定固定 字符串的位置， 即可确定 输入命令位置， 固定 字符串之后即为输入的命令 。 7.根据权利要求6所述的基于视频录屏与OCR技术的跳板机违规操作检测方法， 其特征 在于， 当检测出用户输入可使之改变的命令时， 重新对固定字符串进 行赋值， 之后再以这个 新的固定 字符串去逐行匹配， 确定 输入命令行的位置 。 8.根据权利要求1所述的基于视频录屏与OCR技术的跳板机违规操作检测方法， 其特征 在于， 通过光标定位输入命令行的方法为： 通过对光标位置定位， 返回光标的横、 纵坐标值， 确定其是否发生 突变， 从而将光标异变发生的部分确定为输出， 其 余为输入。 9.根据权利要求8所述的基于视频录屏与OCR技术的跳板机违规操作检测方法， 其特征 在于， 光标异变为每秒光标移动超过8个单位。 10.根据权利要求1所述的基于视频录屏与OCR技术的跳板机违规操作检测方法， 其特 征在于， 通过光标检测或固定字符串检测， 判断出输入命令行位置后， 对输入部分进行OCR 提取； 将OCR提取出的文本内容与违规词 库中的内容进 行比对， 确认用户是否输入了违规命 令， 若命令中含有违规操作词， 则将用户名、 操作时间和违规操作记录下来。权　利　要　求　书 1/1 页 2 CN 114285761 A 2一种基于视频录屏与OCR技术的跳板机违规操作检测方 法 技术领域 [0001]本发明涉及网络通信技术领域， 尤其涉及一种基于视频录屏与OCR技术的跳板机 违规操作检测方法。 背景技术 [0002]为集中管理运维人员的远程登陆， 往往会部署一台跳板机(Jump  Server)(Unix/ Windows系统的服务器)， 跳板机的示意图如图1所示， 所有运维人员都需要远程登录跳板 机， 然后从跳板机登录到其他服务器中进行运维操作。 跳板机可作为跳板批量操作远程设 备， 是系统管理员或运维人员常用的操作平台。 但由于跳板机没有实现对运维人员的审计 及控制， 因此使用跳 板机的过程中可能会产生 误操作、 违规操作等事故。 [0003]堡垒机在功能上综合了核心系统运维和安全审计管控两大主干功能， 在技术方 面， 通过切断终端计算机对网络和服务器 资源的直接访问， 而采用协 议代理的方式， 接管了 终端计算机对网络和服务器的访问。 因此运 维安全审 计能够拦截非法访问、 恶意攻击， 对不 合法命令进行阻断， 过滤掉所有对目标设备 的非法访问行为， 并对内部人员误操作和非法 操作进行审计监控， 以便事后责任 追踪。 [0004]堡垒机作为运维操作审计手段， 最核心的功能是实现对运维操作人员的权限控制 与操作行为审 计。 因此必须能够 截获运维人员的操作， 并分析出其操作内容。 堡垒机的示意 图如图2所示。 堡垒机的部署方式确保了它可以截获运 维人员的所有操作行为， 分析出其中 的操作内容以实现权限控制和行为审计的目的， 同时堡 垒机还采用了应用代理的技 术。 [0005]运维审计型堡垒机对于运维操作人员相当于一台代理服务器(Proxy  Sever)， 其 工作流程如图3所示。 运 维人员在操作过程中首先连接到堡垒机， 然后向堡垒机提交操作请 求； 该请求通过堡垒机的权限检查后， 堡垒机的应用代理模块将代替用户连接到目标设备 完成该操作， 之后目标设备将操作结果返回给堡垒机， 最后堡垒机再将操作结果返回给运 维人员。 通过上述的这种连接方式， 堡垒机在逻辑上将运 维人员与目标设备隔离开来， 建立 起“运维人员 ‑>堡垒机用户账号 ‑>授权‑>目标设备账号 ‑>目标设备 ”的管理模式， 解决操作 权限控制和行为审计。 [0006]堡垒机工作原理如图4所示。 实际使用场景中， 堡垒机使用人员可分为管理员、 运 维用户、 审计员三类用户。 管理人员需要根据相应的安全策略和 运维人员应有的操作权限 来对堡垒机的安全策略进行配置。 堡垒机管理员登录堡垒机后， 堡垒机内部的 “策略管理 ” 组件负责管理员的交互， 并将管理员输入的安全策略存储到堡垒机内部的策略配置库中。 堡垒机的核心部 分是“应用代理 ”组件， 负责中转运 维操作用户的操作并与堡垒机内部其他 组件及进 行交互。“应用代理 ”组件收到运 维人员的操作请求后调用 “策略管理”组件对该操 作行为进行核查， 核查依据便是管理员已经配置好的策略配置库， 如此次操作不符合安全 策略，“应用代理 ”组件将拒绝该操作行为的执行。 运维人员的操作行为通过 “策略管理 ”组 件的核查之后， “应用代理 ”组件则代替运维人员连接目标设备完成相应操作， 并将操作结 果返回给对应的运维操作人员； 同时此次操作过程被提交给堡垒机内部的 “审计模块 ”， 然说　明　书 1/5 页 3 CN 114285761 A 3