(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210636992.1 (22)申请日 2022.06.07 (71)申请人 来也科技 （北京） 有限公司 地址 100080 北京市海淀区丹棱 街3号B座 17层1-43单 元 (72)发明人 刘海龙　黄安　王尧　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 罗岚 (51)Int.Cl. G06V 30/413(2022.01) G06V 30/148(2022.01) G06V 30/422(2022.01) G06V 10/44(2022.01) G06V 10/36(2022.01)G06V 10/28(2022.01) G06V 10/22(2022.01) G06V 10/82(2022.01) (54)发明名称 基于RPA和AI实现IA的BOM识别方法及装置 (57)摘要 本公开提出一种基于RPA和AI实现IA的BOM 识别方法及装置， 其中， 方法包括： 获取目标图 像； 从目标图像中， 确定至少一个目标BOM区域； 针对至少一个目标BOM区域中任一目标BOM区域， 对任一目标BOM区域进行表格识别， 以得到至少 一个候选BOM； 从至少一个候选BOM中确定目标 BOM， 由此， 可 实现智能自动化地从目标图像中定 位并识别出BOM， 代替了人工操作， 提升了BOM内 容识别效率和准确率。 权利要求书4页 说明书14页 附图9页 CN 114937279 A 2022.08.23 CN 114937279 A 1.一种基于机器人流程自动化RPA和人工智能AI实现智能自动化IA的物料清单BOM识 别方法， 其特 征在于， 包括： 获取目标图像； 从所述目标图像中， 确定 至少一个目标BOM区域； 针对所述至少一个目标BOM区域中任一目标BOM区域， 对所述任一目标BOM区域进行表 格识别， 以得到 至少一个候选BOM； 从所述至少一个候选BOM中确定目标BOM 。 2.根据权利要求1所述的方法， 其特 征在于， 所述方法由RPA机器人 执行。 3.根据权利要求1所述的方法， 其特征在于， 所述从所述目标图像中， 确定至少一个目 标BOM区域， 包括： 从所述目标图像中， 识别出 所述目标图像对应的候选横线段集 合与候选竖线段集 合； 从所述候选横线段集合与所述候选竖线段集合中， 按照设定方向， 依次确定各候选横 线段子集合和各候选竖线段子集合， 其中， 所述候选横线段子集合中包括位于同一区域的 多个横线段， 目标 竖线段集 合中包括 位于同一区域的多个竖线段； 将各所述候选横线段子集合与各所述候选横线段子集合位于同一区域的各所述候选 竖线段子集 合进行合并， 以得至少一个参 考表格； 对所述至少一个参考表格中的各参考表格， 根据 各所述参考表格中的面积最大的连通 区域对应的外 接矩形， 确定各参 考表格对应的候选BOM区域； 根据各所述候选BOM区域对应的横线段数量以及竖线段数量， 确定至少一个目标BOM区 域。 4.根据权利要求3所述的方法， 其特征在于， 所述从所述目标图像中， 识别出所述目标 图像对应的候选横线段集 合与候选竖线段集 合， 包括： 以设定水平矩形窗口作为第一元素窗口， 对所述目标图像进行第一滤波处理， 以得到 第一图像， 其中， 第一图像包括所述目标图像中的各个候选横线段的像素点； 以设定垂直矩形窗口作为第二元素窗口， 对所述目标图像进行第二滤波处理， 以得到 第二图像， 其中， 第二图像包括所述目标图像中的各个候选竖线段的像素点； 根据所述第一图像中各像素点的坐标， 确定各候选横线段的第一外接矩形坐标， 其中， 所述第一外 接矩形坐标用于指示各 所述候选横线段的端点 坐标； 根据所述第二图像中各像素的坐标， 确定各候选竖线段的第 二外接矩形坐标， 其中， 所 述第二外 接矩形坐标用于指示各 所述候选竖线段的端点 坐标； 根据各所述候选横线段的第一外接矩形坐标， 确定候选横线段集合， 并根据各所述候 选竖线段的第二外 接矩形坐标， 确定候选竖线段集 合。 5.根据权利要求4所述的方法， 其特征在于， 所述根据各所述候选横线段的第 一外接矩 形坐标， 确定候选横线 段集合， 并根据各所述候选竖线段的第二外接矩形坐标， 确定候选竖 线段集合， 包括： 根据各所述候选横线段的第 一外接矩形坐标， 从各所述候选横线段中删除与 所述目标 图像的边界横框线段匹配的最长候选横线段， 并根据各所述候选竖线段的第二外接矩形坐 标， 从各所述候选竖线段中删除与所述目标图像的边界竖框线段匹配的最长候选竖线段； 根据删除所述最长候选横线段后的各所述候选横线段， 确定候选横线段集合， 并根据权　利　要　求　书 1/4 页 2 CN 114937279 A 2删除所述 最长候选竖线段后的各 所述候选竖线段， 确定候选竖线段集 合。 6.根据权利要求3所述的方法， 其特征在于， 所述根据各所述候选BOM区域对应的横线 段数量以及竖线段 数量， 确定 至少一个目标BOM区域， 包括： 获取各所述候选BOM区域中的任一 候选BOM区域中的横线段 数量以及竖线段 数量； 在所述任一候选BOM区域中的横线段的数量大于或等于第一设定数量阈值， 并且所述 任一候选BOM区域中的竖线段的数量大于或等于第二设定数量阈值时， 将所述任一候选BOM 区域， 作为目标BOM区域。 7.根据权利要求3所述的方法， 其特征在于， 所述从所述候选横线段集合与 所述候选竖 线段集合中， 按照设定方向， 依次确定各目标横线段集 合和各目标 竖线段集 合， 包括： 根据所述设定方向， 依次确定各横坐标起始点以及与 各所述横坐标起始点对应的各纵 坐标结束点； 从所述候选横线段集 合中， 根据各横坐标起始点， 确定各候选横线段子集 合； 从所述候选竖线段集 合中， 根据各纵坐标 结束点， 确定各候选竖线段子集 合。 8.根据权利要求1 ‑7中的任一项所述的方法， 其特征在于， 所述针对所述至少一个目标 BOM区域中任一目标BOM区域， 对 所述任一目标BOM区域进行表格识别， 以得到至少一个候选 BOM， 包括： 将所述任一目标BOM区域分别输入至 图像分割 网络和文本检测网络， 以得到所述图像 分割网络输出的所述任一目标BOM区域中的多个单元格， 以及所述文本检测网络输出 的所 述任一目标BOM区域中的多个文本片段； 对各所述目标BOM区域中的多个单元格中的各单元格以及与各单元格位置对应的文本 片段进行合并， 以得到各 所述单元格对应的文本片段； 采用文本识别网络对各所述目标BOM区域中的各所述单元格对应的文本片段进行内容 识别， 以得到各 所述单元格对应的文本内容； 根据各所述目标BOM区域中的各所述单元格以及各所述单元格对应的文本内容， 确定 各所述目标BOM区域对应的候选BOM 。 9.根据权利要求8所述的方法， 其特 征在于， 所述方法还 包括： 在多个文本片段中的任一文本片段的位置与多个相邻单元格的位置重合 时， 确定所述 多个相邻单 元格中的至少一个分隔线， 其中， 所述分隔线用于分隔多个相邻单 元格； 根据所述至少一个分隔线的位置， 对所述任一文本片段进行分割， 以得到多个文本子 片段； 根据多个文本子片段的位置与所述多个相邻单元格的位置， 对所述多个文本子片段与 所述多个相邻单 元格进行合并。 10.根据权利要求1 ‑7中任一项所述的方法， 其特征在于， 所述从所述至少一个候选BOM 的中确定目标BOM， 包括： 基于自然语言处理技术NLP， 对所述至少一个候选BOM进行BOM表头识别， 以确定至少一 个目标子BOM的表头所处的位置； 根据设定内容方向以及所述至少一个目标子BOM的表头中各所述目标子BOM的表头所 处的位置， 以确定各目标子BOM； 对各所述目标子BOM进行合并， 以确定目标BOM 。权　利　要　求　书 2/4 页 3 CN 114937279 A 3