(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211230985.8 (22)申请日 2022.10.10 (71)申请人 天津南大通用数据技 术股份有限公 司 地址 300384 天津市滨 海新区华苑产业区 海泰发展六道6号海泰绿色产业基地 J 座 (72)发明人 李龙　吴明远　 (74)专利代理 机构 天津企兴智财知识产权代理 有限公司 12 226 专利代理师 石倩倩 (51)Int.Cl. G06F 16/27(2019.01) G06F 16/2455(2019.01) G06F 16/21(2019.01) (54)发明名称 一种分布式数据库快速加载数据的方法及 装置 (57)摘要 本发明提供的一种分布式数据库快速加载 数据的方法及装置， 客户端启动任一计算节点对 应的加载系统的主控模式， 客户端向加载系统发 起批量加载请求； 加载系统获取数据文件的长 度、 计算节点个数， 计算获得每个计算节点加载 数据文件的偏移地址和数据长度； 每个计算节点 上的加载系统启动加载模式， 加载系统根据所述 偏移地址和数据长度从文件服务器中获取所述 数据文件中的加载数据， 并通过与计算节点上的 数据库建立连接， 发送所述加载数据给数据库。 本发明所述的一种分布式数据库快速加载数据 的方法及装置， 设置加载系统， 避免了由某个集 群计算节点因承担全部工作而造成的单点负载 失衡而引起的加载速度慢问题， 因此极大提高了 加载速度。 权利要求书2页 说明书6页 附图1页 CN 115292420 A 2022.11.04 CN 115292420 A 1.一种分布式数据库快速加载数据的方法， 其特征在于， 对应数据库集群中的计算节 点设置加载系统， 客户端与计算节点建立连接， 具体步骤如下： 客户端启动任一计算节点对应的加载系统的主控模式， 客户端向所述加载系统发起批 量加载请求； 所述加载系统接受到客户端的批量加载请求后， 向客户端的文件服务器获取数据文件 的长度； 加载系统与 数据库连接获取计算节点个数， 计算获得每个计算节点加载所述数据文件 的偏移地址和数据长度； 每个计算节点上的加载系统启动加载模式， 加载系统根据 所述偏移地址和数据长度从 文件服务器中获取所述数据文件中的加载数据， 并通过与计算节点上 的数据库建立连接， 发送所述加载 数据给数据库； 当加载系统接收到每 个集群计算节点的加载成功响应后， 本次批量数据加载完成。 2.根据权利要求1所述的一种分布式数据库 快速加载数据的方法， 其特征在于： 客户端 启动任一计算节点对应的加载系统的主控 模式， 具体步骤如下： 客户端连接到数据库集群中任一计算节点， 客户端向加载系统输入启动参数， 启动所 述计算节点的加载系统， 使所述加载系统工作在主控模式； 所述启动参数包括文件服务器 信息、 计算节点信息和 加载命令信息 。 3.根据权利要求1所述的一种分布式数据库 快速加载数据的方法， 其特征在于： 每个计 算节点上的加载系统启动加载模式， 具体步骤如下： 每个计算节点上的加载系统接收到所述计算节点对应的加载所述数据文件的偏移地 址和数据长度； 所述计算节点上的加载系统自动触发加载模式。 4.根据权利要求1所述的一种分布式数据库 快速加载数据的方法， 其特征在于： 所述加 载系统对应设置缓冲区机制进行 数据消费； 加载系统根据所述偏移地址和数据长度从文件服务器中获取所述数据文件中的加载 数据， 并通过与计算节点上的数据库建立连接， 发送所述加载数据给数据库， 具体步骤如 下： S101、 加载系统的生产者连接文件服务器获取数据文件， 根据所述偏移地址从文件服 务器中获取 所述数据文件中的加载 数据， 生产者将加载 数据加载至缓冲区； S102、 调整所述偏移地址 至本次缓冲区的数据加载 结束位置； S103、 所述加载系 统的消费者通过与计算节点上的数据库建立连接， 将缓冲 区的数据 加载至数据库； S104、 生产者根据步骤S102中的偏移地址将加载数据加载至缓冲区， 统计生产者加载 的数据总长度； S105、 将所述数据总长度与计算节点计算获得的数据长度对比， 若所述数据总长度小 于计算节 点计算获得的数据长度， 则重复步骤S102 ‑S104， 若数据总长度大于或等于计算节 点根据计算获得的数据长度， 则从当前加载数据的加载位置开始向后查找分隔符， 并继续 加载数据至缓冲区， 直至找到所述分隔符， 结束 数据加载， 消费者将缓冲区的数据加载至数 据库后， 退 出加载。权　利　要　求　书 1/2 页 2 CN 115292420 A 25.根据权利要求4所述的一种分布式数据库 快速加载数据的方法， 其特征在于， 生产者 将加载数据加载至缓冲区， 进一 步包括： 若对应的偏移地址为 零， 所述加载的具体步骤如下： 数据文件中的加载数据的起始位置之前无数据， 生产者根据偏移地址开始加载数据至 缓冲区； 若对应的偏移地址不 为零， 所述加载的具体步骤如下： 从所述偏移地址对应数据文件的数据位置开始向后 查找分隔符， 从所述分隔符后面开 始加载数据至缓冲区。 6.根据权利要求4所述的一种分布式数据库快速加载数据的方法， 其特征在于， 步骤 S105中， 所述加载 数据至缓冲区， 还 包括： 若缓冲区内缓冲数据达到缓冲空间的上限， 出现查找分隔符， 结束数据加载失败的情 况， 则调整缓冲区的阈值和空间上限。 7.根据权利要求4所述的一种分布式数据库 快速加载数据的方法， 其特征在于： 加载系 统的消费者 通过与计算节点上的数据库建立连接， 将缓冲区的数据加载至数据库， 还 包括： 若缓冲区的数据加载至数据库时出现错误， 则将缓冲区中的数据按照分隔符拆分成一 条条记录， 然后逐条进行加载， 当某条记录发生加载错误时， 将数据记录到记录文件中， 并 判断记录文件的记录条数是否达到设定值， 若达到设定值， 则退出加载； 若没有达到设定 值， 则继续进行 下一条数据加载， 直至所述缓冲区中的数据加载 结束。 8.一种分布式数据库 快速加载数据的装置， 其特征在于， 包括加载系统设置模块、 加载 请求发起模块、 数据文件长度获取模块、 计算节 点数据获取模块、 数据加载模块和加载结束 模块， 所述加载系统设置模块用于对应数据库集群中的计算节点设置加载系统， 客户端与计 算节点建立连接； 所述加载请求发起模块用于客户端启动任一计算节点对应的加载系统的主控模式， 客 户端向所述加载系统发起批量加载请求； 所述数据文件长度获取模块用于所述加载系统接受到客户端的批量加载请求后， 向客 户端的文件服 务器获取 数据文件的长度； 所述计算节点数据获取模块用于加载系统与数据库 连接获取计算节点个数， 计算获得 每个计算节点加载 所述数据文件的偏移地址和数据长度； 所述数据加载模块用于每个计算节点上的加载系统启动加载模式， 加载系统根据 所述 偏移地址和数据长度从文件服务器中获取所述数据文件中的加载数据， 并通过与计算节点 上的数据库建立连接， 发送所述加载 数据给数据库； 所述加载结束模块用于当加载系统接收到每个集群计算节点的加载成功响应后， 本次 批量数据加载完成。权　利　要　求　书 2/2 页 3 CN 115292420 A 3