公开(公告)号：CN112597219A

公开(公告)日：2021-04-02

申请号：CN202011481442.4

申请日：2020-12-15

申请人： 中国建设银行股份有限公司

发明人： 朱晓真 ,  邓昌胜 ,  陈章立

IPC分类号： G06F16/25 ,  G06F9/50 ,  G06F16/27

摘要： 本发明涉及用于将大数据量的文本文件导入分布式数据库的方法和装置，其特征在于，所述方法具有下列步骤：查询并获取文件导入参数配置；将所述大数据量的文本文件以数据量平均的方式分成多个文件读取子区域；以对应数量的线程拆分所有文件读取子区域，其中，每个文件读取子区域中的数据分别被拆分到同等数量的多个子文件中；将拆分后得到的所有子文件分配给多个分布式AP；使用多线程异步外呼发送文件导入请求至各分布式AP，并且各分布式AP分别以分配到的子文件个数发起对应数量的线程进行文件导入，其中，按照拆分后的子文件的编号并发导入到各分表中。此外，本发明还涉及用于将大数据量的文本文件导入分布式数据库的装置。

公开(公告)号：CN114116317A

公开(公告)日：2022-03-01

申请号：CN202111440418.0

申请日：2021-11-30

申请人： 中国建设银行股份有限公司

发明人： 朱晓真 ,  邓昌胜 ,  母睿 ,  蔡富强 ,  陈章立 ,  黎伟 ,  宋岚岚

IPC分类号： G06F11/14

摘要： 本申请涉及数据存储技术领域，提供一种数据处理方法、装置、设备及介质，用于提高数据备份的效率。该方法包括：接收数据备份请求，获取包括多行数据的待备份数据表；确定所述待备份数据表的第一标识，基于所述第一标识确定一级分区；根据预存的第一参数和所述多行数据中每一行数据的哈希码，确定每一行数据的第二标识；同时启动多个线程，基于每一行数据的第二标识，分别将每一行数据备份至所述一级分区中对应的二级分区中。本申请实施例中同时启动多个线程进行并发备份，可以提高数据备份的效率。