发明公开
CN115576924A 一种数据迁移的方法
审中-实审
- 专利标题: 一种数据迁移的方法
-
申请号: CN202211286629.8申请日: 2022-10-20
-
公开(公告)号: CN115576924A公开(公告)日: 2023-01-06
- 发明人: 刘元莹 , 胡航 , 陈永明 , 赵罡 , 王昊炜 , 夏妍 , 曹美玲 , 徐溯 , 侯超 , 姚鹏 , 刁杨华 , 陈董秀 , 范洵 , 王文涛
- 申请人: 国网江苏省电力有限公司镇江供电分公司
- 申请人地址: 江苏省镇江市电力路182号
- 专利权人: 国网江苏省电力有限公司镇江供电分公司
- 当前专利权人: 国网江苏省电力有限公司镇江供电分公司
- 当前专利权人地址: 江苏省镇江市电力路182号
- 代理机构: 南京经纬专利商标代理有限公司
- 代理商 徐澍
- 主分类号: G06F16/21
- IPC分类号: G06F16/21 ; G06F16/27 ; G06F16/28
摘要:
本发明公开了一种数据迁移的方法,采用Spark计算引擎读取数据并进行存储,将N个分区中的数据进行重新分区,重新分区后第i个分区中存储的数据均同时分别对应输入至第i个缓冲区,每个缓冲区基于阻塞队列实现。重分区结束后,每个分区都会启动两个线程,一个生产者线程、一个消费者线程,生产者线程遍历每个分区中的每一条数据并将其写入阻塞队列中,并根据数据库资源的的实时使用情况,动态的修改速度的阈值,然后根据阈值控制生产者线程将数据写入阻塞队列中的速度,在生产者线程将数据写入阻塞队列的同时消费者线程从阻塞队列中获取数据并将其写入至数据库中,从而完成数据的同步。本发明能够提高写入速度,从而提高迁移的速度。