一种数据迁移的方法
摘要:
本发明公开了一种数据迁移的方法,采用Spark计算引擎读取数据并进行存储,将N个分区中的数据进行重新分区,重新分区后第i个分区中存储的数据均同时分别对应输入至第i个缓冲区,每个缓冲区基于阻塞队列实现。重分区结束后,每个分区都会启动两个线程,一个生产者线程、一个消费者线程,生产者线程遍历每个分区中的每一条数据并将其写入阻塞队列中,并根据数据库资源的的实时使用情况,动态的修改速度的阈值,然后根据阈值控制生产者线程将数据写入阻塞队列中的速度,在生产者线程将数据写入阻塞队列的同时消费者线程从阻塞队列中获取数据并将其写入至数据库中,从而完成数据的同步。本发明能够提高写入速度,从而提高迁移的速度。
0/0