一种基于ETL处理的数据转移优化方法及设备
摘要:
本发明涉及一种基于ETL处理的数据转移优化方法及设备。其方法部分主要包括:多个ETL处理服务器之间通过业务数据量的占比来确定对相应业务进行ETL处理的ETL处理服务器;各个ETL处理服务器将相应业务的数据转移到对相应业务进行ETL处理的ETL处理服务器中,并将原本需要接收的相应业务的后续数据重定向到对相应业务进行ETL处理的ETL处理服务器;各个ETL处理服务器获取自身转移数据到对相应业务进行ETL处理的ETL处理服务器的时间T1,以及相应业务的后续数据上传到ETL处理服务器的时间T2,若T1大于T2,则下发延迟上传的指令给相应业务的后续数据上传方。本发明采用的方法可以优化网络数据的同步,提升数据转移效率,节约网络资源,避免数据顺序混乱。
0/0