发明公开
- 专利标题: 一种基于ETL处理的数据转移优化方法及设备
-
申请号: CN202210950931.2申请日: 2022-08-09
-
公开(公告)号: CN115391435A公开(公告)日: 2022-11-25
- 发明人: 孔飘红 , 张静 , 金学奇 , 由甲川 , 钱建国 , 裘雨音 , 李剑 , 熊佩华 , 张静 , 刘华蕾
- 申请人: 国网浙江省电力有限公司 , 国网浙江省电力有限公司培训中心
- 申请人地址: 浙江省杭州市黄龙路8号;
- 专利权人: 国网浙江省电力有限公司,国网浙江省电力有限公司培训中心
- 当前专利权人: 国网浙江省电力有限公司,国网浙江省电力有限公司培训中心
- 当前专利权人地址: 浙江省杭州市黄龙路8号;
- 代理机构: 杭州华鼎知识产权代理事务所
- 代理商 王旭峰
- 主分类号: G06F16/25
- IPC分类号: G06F16/25 ; G06F16/27
摘要:
本发明涉及一种基于ETL处理的数据转移优化方法及设备。其方法部分主要包括:多个ETL处理服务器之间通过业务数据量的占比来确定对相应业务进行ETL处理的ETL处理服务器;各个ETL处理服务器将相应业务的数据转移到对相应业务进行ETL处理的ETL处理服务器中,并将原本需要接收的相应业务的后续数据重定向到对相应业务进行ETL处理的ETL处理服务器;各个ETL处理服务器获取自身转移数据到对相应业务进行ETL处理的ETL处理服务器的时间T1,以及相应业务的后续数据上传到ETL处理服务器的时间T2,若T1大于T2,则下发延迟上传的指令给相应业务的后续数据上传方。本发明采用的方法可以优化网络数据的同步,提升数据转移效率,节约网络资源,避免数据顺序混乱。