一种面向Hadoop集群的数据同步方法

    公开(公告)号:CN108540511A

    公开(公告)日:2018-09-14

    申请号:CN201710122295.3

    申请日:2017-03-03

    IPC分类号: H04L29/08

    摘要: 本发明提出了一种面向Hadoop集群的数据同步方法,包括在两个Hadoop集群间建立安全链接,集群A发送文件同步请求并发送自己的私钥给集群B,集群B用自己的公钥对集群A的私钥加密之后将加密获得密钥发送给集群A,集群A接收密钥并作为自己的公钥,继而建立了安全的连接。两个集群对文件数据块分别计算强弱校验和,在数据同步之前对比文件快的校验和数据,强弱校验和都相等的数据块则视为相同的文件file数据块,在文件同步传输时只传输差异的数据,相同的数据块不进行传输。接收数据的集群在接收到差异数据的同时将本地数据的差异想删除后添加从其他集群传输的数据组成新的数据。