-
公开(公告)号:CN103631815B
公开(公告)日:2018-01-12
申请号:CN201210306762.5
申请日:2012-08-27
申请人: 深圳市腾讯计算机系统有限公司
摘要: 本发明实施方式提出一种块同步并行计算中实现检查点的方法、装置和系统。将分布式文件系统中的数据节点和块同步并行计算系统中对应的工作节点布置在同一物理设备上;按照分布式文件系统的文件带区格式对工作节点上的检查点数据文件进行划分,并创建相对应的校验文件;将划分后的检查点数据文件和相对应的校验文件,在该同一物理设备上从工作节点移动到数据节点;将移动到该数据节点的检查点数据文件和校验文件复制到该块同步并行计算系统的另外数据节点中。本发明实施方式减少了数据复制拷贝时间并降低了数据传输开销,从而提高了数据处理效率。
-
公开(公告)号:CN103631815A
公开(公告)日:2014-03-12
申请号:CN201210306762.5
申请日:2012-08-27
申请人: 深圳市腾讯计算机系统有限公司
CPC分类号: G06F17/30174
摘要: 本发明实施方式提出一种块同步并行计算中实现检查点的方法、装置和系统。将分布式文件系统中的数据节点和块同步并行计算系统中对应的工作节点布置在同一物理设备上;按照分布式文件系统的文件带区格式对工作节点上的检查点数据文件进行划分,并创建相对应的校验文件;将划分后的检查点数据文件和相对应的校验文件,在该同一物理设备上从工作节点移动到数据节点;将移动到该数据节点的检查点数据文件和校验文件复制到该块同步并行计算系统的另外数据节点中。本发明实施方式减少了数据复制拷贝时间并降低了数据传输开销,从而提高了数据处理效率。
-