- 专利标题: 一种跨多数据中心的数据分布式处理加速方法及其系统
-
申请号: CN202110175768.2申请日: 2021-02-08
-
公开(公告)号: CN112532464B公开(公告)日: 2021-05-11
- 发明人: 郭得科 , 陈亦婷 , 袁昊 , 郑龙 , 罗来龙
- 申请人: 中国人民解放军国防科技大学
- 申请人地址: 湖南省长沙市开福区德雅路109号
- 专利权人: 中国人民解放军国防科技大学
- 当前专利权人: 中国人民解放军国防科技大学
- 当前专利权人地址: 湖南省长沙市开福区德雅路109号
- 代理机构: 北京风雅颂专利代理有限公司
- 代理商 曾志鹏
- 主分类号: H04L12/24
- IPC分类号: H04L12/24 ; H04L29/08
摘要:
本发明提出了一种跨多数据中心的数据分布式处理加速方法。本方法中每个站点只要获得所需的输入数据就能够执行对应的计算任务。每个站点的输入数据加载、map计算、shuffle传递和reduce计算过程都不需要等待其他的站点的前一个过程都完成对应的操作。同时,本发明提供了精确的计算时间估计,并使得本发明方法适应动态的广域网带宽来提升SDTP的实用性,能够极大地减少作业的响应时间。本发明还提出了一种跨多数据中心的数据分布式处理加速系统,对应于上述方法,能够充分的使用跨区域分布站点的网络和计算资源,从而有效地分析跨区域分布的数据而不必等待前一阶段的瓶颈站点完成对应的数据传输或计算任务。
公开/授权文献
- CN112532464A 一种跨多数据中心的数据分布式处理加速方法及其系统 公开/授权日:2021-03-19