Invention Grant
- Patent Title: 一种基于乐观容错方法的迭代器
-
Application No.: CN201911021197.6Application Date: 2019-10-25
-
Publication No.: CN110795265BPublication Date: 2021-04-02
- Inventor: 郭文鹏 , 赵宇海 , 王国仁 , 季航旭 , 李博扬
- Applicant: 东北大学 , 北京理工大学
- Applicant Address: 辽宁省沈阳市和平区文化路3号巷11号;
- Assignee: 东北大学,北京理工大学
- Current Assignee: 东北大学,北京理工大学
- Current Assignee Address: 辽宁省沈阳市和平区文化路3号巷11号;
- Agency: 沈阳东大知识产权代理有限公司
- Agent 李在川
- Main IPC: G06F11/07
- IPC: G06F11/07 ; G06F9/448
Abstract:
本发明公开一种基于乐观容错方法的迭代器,属于大数据环境下的分布式迭代计算技术领域,该迭代器包括增量迭代器和批量迭代器,综合考虑了不同大小的迭代任务和不同故障率的迭代计算任务,引入一个补偿函数,系统使用该函数重新初始化丢失的分区。发生故障时,系统暂停当前迭代,忽略失败的任务,并将丢失的计算重新分配给新获取的节点,调用分区上的补偿函数以恢复一致状态并恢复执行。对于故障频率较低的情况,大大减少了计算的延迟,提高了迭代处理效率。对于故障频率较高的情况,该迭代器可以保证迭代处理效率不低于优化前的迭代器。该乐观容错迭代器不用添加任务额外的操作,有效降低了容错开销。
Public/Granted literature
- CN110795265A 一种基于乐观容错方法的迭代器 Public/Granted day:2020-02-14
Information query