发明公开
- 专利标题: 一种多节点并行处理海量任意目录结构存档文件的方法
-
申请号: CN202111031407.7申请日: 2021-09-03
-
公开(公告)号: CN113791919A公开(公告)日: 2021-12-14
- 发明人: 扈紫豪 , 黄祥志 , 王宝玉 , 臧文乾 , 王更科 , 余涛 , 赵亚萌 , 王栋
- 申请人: 中科星通(廊坊)信息技术有限公司 , 廊坊中科空间信息技术有限公司 , 北京四维新世纪信息技术有限公司
- 申请人地址: 河北省廊坊市经济技术开发区云鹏道20号新亚研发8层; ;
- 专利权人: 中科星通(廊坊)信息技术有限公司,廊坊中科空间信息技术有限公司,北京四维新世纪信息技术有限公司
- 当前专利权人: 中科星通(廊坊)信息技术有限公司,廊坊中科空间信息技术有限公司,北京四维新世纪信息技术有限公司
- 当前专利权人地址: 河北省廊坊市经济技术开发区云鹏道20号新亚研发8层; ;
- 代理机构: 北京志霖恒远知识产权代理事务所
- 代理商 杜武
- 主分类号: G06F9/54
- IPC分类号: G06F9/54 ; G06F9/50 ; G06F9/48 ; G06F3/06
摘要:
本发明提供了一种多节点并行处理海量任意目录结构存档文件的方法,其特征在于,包括如下步骤:用户输入文件路径,并下发处理文件的任务至任务控制节点;任务控制节点派发任务至任务下发消息队列,同时指定工作节点执行工作任务;执行工作任务的工作节点成为执行节点,执行节点执行任务,完成任务后将完成信息反馈至任务反馈消息队列;任务控制节点从任务反馈队列拉取任务完成情况,判断符合停止情况后,停止工作线程。本申请在任务执行过程中,根据任务完成情况动态扩容缩容;将任务派发给任务下发消息队列,每个节点的任务负载更加均衡,处理效率更好。