一种多节点并行处理海量任意目录结构存档文件的方法
摘要:
本发明提供了一种多节点并行处理海量任意目录结构存档文件的方法,其特征在于,包括如下步骤:用户输入文件路径,并下发处理文件的任务至任务控制节点;任务控制节点派发任务至任务下发消息队列,同时指定工作节点执行工作任务;执行工作任务的工作节点成为执行节点,执行节点执行任务,完成任务后将完成信息反馈至任务反馈消息队列;任务控制节点从任务反馈队列拉取任务完成情况,判断符合停止情况后,停止工作线程。本申请在任务执行过程中,根据任务完成情况动态扩容缩容;将任务派发给任务下发消息队列,每个节点的任务负载更加均衡,处理效率更好。
0/0