一种基于大数据的信息收集系统
Abstract:
本发明提供一种基于大数据的信息收集系统,涉及数据收集技术领域,所述系统包括:数据源选择模块;数据过滤模块;数据预处理模块;分布式计算模块,包括多个节点,每个节点分别执行数据集中不同数据的处理任务;任务分配模块,用于根据各节点的剩余计算能力和处理任务的计算量,得到第一任务权重,并通过第一任务权重将数据片段的处理任务分配给节点;负载均衡模块,用于将负载均衡权重向任务分配模块反馈,以达到动态调整处理任务的分配;扩容错处理模块,用于通过第二任务权重向任务分配模块反馈,以达到将该节点的任务分配至其他健康节点;数据存储模块;本发明提高了系统处理数据的速度和准确性。
Public/Granted literature
Patent Agency Ranking
0/0