Invention Grant
- Patent Title: 一种基于大数据的信息收集系统
-
Application No.: CN202411276655.1Application Date: 2024-09-12
-
Publication No.: CN118796950BPublication Date: 2024-11-12
- Inventor: 李秋敏 , 陈俊威
- Applicant: 麦乐峰(厦门)智能科技有限公司
- Applicant Address: 福建省厦门市思明区塔埔东路171号1401单元
- Assignee: 麦乐峰(厦门)智能科技有限公司
- Current Assignee: 麦乐峰(厦门)智能科技有限公司
- Current Assignee Address: 福建省厦门市思明区塔埔东路171号1401单元
- Agency: 福州顺升知识产权代理事务所
- Agent 陈为志
- Main IPC: G06F16/27
- IPC: G06F16/27 ; G06F16/25 ; G06F9/50 ; G06F9/48

Abstract:
本发明提供一种基于大数据的信息收集系统,涉及数据收集技术领域,所述系统包括:数据源选择模块;数据过滤模块;数据预处理模块;分布式计算模块,包括多个节点,每个节点分别执行数据集中不同数据的处理任务;任务分配模块,用于根据各节点的剩余计算能力和处理任务的计算量,得到第一任务权重,并通过第一任务权重将数据片段的处理任务分配给节点;负载均衡模块,用于将负载均衡权重向任务分配模块反馈,以达到动态调整处理任务的分配;扩容错处理模块,用于通过第二任务权重向任务分配模块反馈,以达到将该节点的任务分配至其他健康节点;数据存储模块;本发明提高了系统处理数据的速度和准确性。
Public/Granted literature
- CN118796950A 一种基于大数据的信息收集系统 Public/Granted day:2024-10-18
Information query