一种网络数据采集方法及系统
摘要:
本发明涉及大数据技术领域。本发明公开了一种网络数据采集系统,该系统包括服务器,服务器包括:任务下发模块,用于创建用户信息获取任务,将用户信息获取任务分配至不同的任务池,计算任务池优先级,根据任务下发规则,得到并传输具有优先级参数的用户信息获取任务;数据解析模块,与任务下发模块数据连接,用于获取来自中间代理服务端的用户信息流量数据,数据解析模块构建报文解析神经网络模型,将待解析报文信息输入训练后报文解析神经网络模型,判断待解析报文信息中是否包括指定用户信息并提取。通过设置任务优先级,优先处理重要的任务,提高任务处理效率。本公开实施例还公开了一种网络数据采集方法。
公开/授权文献
0/0