发明公开
- 专利标题: 一种数据采集方法、装置、设备及存储介质
-
申请号: CN202411099176.7申请日: 2024-08-12
-
公开(公告)号: CN118861397A公开(公告)日: 2024-10-29
- 发明人: 颜亮 , 所嘉懿 , 薛娇 , 杜威 , 李因营 , 张政凯
- 申请人: 浪潮云信息技术股份公司
- 申请人地址: 山东省济南市高新区浪潮路1036号浪潮科技园S01号楼
- 专利权人: 浪潮云信息技术股份公司
- 当前专利权人: 浪潮云信息技术股份公司
- 当前专利权人地址: 山东省济南市高新区浪潮路1036号浪潮科技园S01号楼
- 代理机构: 北京集佳知识产权代理有限公司
- 代理商 田达兵
- 主分类号: G06F16/951
- IPC分类号: G06F16/951
摘要:
本申请公开了一种数据采集方法、装置、设备及存储介质,涉及数据挖掘技术领域,应用于包含若干数据采集单元的控制节点,包括:将若干数据采集单元分配至若干网站服务器,以便若干数据采集单元从相应网站服务器采集实时数据;获取若干数据采集单元采集到的实时数据,并将实时数据保存至本地数据库,以便基于实时数据更新本地数据库的状态信息;根据预设数据上传周期和状态信息生成针对本地数据库中数据的数据上传任务,并基于预设任务执行策略执行数据上传任务,以完成相应的数据采集过程。这样一来,本申请可以通过不同网站服务器上的数据采集单元采集实时数据,并更新本地数据库的状态信息,以便及时上传数据;能够提高数据采集效率和时效性。