一种基于阿里云的大数据处理方法及系统

    公开(公告)号:CN113094154A

    公开(公告)日:2021-07-09

    申请号:CN202110355586.3

    申请日:2021-04-01

    IPC分类号: G06F9/46 H04L29/08

    摘要: 本发明公开了一种基于阿里云的大数据处理方法,包括通过阿里云对采集到的数据进行预处理;通过阿里云对预处理后的数据进行多任务处理;将在数据进行多任务处理中产生的告警入库;将多任务处理后的数据通过阿里云存储,本发明基于阿里云的计算和存储平台,充分的利用了阿里云的数据处理能力(MaxCompute EB级的大数据存储和分析能力),通过Blink让esper以分布式多task的形式运行在阿里云上,解决了esper单进程效率低的问题,提供了更强的数据分析能力,并且通过阿里云平台中的各种组件提高了数据处理的效率。