一种数据处理方法、装置、电子设备及存储介质
Abstract:
本公开提供了一种数据处理方法、装置、电子设备及存储介质,应用于数据处理技术领域,所述方法包括:获取不同类型的数据源的变动数据信息;通过第一接口,在集群中至少两个节点创建所述变动数据信息对应的至少两个任务,在节点中存储所述任务;集群中的节点对集群中除自身以外的至少一个节点创建的任务进行备份,使集群中每一个节点均包括任务集;所述任务集包括节点自身创建的任务与备份的任务;集群中每一个节点并行处理所述任务集中自身创建的任务;集群中任一节点满足第一条件的情况下,处理任务集中其他节点创建的任务。如此,可以实现多源数据的实时批处理,满足当前业务场景下大数据处理、实时性的高要求。
Public/Granted literature
Patent Agency Ranking
0/0