一种多线程数据处理方法、装置、设备及存储介质
摘要:
本申请公开了一种多线程数据处理方法、装置、设备及存储介质,涉及数据处理领域,包括:对待处理的批量数据进行分片,以获取相应的各数据分片,为各数据分片分别分配至少一个处理线程;基于各所述数据分片内数据的处理逻辑确定相应的逻辑算子,在各所述处理线程中并行执行所述数据分片对应的所述逻辑算子,以完成对各所述数据分片的数据处理;在对各所述数据分片进行数据处理的过程中,对各所述处理线程进行实时监控,以便基于相应的监控结果对所述处理线程或所述数据分片进行相应的调整。可见,本申请通过采用多线程并发处理策略,能够同时处理多个数据片段,显著缩短了数据处理时间,提高了系统的响应速度,实现对大量数据的快速、高效处理。
0/0