发明公开
- 专利标题: 一种多线程数据处理方法、装置、设备及存储介质
-
申请号: CN202410987846.2申请日: 2024-07-23
-
公开(公告)号: CN118747112A公开(公告)日: 2024-10-08
- 发明人: 杨贵柽 , 张栋 , 周庆勇
- 申请人: 浪潮云信息技术股份公司
- 申请人地址: 山东省济南市高新区浪潮路1036号浪潮科技园S01号楼
- 专利权人: 浪潮云信息技术股份公司
- 当前专利权人: 浪潮云信息技术股份公司
- 当前专利权人地址: 山东省济南市高新区浪潮路1036号浪潮科技园S01号楼
- 代理机构: 北京集佳知识产权代理有限公司
- 代理商 王欢
- 主分类号: G06F9/48
- IPC分类号: G06F9/48 ; G06F9/50 ; G06F11/30
摘要:
本申请公开了一种多线程数据处理方法、装置、设备及存储介质,涉及数据处理领域,包括:对待处理的批量数据进行分片,以获取相应的各数据分片,为各数据分片分别分配至少一个处理线程;基于各所述数据分片内数据的处理逻辑确定相应的逻辑算子,在各所述处理线程中并行执行所述数据分片对应的所述逻辑算子,以完成对各所述数据分片的数据处理;在对各所述数据分片进行数据处理的过程中,对各所述处理线程进行实时监控,以便基于相应的监控结果对所述处理线程或所述数据分片进行相应的调整。可见,本申请通过采用多线程并发处理策略,能够同时处理多个数据片段,显著缩短了数据处理时间,提高了系统的响应速度,实现对大量数据的快速、高效处理。