轻量级异构分布式并行任务的协同处理方法、系统、介质

    公开(公告)号:CN118075261A

    公开(公告)日:2024-05-24

    申请号:CN202311754580.9

    申请日:2023-12-19

    IPC分类号: H04L67/10 H04L12/18

    摘要: 本发明涉及轻量级异构分布式并行任务的协同处理方法、系统、介质,包括如下步骤:接收数据处理任务请求,生成组播地址并广播至各计算节点,基于各计算节点的反馈生成参与组播的计算节点列表;基于待处理数据中相邻两关键帧之间的帧数量以及参与组播的计算节点数量,为所述计算节点列表中的计算节点分配需要处理的相对于关键帧的偏移帧号,建立计算节点‑偏移帧号的映射关系;接收待处理数据,并组播至所述计算节点列表中的计算节点;从计算节点接收数据处理结果,基于所述映射关系合并得到最终处理结果。与现有技术相比,本发明具有优化突发需求的实时处理能力等优点。