基于多图形处理器的模型并行处理方法及装置

    公开(公告)号:CN104036451B

    公开(公告)日:2018-12-11

    申请号:CN201410281130.7

    申请日:2014-06-20

    IPC分类号: G06T1/40

    CPC分类号: G06T1/20 G06F9/48 G06T2200/28

    摘要: 本发明涉及一种基于多图形处理器(GPU)的并行数据处理方法,包括以下步骤:在中央处理器(CPU)内创建用于分别控制多个工作组(Worker Group)的多个工作线程(Worker),所述工作组包括多个GPU;将每个工作线程与对应的一个GPU绑定;从非易失性存储器内加载一个批次(Batch)的训练数据至与一个工作组对应的一个GPU显存中;在对应于一个工作组的多个GPU之间以点对点(Peer to Peer)的方式传输GPU进行数据处理所需要的数据;通过所述工作线程控制所述多个GPU并行进行数据处理。所述方法可以提升多GPU并行数据处理的效率。此外,本发明还提供一种并行数据处理装置。

    基于多图形处理器的模型并行处理方法及装置

    公开(公告)号:CN104036451A

    公开(公告)日:2014-09-10

    申请号:CN201410281130.7

    申请日:2014-06-20

    IPC分类号: G06T1/40

    CPC分类号: G06T1/20 G06F9/48 G06T2200/28

    摘要: 本发明涉及一种基于多图形处理器(GPU)的并行数据处理方法,包括以下步骤:在中央处理器(CPU)内创建用于分别控制多个工作组(Worker Group)的多个工作线程(Worker),所述工作组包括多个GPU;将每个工作线程与对应的一个GPU绑定;从非易失性存储器内加载一个批次(Batch)的训练数据至与一个工作组对应的一个GPU显存中;在对应于一个工作组的多个GPU之间以点对点(Peer to Peer)的方式传输GPU进行数据处理所需要的数据;通过所述工作线程控制所述多个GPU并行进行数据处理。所述方法可以提升多GPU并行数据处理的效率。此外,本发明还提供一种并行数据处理装置。