一种基于单机多FPGA的并行开发方法

    公开(公告)号:CN105824780A

    公开(公告)日:2016-08-03

    申请号:CN201610198141.8

    申请日:2016-04-01

    发明人: 高永虎 张清

    IPC分类号: G06F15/78 G06F9/48

    CPC分类号: G06F15/7842 G06F9/4881

    摘要: 本发明公开了一种基于单机多FPGA的并行开发方法,该方法是:CPU端根据FPGA的计算能力,将数据划分为多个数据块,每个数据块满足一个FPGA一次计算的能力;CPU端为每个FPGA创建一个线程,每个线程控制一个FPGA;所有线程并行执行,线程控制FPGA每完成一个数据块的计算,则动态从CPU端获取下一个数据块,直到所有数据块计算完成。本发明的一种基于单机多FPGA的并行开发方法和现有技术相比,在单台服务器中添加多个FPGA加速卡,使系统节点内的多计算设备达到计算的负载均衡,充分发挥FPGA的计算能力,并保证系统的高容错性,从而提高系统的整体运行的效率,可靠性。

    一种高效动态负载均衡的处理大规模数据的系统及方法

    公开(公告)号:CN104580503A

    公开(公告)日:2015-04-29

    申请号:CN201510037687.0

    申请日:2015-01-26

    IPC分类号: H04L29/08

    CPC分类号: H04L67/1004 H04L67/1029

    摘要: 本发明公开了一种高效动态负载均衡的处理大规模数据的系统及方法,属于处理大规模数据技术领域,其结构包括中央控制系统、计算集群系统、存储系统、高速网络;中央控制系统中节点采用CPU与GPU混合异构架构;计算集群系统中节点采用CPU与GPU混合异构架构或节点采用CPU架构;存储系统分共享存储和本地存储,共享存储中节点采用CPU架构,本地存储用于存储所在的中央控制系统的节点或者是计算集群系统的节点的数据;高速网络用于将中央控制系统中节点、计算集群系统中节点、共享存储中节点互相连接,组成集中式的处理大规模数据的系统。本发明解决当前服务器计算系统网络带宽不足、内存容量小等情况,而无法对较大规模数据进行处理的问题。

    一种基于小内存处理大规模数据的并行程序开发方法

    公开(公告)号:CN104572106A

    公开(公告)日:2015-04-29

    申请号:CN201510013613.3

    申请日:2015-01-12

    IPC分类号: G06F9/44 G06F9/38

    摘要: 本发明公开了一种基于小内存处理大规模数据的并行程序开发方法,包括以下步骤:在内存和外存开辟数据空间,并划分成若干数据块,将任务数据读入到划分的外存数据块中;设置读线程、计算线程、写线程;将外存作为内存的缓存来存储暂时不用计算的数据。将整个计算数据划分为合适的小数据块,存放到外存中。只有当需要计算到该数据块时才将其调度到内存中,实现了数据的动态调度,满足了小内存处理大数据的要求。该一种基于小内存处理大规模数据的并行程序开发方法与现有技术相比,充分利用外存的大容量的特点,动态调度计算数据给计算核心,达到计算的负载均衡,同时通信与计算异步执行,提高系统整体的性能,满足小内存处理大数据的要求。