提供大规模机器学习推理应用的多裸片点积引擎

    公开(公告)号:CN114168521A

    公开(公告)日:2022-03-11

    申请号:CN202110425428.0

    申请日:2021-04-20

    Abstract: 提供了用于提供大规模机器学习推理应用的多裸片点积引擎(DPE)的系统和方法。所述多裸片DPE利用多芯片架构。例如,多芯片接口可以包括多个DPE芯片,其中每个DPE芯片执行用于执行深度学习操作的推理计算。在推理操作期间,主机计算机的存储器与所述多个DPE芯片之间的硬件接口将所述多个DPE芯片可通信地连接至所述主机计算机系统的存储器,使得所述深度学习操作横跨所述多个DPE芯片。由于所述多裸片架构,允许使用多个硅器件进行推理,从而实现大规模机器学习应用和复杂深度神经网络的高能效推理。所述多裸片DPE可用于构建多设备DNN推理系统,该系统可高精度执行特定的应用,例如对象识别。

    具有交替生产/优化模式的自适应加速器

    公开(公告)号:CN118862992A

    公开(公告)日:2024-10-29

    申请号:CN202410188739.3

    申请日:2024-02-20

    Abstract: 本公开总体上涉及具有交替生产/优化模式的自适应加速器。系统和方法被提供用于包括基线(生产)加速器、优化加速器和控制硬件加速器的加速器系统、以及使生产/优化加速器在生产与优化之间交替地切换的操作。利用两个生产/优化加速器,在任一给定时间点,一个加速器进行自适应,同时另一加速器处理数据。一旦第二加速器开始做得更好(例如,已适应于数据漂移),这些加速器就会改变其模式,并且可训练的加速器成为“优化的”加速器。这些加速器不间断地这样处理,从而维持冗余,这提供了预期的服务质量(QoS),并且适应于数据/概念漂移。

Patent Agency Ranking