本发明公开了一种大规模多运算浮点矩阵计算加速实现方法，该方法包括：步骤S1：根据待处理矩阵的操作类型，接收外部输入信号，判断矩阵运算模式：当运算模式是矩阵加、矩阵减时，转入执行步骤S3，当运行模式是矩阵乘、矩阵‑向量乘、矩阵‑标量乘时，转入执行步骤S2；步骤S2：初始化片上RAM为零，转入执行步骤S4；步骤S3：通过RAM通道加载数据源C到片上RAM中，转入执行步骤S4；步骤S4：通过RAM通道预加载部分数据流A，而后边计算边加载数据流A和数据流B；步骤S5：计算完后，将计算结果传输到片外存储器。该装置用来实施上述方法。本发明具有低存储需求、高计算效率、复用度高、适用范围广等优点。