本发明公开了一种利用GPU对小矩阵求逆的方法，涉及无线通信领域。所述方法包括步骤：在GPU的共享存储器上创建维度为K×(N×N)的二维数组sm_a，创建两个维度为K×N的二维数组sm_is和sm_js；K和N均为大于0的自然数；将GPU的全局存储器中的K个N阶方阵并行存储到所述共享存储器的二维数组sm_a中；利用所述二维数组sm_is和sm_js，在所述共享存储器中完成对所述K个N阶方阵的求逆处理。所述方法既增加了并行的线程，又没有占用过多的共享存储器，且具有较好的可扩展性，显著提高了对小矩阵求逆运算的速度。