本发明公开了一种GPU多任务调度方法，该方法用于具有cluster结构的GPU，包括：当多个任务分配到GPU时，根据GPU的每个cluster结构中SM的空闲情况进行任务分配，在完成SM分配后开始运行任务；在任务运行阶段，根据任务的计算访存特征，实时调整cluster结构中分配给不同任务的SM。本发明的GPU多任务调度方法在任务到来时先根据SM空闲情况进行SM的初步分配，基于初步分配的SM运行任务，而后在任务运行阶段，根据任务的计算访存特征实时动态地调整分配给不同任务的SM，既能够提高片上网络资源的利用率，又能够缓解cluster网络端口的冲突，保证任务运行时的性能。