本发明涉及GPU动态调度技术领域，具体涉及一种实时迁移的动态GPU调度方法及系统。先实时获取GPU集群内每个GPU的内核占用率和显存占用率；并依据每个GPU的内核占用率和预设的内核负载阈值对GPU进行分类，获得GPU内核的负载状态。同时对GPU分类结果进行内核负载检索，得到GPU集群中的过载GPU和欠载GPU；将GPU集群中的GPU显存虚拟化为统一显存，并将每个GPU显存的指针映射至统一显存；最后依据目标迁移量，调用统一显存将过载GPU的模型参数所占用GPU显存的指针指向欠载GPU。本发明实现了GPU集群整体的动态负载均衡，缩短了生成式大模型训练的时间，提高了GPU集群的整体利用率。