基于GPU多stream并发的显存复用方法和装置
摘要:
本说明书的实施例提供了一种基于GPU多stream并发的显存复用方法和装置。在该基于GPU多stream并发的显存复用方法中,至少两个GPU stream并发执行,各个GPU stream中包括以执行顺序排列的GPU指令,在默认stream复用模式下,可以根据待分配显存的GPU指令所属的当前GPU stream对应的已释放显存以及当前GPU stream是否为默认stream,判断用于存储已释放显存块的显存池中是否存在候选可复用显存块;若存在候选可复用显存块,从候选可复用显存块中确定出为待分配显存的GPU指令分配的显存块。
公开/授权文献
0/0