-
公开(公告)号:CN115495246B
公开(公告)日:2023-04-18
申请号:CN202211212624.0
申请日:2022-09-30
Applicant: 上海交通大学
Abstract: 一种分离式内存架构下的混合远内存调度方法,首先通过限制应用本地内存使用的方式收集运行时数据,从而将任务分为远内存不敏感型任务、远内存敏感型任务和远内存禁止使用型任务;根据敏感程度互补原则,将内存不敏感型任务和内存敏感型任务分配到同一个计算节点,根据任务在同等性能限制条件下的最大可让出内存,当对应的服务器之间的整体可出让内存值相差较大时进行跨节点的内存资源调整,确定服务器的出让的内存值或者租借的远内存值,之后进行节点内部的内存资源调整,根据服务器的当前剩余内存资源,按照敏感型任务更多额外本地内存资源的原则,为每个任务进行资源分配,实现混合远内存调度。本发明充分挖掘应用在远内存环境下的特点,继而通过高效的远内存分配策略,提升数据中心中的内存利用率和使用效率。
-
公开(公告)号:CN118296199A
公开(公告)日:2024-07-05
申请号:CN202410384094.0
申请日:2024-03-29
Applicant: 上海交通大学 , 脸萌有限公司 , 北京字跳网络技术有限公司
IPC: G06F16/903 , G06F16/901 , G06F9/48 , G06F9/50
Abstract: 本公开实施例提供一种图数据处理方法、设备及存储介质,在图形处理器中获取针对图结构的查询请求,以请求在图结构中基于指定的起始节点查询子图结构,并对查询请求依次生成采样任务;在图形处理器的任一线程块中调用图形处理器中的计算引擎选择与采样任务的任务量匹配的目标采样器执行采样任务,以在采样任务指定的起始节点基础上选择下一目标邻居节点,并作为新的起始节点生成新采样任务;根据依次选择的目标邻居节点形成子图结构作为查询请求的查询结果。本公开将图形处理器线程块的线程组织成不同的采样器,动态随机游走的查询请求的采样任务根据任务量选择目标采样器,实现资源动态分配,提高图形处理器执行动态随机游走的负载均衡和并发度。
-
公开(公告)号:CN115495246A
公开(公告)日:2022-12-20
申请号:CN202211212624.0
申请日:2022-09-30
Applicant: 上海交通大学
Abstract: 一种分离式内存架构下的混合远内存调度方法,首先通过限制应用本地内存使用的方式收集运行时数据,从而将任务分为远内存不敏感型任务、远内存敏感型任务和远内存禁止使用型任务;根据敏感程度互补原则,将内存不敏感型任务和内存敏感型任务分配到同一个计算节点,根据任务在同等性能限制条件下的最大可让出内存,当对应的服务器之间的整体可出让内存值相差较大时进行跨节点的内存资源调整,确定服务器的出让的内存值或者租借的远内存值,之后进行节点内部的内存资源调整,根据服务器的当前剩余内存资源,按照敏感型任务更多额外本地内存资源的原则,为每个任务进行资源分配,实现混合远内存调度。本发明充分挖掘应用在远内存环境下的特点,继而通过高效的远内存分配策略,提升数据中心中的内存利用率和使用效率。
-
公开(公告)号:CN119761444A
公开(公告)日:2025-04-04
申请号:CN202411917589.1
申请日:2024-12-24
Applicant: 上海交通大学
Abstract: 一种基于历史嵌入缓存的单机图神经网络优化方法及系统,通过对训练数据集进行预先采样分析收集采样数据,结合启发式方法计算得到每一层级历史嵌入缓存大小后,根据计算得到的各层级历史嵌入缓存大小设置缓存,并执行预采样,即循环进行基于子图的采样:每次采样过程中模拟缓存替换,进行子图剪枝并得到节点访问序列和子图拓扑连接关系,经重复若干次采样得到对应个数的训练子图后,计算若干步最优特征缓存替换并保存最优特征缓存替换信息;当加载训练子图进行实际训练时,每轮训练时结合采样子图进行历史嵌入推送/拉取,并结合最优特征缓存替换信息进行底层特征缓存替换后,实现单机图神经网络优化。
-
公开(公告)号:CN116188239B
公开(公告)日:2023-09-12
申请号:CN202211536501.2
申请日:2022-12-02
Applicant: 上海交通大学
Abstract: 一种多请求并发的GPU图随机游走优化实现方法及系统,在离线阶段对图随机游走请求分类并正对各个请求的GPU资源占用情况,建立基于图随机游走请求类型和资源占用情况的并发效果判断机制;在在线阶段通过调度器预测图随机游走请求执行时间并根据各个图随机游走请求的适合度调整运行优先级和/或运行组合,通过GPU内存存储层级及多加速器端进行图数据切分管理和图随机游走请求执行。本发明能够实现低干扰、低延迟的图数据切分管理及低停顿的图随机游走请求执行,充分挖掘多GPU空分共享同时处理多并发请求的性能潜力,提高GPU上运行图随机游走请求的整体吞吐率,并降低能耗。
-
公开(公告)号:CN116188239A
公开(公告)日:2023-05-30
申请号:CN202211536501.2
申请日:2022-12-02
Applicant: 上海交通大学
Abstract: 一种多请求并发的GPU图随机游走优化实现方法及系统,在离线阶段对图随机游走请求分类并正对各个请求的GPU资源占用情况,建立基于图随机游走请求类型和资源占用情况的并发效果判断机制;在在线阶段通过调度器预测图随机游走请求执行时间并根据各个图随机游走请求的适合度调整运行优先级和/或运行组合,通过GPU内存存储层级及多加速器端进行图数据切分管理和图随机游走请求执行。本发明能够实现低干扰、低延迟的图数据切分管理及低停顿的图随机游走请求执行,充分挖掘多GPU空分共享同时处理多并发请求的性能潜力,提高GPU上运行图随机游走请求的整体吞吐率,并降低能耗。
-
-
-
-
-