基于历史嵌入缓存的单机图神经网络优化方法及系统

    公开(公告)号:CN119761444A

    公开(公告)日:2025-04-04

    申请号:CN202411917589.1

    申请日:2024-12-24

    Abstract: 一种基于历史嵌入缓存的单机图神经网络优化方法及系统,通过对训练数据集进行预先采样分析收集采样数据,结合启发式方法计算得到每一层级历史嵌入缓存大小后,根据计算得到的各层级历史嵌入缓存大小设置缓存,并执行预采样,即循环进行基于子图的采样:每次采样过程中模拟缓存替换,进行子图剪枝并得到节点访问序列和子图拓扑连接关系,经重复若干次采样得到对应个数的训练子图后,计算若干步最优特征缓存替换并保存最优特征缓存替换信息;当加载训练子图进行实际训练时,每轮训练时结合采样子图进行历史嵌入推送/拉取,并结合最优特征缓存替换信息进行底层特征缓存替换后,实现单机图神经网络优化。

    云内存池中服务感知的多队列节点内存管理系统及方法

    公开(公告)号:CN119728775A

    公开(公告)日:2025-03-28

    申请号:CN202411917607.6

    申请日:2024-12-24

    Abstract: 一种云内存池中服务感知的多队列节点内存管理系统及方法,包括:内存服务离线分析模块、服务感知的内存节点管理模块和高带宽的并行数据交换子系统,其中:内存服务离线分析模块对基于云内存池的内存服务进行数据预分析,为内存服务赋予数据卸载标签;服务感知的内存节点管理模块构建分层存储,根据服务的数据卸载标签对进入云内存池的数据加上数据卸载标签,并根据数据卸载标签对数据进行差异化管理,控制数据的卸载;高带宽并行数据交换子系统用于内存节点中数据的数据卸载I/O。本发明通过构造支持高并行的高带宽数据交换的多层级内存存储结构,用云存储扩展内存以降低内存资源使用,分析云内存服务的数据特点并实现云内存池中服务数据的差异化管理,提升数据整体访问效率,进而降低内存资源占用,提高数据中心内存资源效率。

    基于原数据的SMG实现系统及方法

    公开(公告)号:CN117493043B

    公开(公告)日:2024-06-18

    申请号:CN202311482405.9

    申请日:2023-11-09

    Abstract: 一种基于原数据的SMG实现系统及方法,包括:设置于DSP输入端的原始数据缓存区、数据缓存区创建和控制模块、DSP控制处理模块、多模态选择模块和自适应多模态计算模块,原始数据缓存区临时存储来自传感器的原始模态数据,多模态选择模块通过神经网络判断原始模态数据中模态数据的重要度后,将重要的模态数据输出至DSP进行处理,数据缓存区创建和控制模块为应用实现创建、读、写数据缓存区,DSP控制处理模块提供系统调用,自适应多模态计算模块通过构建并训练神经网络后,在线根据输入的模态进行自适应的模态融合计算并给出计算结果。本发明通过预先进行多模态门控处理,对进入DSP的模态数据进行提前筛选,以保证不需要的模态数据不经过DSP,从而避免DSP造成不必要的能量和执行时间浪费。

    基于光线追踪的近似近邻搜索方法、系统、介质及设备

    公开(公告)号:CN117033718B

    公开(公告)日:2024-06-07

    申请号:CN202311190214.5

    申请日:2023-09-14

    Abstract: 本申请提供一种基于光线追踪的近似近邻搜索方法、系统、介质及设备,所述方法包括过滤搜索点以获取编码本条目与子空间级反向索引;基于光线追踪单元构建子空间距离查询表;基于所述子空间距离查询表与所述子空间级反向索引查询距离以获取近似近邻搜索结果。本申请通过利用新兴的光线追踪单元的光线追踪技术来进行距离计算,从而取代IVFPQ中的子空间距离查询表构建中的距离计算操作,在保证计算结果正确的前提下,大大地提高基于IVFPQ的ANNS的搜索效率。此外,本申请还提出了一种对于光线追踪单元计算友好的内积近似计算方法,进一步提高了距离计算的效率。

    多神经网络执行效率动态优化方法及系统

    公开(公告)号:CN116842994B

    公开(公告)日:2024-03-01

    申请号:CN202310805891.7

    申请日:2023-07-03

    Abstract: 一种多神经网络执行效率动态优化方法及系统,在离线阶段针对预设的多神经网络推理负载和异构边缘计算硬件,采用智能搜索算法寻找帕累托最优的调度配置,记录搜索过程中找到的所有候选配置,并为每个候选延迟需求保存对应的低资源占用的调度配置作为最优配置查找表;同时采集每组待部署的神经网络推理负载在不同计算硬件执行状态下的执行延迟并存入执行延迟查找表;在在线阶段根据系统延迟需求,从最优配置查找表中选择匹配的最优调度配置,持续监控执行状态并预测所有神经网络推理负载的剩余总执行时间,通过反馈式频率调节机制确保延迟需求得到满足。本发明既能应对系统所处场景多样性导致的延迟需求变化,也能应对多硬件单元共享内存导致的性能干扰,解决了多个神(56)对比文件Yangjie Zhou, at el..“uGrapher:High-Performance Graph Poerator Computationvia Unified Abstraction for Graph NeuralNetworks”《.Proceeding of the 28th ACMIneternationial Conference onArchitectural Support for ProgrammingLanguages and Operating Systems》.2023,全文.任神河;郑寇全;关冬冬;惠军华.基于IFTS的云计算网络动态负载均衡方法.系统工程理论与实践.2019,(第05期),全文.

    多神经网络执行效率动态优化方法及系统

    公开(公告)号:CN116842994A

    公开(公告)日:2023-10-03

    申请号:CN202310805891.7

    申请日:2023-07-03

    Abstract: 一种多神经网络执行效率动态优化方法及系统,在离线阶段针对预设的多神经网络推理负载和异构边缘计算硬件,采用智能搜索算法寻找帕累托最优的调度配置,记录搜索过程中找到的所有候选配置,并为每个候选延迟需求保存对应的低资源占用的调度配置作为最优配置查找表;同时采集每组待部署的神经网络推理负载在不同计算硬件执行状态下的执行延迟并存入执行延迟查找表;在在线阶段根据系统延迟需求,从最优配置查找表中选择匹配的最优调度配置,持续监控执行状态并预测所有神经网络推理负载的剩余总执行时间,通过反馈式频率调节机制确保延迟需求得到满足。本发明既能应对系统所处场景多样性导致的延迟需求变化,也能应对多硬件单元共享内存导致的性能干扰,解决了多个神经网络推理负载如何统一进行调度优化的问题。

Patent Agency Ranking