-
公开(公告)号：CN118520960A
公开(公告)日：2024-08-20
申请号：CN202410652486.0
申请日：2024-05-24
申请人： 中国科学技术大学 , 中国人民解放军国防科技大学
IPC分类号： G06N5/043 , G06F9/50 , G06N3/0455 , G06N3/0499 , G06N3/082 , G06N3/126
摘要： 本发明公开了一种基于异构边缘场景的流水线推理方法和装置。其中，该方法由主节点执行包括：根据给定任务和设备组的信息，通过任务‑设备协同分析器预测流水线的计算延迟和通信延迟，并将深度神经网络跨设备组的适应性抽象为无向连通图；基于无相连通图，通过多流水线并行规划器生成包含所有潜在最优单流水线方案的类型集，并利用遗传算法生成多流水线并行策略；根据多流水线并行策略将任务分配到不同流水线的设备中进行推理。通过引入任务‑设备协同分析器来精确估计流水线的运行时延迟，引入多流水线并行规划器来生成多流水并行策略，该方法能够支持提前进行高质量的离线并行规划，从而实现DNN任务流中的无缝任务切换和高效的流水线并行。
-
公开(公告)号：CN114217688B
公开(公告)日：2024-05-10
申请号：CN202111599349.8
申请日：2021-12-24
申请人： 中国科学技术大学
IPC分类号： G06F1/3296 , G06F1/329 , G06N3/0464 , G06N3/08
摘要： 本发明公开了一种基于神经网络结构的NPU功耗优化系统和方法。其中，该系统包括：网络特征提取器，用于提取待推理神经网络的目标结构特征；随机网络生成器，用于训练预测网络；执行参数预测器，用于根据所述目标结构特征对所述预测网络进行训练，以确定所述待推理神经网络的最佳执行参数组合；所述最佳执行参数组合包括NPU的最佳执行频率和最佳执行核数；推理任务执行模块，用于根据所述最佳执行参数组合对NPU进行频率调整，以及对NPU内部的计算核进行调度。本发明通过探究在NPU特殊的架构下，NPU的频率调整对神经网络应用的性能和功耗的影响，在执行神经网络应用时合理调节NPU的频率以及任务的分配方式，以降低NPU功耗。
-
公开(公告)号：CN113868104A
公开(公告)日：2021-12-31
申请号：CN202110911056.2
申请日：2021-08-10
申请人： 南京中科逆熵科技有限公司 , 中国科学技术大学苏州高等研究院
IPC分类号： G06F11/34
摘要： 本申请提出了一种容器网络插件的综合评价方法，方法包括：根据预先建立的功能性评价指标，对待测评容器网络插件进行功能评价，获取功能评价结果；根据预先建立的性能评价指标，对所述待测评容器网络插件进行性能评价，获取性能评价结果；根据功能评价结果以及性能评价结果，确定综合评价结果。本申请提供的方法提出了从功能评价以及性能评价两个方面，对容器网络插件进行综合评价，考虑了多种场景，可以为容器网络插件的评价提供全面的参考因素。
-
公开(公告)号：CN116933640A
公开(公告)日：2023-10-24
申请号：CN202310916207.2
申请日：2023-07-25
申请人： 中国科学技术大学苏州高等研究院 , 上海处理器技术创新中心
摘要： 本发明公开了一种基于黑盒分析的硬件资源建模方法。该方法包括：基于一般性能表征和特殊性能表征对硬件资源进行建模；其中，所述一般性能表征由根据神经网络特征拟合模型推理延迟的参数向量构成；所述特殊性能表征由根据多设备间相关系数低于设定阈值的神经网络推理延迟向量构成。本发明针对存在多维异构的智能推理设备，构建了一种基于黑盒分析的硬件资源建模方法，实现了对异构设备的统一建模分析，能够有效区分异构设备的DNN推理性能差异。
-
公开(公告)号：CN113485801B
公开(公告)日：2023-07-28
申请号：CN202110708893.5
申请日：2021-06-25
申请人： 中国科学技术大学苏州高等研究院
摘要： 本发明公开了基于神经网络相似度建模的实时DNN调度系统及方法，包括：DNN特征提取模块，对DNN网络结构进行提取分析和判断，将需要预测的网络结构特征发送到DNN性能表征模块；DNN性能表征模块，进行网络结构特征进行性能预测，预测其在每个设备上的运行时间，经过目标微调后，调度模块对每个任务已知的性能表征进行调度，以确保任务以最小的等待时间在最大截止时间之前完成。本发明首先对神经网络任务进行神经网络建模，提取关键特征。紧接着，通过性能表征网络对每个设备上的每个任务进行性能表征预测，得到性能表征矩阵；最后，以性能表征矩阵性能表征矩阵为调度矩阵，利用LLF算法求解最优调度策略，有效提高了性能和任务接受率。
-
公开(公告)号：CN113485801A
公开(公告)日：2021-10-08
申请号：CN202110708893.5
申请日：2021-06-25
申请人： 中国科学技术大学苏州高等研究院
摘要： 本发明公开了基于神经网络相似度建模的实时DNN调度系统及方法，包括：DNN特征提取模块，对DNN网络结构进行提取分析和判断，将需要预测的网络结构特征发送到DNN性能表征模块；DNN性能表征模块，进行网络结构特征进行性能预测，预测其在每个设备上的运行时间，经过目标微调后，调度模块对每个任务已知的性能表征进行调度，以确保任务以最小的等待时间在最大截止时间之前完成。本发明首先对神经网络任务进行神经网络建模，提取关键特征。紧接着，通过性能表征网络对每个设备上的每个任务进行性能表征预测，得到性能表征矩阵；最后，以性能表征矩阵性能表征矩阵为调度矩阵，利用LLF算法求解最优调度策略，有效提高了性能和任务接受率。
-
公开(公告)号：CN114217688A
公开(公告)日：2022-03-22
申请号：CN202111599349.8
申请日：2021-12-24
申请人： 中国科学技术大学
IPC分类号： G06F1/3296 , G06F1/329 , G06N3/04 , G06N3/08
摘要： 本发明公开了一种基于神经网络结构的NPU功耗优化系统和方法。其中，该系统包括：网络特征提取器，用于提取待推理神经网络的目标结构特征；随机网络生成器，用于训练预测网络；执行参数预测器，用于根据所述目标结构特征对所述预测网络进行训练，以确定所述待推理神经网络的最佳执行参数组合；所述最佳执行参数组合包括NPU的最佳执行频率和最佳执行核数；推理任务执行模块，用于根据所述最佳执行参数组合对NPU进行频率调整，以及对NPU内部的计算核进行调度。本发明通过探究在NPU特殊的架构下，NPU的频率调整对神经网络应用的性能和功耗的影响，在执行神经网络应用时合理调节NPU的频率以及任务的分配方式，以降低NPU功耗。
-
-
-
-
-
-
搜索结果
7 条记录 (耗时 0.049 秒)
