公开(公告)号：CN119599072A

公开(公告)日：2025-03-11

申请号：CN202411663076.2

申请日：2024-11-20

Applicant: 北京邮电大学

Inventor： 郭少勇 ,  陈洁蔚 ,  任殷林 ,  齐芫苑 ,  邱雪松 ,  于祯奇 ,  王新宇 ,  刘可 ,  王竟榕 ,  张润璟

IPC: G06N3/063 ,  G06N5/04 ,  G06N3/0464 ,  G06N3/0455

Abstract: 本发明提供一种基于DPU的模型推理加速方法、装置、设备及介质，该方法包括：对待推理数据图像的颜色进行分离，得到至少两个单通道图像；基于双收缩阵列和至少两个卷积核，同步对各单通道图像进行特征提取，得到特征图；特征图用于模型推理；双收缩阵列用于特征提取所需的矩阵乘法运算，并实现并行计算；双收缩阵列是DPU通过硬件描述语言实现的。本发明通过DPU双收缩阵列和至少两个卷积核，对多个单通道图像进行特征提取并对大规模矩阵进行并行计算，提高系统吞吐量，从而实现大模型推理加速。