本公开提供了一种边缘设备推理加速方法、装置、系统、介质和程序产品，可以应用于人工智能技术领域。该方法包括：获得预先训练的第一神经网络模型；对所述第一神经网络模型中的至少一个卷积层和/或至少一个卷积核进行剪枝，得到第二神经网络模型；获得所述第二神经网络模型在待部署的边缘设备运行的第一推理时间；若所述第一推理时间小于目标推理时间，确定所述第二神经网络模型为符合所述边缘设备部署要求的模型。能够以目标推理时间为约束，利用神经网络剪枝方法进行模型压缩，可针对待部署的边缘设备剪枝出满足部署需求的模型，实现特定边缘设备的推理加速。本公开还提供了一种部署在边缘设备的数据处理系统。