本发明提供了一种基于稀疏向量技术的隐私数据蒸馏方法及装置，通过构建模型池，在迭代过程中通过从模型池中随机挑选训练模型进行数据蒸馏，以从隐私数据中蒸馏出更加丰富的信息，提高合成数据质量，并增强蒸馏数据在下游任务中的泛化能力。然后利用类间和类内算法优化真实数据和合成数据特征分布之间的损失，进一步提升合成数据的质量。此外，本发明基于逐层相关性传播算法计算每个隐私数据的输入特征对神经网络模型输出结果的贡献度，依据贡献度的高低，识别重要输入特征。然后基于稀疏向量技术有选择地扰动部分对模型输出结果贡献度大的输入特征，在保护原始真实数据中蕴含的敏感信息的同时，以较低的隐私开销提升数据蒸馏模型的准确性。