本发明涉及电力数据安全技术领域，公开了一种多分类模型性能评估方法、装置、计算机设备及存储介质，方法包括：获取数据集以及多分类模型对数据集的分类结果；根据数据集以及多分类模型对数据集的分类结果计算任一类样本对应的预测概率分布以及真实概率分布；根据任一类样本的预测概率分布与任一类样本的真实概率分布之间的相似程度计算任一类的类别确信度；根据任一类的类别确信度与多边形面积的乘积计算任一类的分类性能多边形面积；根据多个类对应的分类性能多边形面积和数据集真实类别概率分布的余弦相似度对多分类模型性能进行评估。解决了相关技术中存在的分类模型性能评估准确性受数据集类别分布影响的问题。