本发明公开一种用电信息采集设备性能的综合评价方法及装置，该方法步骤包括：模型训练阶段时，获取不同用电信息采集设备的运行状态数据集并进行特征向量提取，构建形成训练数据集；将训练数据集输入至神经网络分类器中进行训练，训练过程中将各用电信息采集设备构成多个样本对，每个样本对中两个用电信息采集设备的特征向量分别输入至两个相同的神经网络中，并使用两个神经网络的输出结果之间的差值计算损失函数，训练完成后得到排序模型；评价阶段时，获取待评价的用电信息采集设备的运行状态数据并进行特征向量提取，输入至排序模型中，得到综合评价的排序结果输出。本发明具有实现方法简单、成本低、评价结果精准且效率高等优点。