本申请公开了一种用于电力系统上的模型推理效果的评估方法及装置，涉及电力野外救援技术领域。本申请的主要技术方案为：对于在电力系统上对电力数据执行推理操作的大语言模型，对于模型构建多个评价指标，任意选取至少一个评价指标进行组合得到目标评价指标集合；再结合实际应用场景为该目标评价指标集合去创建评价维度，从而实现在这样评价维度基础之上为目标评价指标集合去构建测试题目，并且每个测试题目都是有预置正确答案的；将与测试题目所需的目标电力数据输入模型进行处理，输出由模型给出的推理结果数据，通过将推理结果数据与每个测试题目的预置正确答案进行比较，并且进行评测，从而得到对模型推理效果的评估结果。