本发明涉及一种科技文献大语言模型的性能评估方法，属于自然语言技术领域。其中，该方法包括：获取语言模型的模型参数并预设测试集，运行语言模型得到模型输出结果；提取模型输出结果的语义特征，根据模型参数得到基于模型输出的标准结构数据，通过标准结构数据建立映射关系集；对映射关系集进行结构完整性检验得到信息完整性评价因子；以回复信息数据和解释信息数据的语义特征为基础，对语义特征进行增强处理，将增强后的语义特征向量输入到回归模型中得到内容评估分数；通过信息完整性评价因子和内容评估分数对模型性能进行综合评价。提高了模型性能评估的适应性，完善了模型性能校验的测试技术。