公开(公告)号：CN118331845A

公开(公告)日：2024-07-12

申请号：CN202410172770.8

申请日：2024-02-07

申请人： 中国科学院软件研究所

发明人： 孟令中 ,  杨光 ,  薛云志 ,  董乾 ,  王萌萌 ,  李志文 ,  王鹏淇 ,  师源

IPC分类号： G06F11/36

摘要： 本公开涉及深度神经网络模型的质量测评方法、装置及设备，属于人工智能领域。所述方法包括：构建包括多个质量评估指标的测试方案，并基于深度神经网络模型的应用场景获取测试数据集；基于测试方案和测试数据集对深度神经网络模型进行测试，得到多个质量评估指标的取值；获取深度神经网络模型在测试过程中的神经元激活情况，并基于神经元激活情况执行测试充分性验证；在深度神经网络模型未通过测试充分性验证的情况下，调整测试数据集；在深度神经网络模型通过测试充分性验证的情况下，基于多个质量评估指标的取值确定深度神经网络模型的质量评估结果。本发明能够实现对深度神经网络模型进行充分且全面的质量测评。

公开(公告)号：CN117349138A

公开(公告)日：2024-01-05

申请号：CN202311426533.1

申请日：2023-10-31

申请人： 中国科学院软件研究所

发明人： 董乾 ,  薛云志 ,  孟令中 ,  王萌萌 ,  王鹏淇 ,  杨光

IPC分类号： G06F11/34

摘要： 本公开涉及面向无人系统感知的可解释性评估方法及装置，属于无人系统感知技术领域。所述方法包括：获取评估数据集，以及无人系统针对评估数据集中各个样本的感知结果；获取掩码规则和评估阈值；按照掩码规则和评估阈值，采用不同可解释测试方法，确定各个样本的第一最有效特征和第一有效特征比率以及第二最有效特征和第二有效特征比率；基于各个样本的第一最有效特征和第二最有效特征以及第一有效特征比率和第二有效特征比率，确定各个样本下不同可解释测试方法对无人系统的可解释一致性和可解释有效性；基于所有样本下可解释有效性和可解释一致性，确定无人系统的感知性能。本公开能够实现对无人系统的感知推理能力进行有效、充分且准确地评估。