公开(公告)号：CN116861257A

公开(公告)日：2023-10-10

申请号：CN202311033595.6

申请日：2023-08-16

Applicant: 北京邮电大学

Inventor： 王思野 ,  李元东 ,  赵中原 ,  梁步顺 ,  徐文波 ,  赖锦林 ,  麦吉

IPC: G06F18/214 ,  G06F18/24 ,  G06N3/042 ,  G06N3/0442 ,  G06N3/082

Abstract: 本发明公开了一种基于知识蒸馏恢复策略剪枝的长短期记忆压缩方法，在知识蒸馏的实现中，除了引入蒸馏损失用于学生模型拟合教师模型的logits输出，还使用输出概率分布与真实标签的交叉熵损失，以确保学生模型的输出与样本的真实标签相互匹配。这两部分损失共同构成目标函数，帮助学生模型从教师模型的“暗知识”中进行学习，优化模型的输出概率分布，从而提高剪枝模型的准确率。另外，本发明将知识蒸馏应用于LSTM模型的剪枝过程中，通过合理传递知识，使得剪枝后的模型具备更强的表征能力。

公开(公告)号：CN117272211B

公开(公告)日：2024-02-13

申请号：CN202311548457.1

申请日：2023-11-20

Applicant: 北京邮电大学

Inventor： 王思野 ,  赖锦林 ,  李元东 ,  赵雪莹 ,  聂赛军 ,  麦吉 ,  刘成瑞 ,  吴静媛

IPC: G06F18/2433 ,  G06F18/15 ,  G06F18/213 ,  G06F18/214 ,  G06N3/0442 ,  G06N3/0495 ,  G06N3/082 ,  G06F123/02

Abstract: 本发明公开了一种基于长短期记忆模型的轻量化航天器故障检测分类方法，选择更适合处理序列数据的长短期记忆网络，以充分提取并建模特征序列中的时空双重维度信息，学习更高层次的时序特征，从而获得更准确的预测结果。本发明使用的数据处理方式，将不同故障模式、不同运行模式的数据集进行维度补全，拼合数据集以便于统一训练模型，做到一个模型可以检测和分类不同数据格式的航天器故障数据集。本发明使用细粒度的基于软滤波的加权剪枝方法和量化技术进行深度神经网络模型轻量化处理，从而优化模型，加快模型的运行速度，更好地进行航天器异常诊断的异构计算。本发明进行模型的重训练以恢复模型的判别精度。

公开(公告)号：CN117272211A

公开(公告)日：2023-12-22

申请号：CN202311548457.1

申请日：2023-11-20

Applicant: 北京邮电大学

Inventor： 王思野 ,  赖锦林 ,  李元东 ,  赵雪莹 ,  聂赛军 ,  麦吉 ,  刘成瑞 ,  吴静媛

IPC: G06F18/2433 ,  G06F18/15 ,  G06F18/213 ,  G06F18/214 ,  G06N3/0442 ,  G06N3/0495 ,  G06N3/082 ,  G06F123/02

Abstract: 本发明公开了一种基于长短期记忆模型的轻量化航天器故障检测分类方法，选择更适合处理序列数据的长短期记忆网络，以充分提取并建模特征序列中的时空双重维度信息，学习更高层次的时序特征，从而获得更准确的预测结果。本发明使用的数据处理方式，将不同故障模式、不同运行模式的数据集进行维度补全，拼合数据集以便于统一训练模型，做到一个模型可以检测和分类不同数据格式的航天器故障数据集。本发明使用细粒度的基于软滤波的加权剪枝方法和量化技术进行深度神经网络模型轻量化处理，从而优化模型，加快模型的运行速度，更好地进行航天器异常诊断的异构计算。本发明进行模型的重训练以恢复模型的判别精度。