公开(公告)号：CN118395231A

公开(公告)日：2024-07-26

申请号：CN202410503340.X

申请日：2024-04-25

Applicant: 北京理工大学

Inventor： 马立玲 ,  齐振宇 ,  赵江波 ,  王军政 ,  汪首坤 ,  沈伟

IPC: G06F18/24 ,  G06F18/25 ,  G06F18/2135 ,  G06F18/22 ,  G06V10/44 ,  G06V10/82 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/0499 ,  G06N3/048 ,  G06N3/08 ,  G10L25/30 ,  G10L25/03

Abstract: 本发明公开了一种机电设备多模态数据融合故障诊断方法与装置，方法包括：获取带有时间戳的待诊断的机电设备的声音信号和红外图像；生成对齐后的声音信号的单模态表示、对齐后的红外图像的单模态表示；将所述对齐后的声音信号的单模态表示及所述对齐后的红外图像的单模态表示输入训练完毕的融合网络模型，生成融合特征；将所述融合特征输入多层感知机，生成所述待诊断的机电设备的故障诊断结果。本发明的方法，利用不同模态数据之间的关联信息，通过将实际与融合结果对应的单模态表示视为正样本，其他表示视为负样本，实现融合结果与单模态表示之间互信息的最大化，有助于提高故障诊断的准确性和可靠性。