公开(公告)号：CN117746509A

公开(公告)日：2024-03-22

申请号：CN202410068386.3

申请日：2024-01-17

Applicant: 电子科技大学

Inventor： 许林峰 ,  贺驰原 ,  程少旭 ,  陈开龙 ,  潘力立 ,  孟凡满 ,  吴庆波 ,  李宏亮

IPC: G06V40/20 ,  G06V10/764 ,  G06V10/774 ,  G06V20/40 ,  G06N3/04 ,  G06N3/084

Abstract: 本发明提出一种基于可预见多模态泛化知识表示的持续行为识别方法，包括如下步骤：步骤S1：采集多模态行为活动数据，对行为活动数据进行预处理；步骤S2：进行任务划分；步骤S3：构建多模态行为识别模型；步骤S4：对基任务进行激励型训练；步骤S5：激励型训练结束后，评估多模态行为识别模型的识别精度，并选取一组表示均值向量和表示标准差向量进行存储；步骤S6：进行增量任务的训练；步骤S7：增量任务训练结束后，评估其识别精度，并选取一组表示均值向量和表示标准差向量进行存储以备后续任务；依次类推，直到最后一个任务结束。本发明缓解了由于模态不平衡性所带来的泛化性知识缺失问题，从而减少网络在持续任务中的灾难性遗忘问题。

公开(公告)号：CN118861602A

公开(公告)日：2024-10-29

申请号：CN202410951724.8

申请日：2024-07-16

Applicant: 电子科技大学

Inventor： 许林峰 ,  程少旭 ,  邱荷茜 ,  王岚晓 ,  吴庆波 ,  孟凡满 ,  李宏亮

IPC: G06F18/21 ,  G06F18/25 ,  G06F18/24 ,  G06F17/18 ,  G06N3/08

Abstract: 该发明公开了一种针对多源异构数据连续学习能力的评价系统，涉及深度学习中的连续学习领域。该系统包括：预处理模块、特征提取网络、分类器模块、混淆率计算模块、评价指标计算模块；将多源异构数据输入预处理模块，然后依次经过特征提取网络、分类器模块、混淆率计算模块、评价指标计算模块，由评价指标计算模块输出多源异构数据的连续学习能力评价指标；由于本发明于以往的评价指标不同，从多模态的角度和新旧任务之间混淆的角度进行思考，所以对于多模态连续学习方法的评价更加准确。

公开(公告)号：CN117556374A

公开(公告)日：2024-02-13

申请号：CN202311633358.3

申请日：2023-12-01

Applicant: 电子科技大学

Inventor： 许林峰 ,  程少旭 ,  贺驰原 ,  吴庆波 ,  孟凡满 ,  潘力立 ,  李宏亮

IPC: G06F18/25 ,  G06F18/24 ,  G06F18/213

Abstract: 该发明公开了一种基于视觉‑传感器注意力机制的多模态连续行为识别方法，涉及深度学习中的连续学习领域。本发明因为对传感器模态采用针对性的时间‑频率注意力进行信息增强，并组成视觉‑传感器注意力模块，从而缓解模态之间不平衡，并且通过对增量过程中对原型进行数据增强，缓解存储原型造成过拟合的负面效果。总体达到增强多模态连续行为识别准确率的优良效果。