公开(公告)号：CN118551157A

公开(公告)日：2024-08-27

申请号：CN202410580278.4

申请日：2024-05-11

申请人： 南方科技大学

发明人： 郑锋 ,  赵珊珊 ,  李俊钢

IPC分类号： G06F18/10 ,  A61B3/00 ,  A61B3/10 ,  A61B3/14 ,  G06F18/213 ,  G06F18/214 ,  G06N3/0455 ,  G06N3/0442 ,  G06N3/0475 ,  G06N3/08

摘要： 本申请提供了一种基于长距注意力机制的多模态视网膜信号重构方法和装置，属于图像处理技术领域，通过第一长短时记忆子模型对上一时间步的第一输出状态、上一时间步的第二输出状态和目标视网膜电成像信号进行第一特征编码得到第一输出状态，且根据第一输出状态确定长距注意力，通过第二长短时记忆子模型对上一时间步的第二输出状态、第一输出状态和长距注意力进行第二特征编码得到初始视网膜信号特征，通过信号对齐模块对初始视网膜信号特征进行信号对齐得到目标对齐信号特征，信号对齐模块基于样本刺激范式特征和样本视网膜电成像信号特征进行训练得到，通过目标生成器对目标对齐信号特征进行刺激范式生成，能够准确模拟视觉刺激信息的编码方式。