-
公开(公告)号:CN111134666B
公开(公告)日:2021-05-11
申请号:CN202010020956.3
申请日:2020-01-09
Applicant: 中国科学院软件研究所
Abstract: 本发明公开了一种多通道脑电数据的情绪识别方法及电子装置,其方法步骤包括:将提取的一脑电数据的各通道频域特征送入一序列特征提取器,获取脑电数据的各通道隐层特征向量;捕获各脑电通道与各情绪类别之间的关联,并将所述关联和隐层特征向量送入一自动编码器,得到所述脑电数据对应的各情感类别的概率值向量。本发明利用长短时记忆网络在脑电通道序列上学习脑电通道之间的非线性关系,并提取与情绪分类相关的高维脑电特征,自动选择多通道脑电信号中的关键信息,减少由于脑电数据的不稳定性以及环境变化带来的脑电特征之间的领域差异。
-
公开(公告)号:CN111134666A
公开(公告)日:2020-05-12
申请号:CN202010020956.3
申请日:2020-01-09
Applicant: 中国科学院软件研究所
IPC: A61B5/0476 , A61B5/16 , A61B5/00
Abstract: 本发明公开了一种多通道脑电数据的情绪识别方法及电子装置,其方法步骤包括:将提取的一脑电数据的各通道频域特征送入一序列特征提取器,获取脑电数据的各通道隐层特征向量;捕获各脑电通道与各情绪类别之间的关联,并将所述关联和隐层特征向量送入一自动编码器,得到所述脑电数据对应的各情感类别的概率值向量。本发明利用长短时记忆网络在脑电通道序列上学习脑电通道之间的非线性关系,并提取与情绪分类相关的高维脑电特征,自动选择多通道脑电信号中的关键信息,减少由于脑电数据的不稳定性以及环境变化带来的脑电特征之间的领域差异。
-
公开(公告)号:CN113598774A
公开(公告)日:2021-11-05
申请号:CN202110806945.2
申请日:2021-07-16
Applicant: 中国科学院软件研究所
Abstract: 本发明公开了一种基于多通道脑电数据的积极情绪多标签分类方法及装置,包括:利用切分窗格的形式,使用大小为n秒的窗格得到脑电数据的时‑频域特征;获取脑电数据在时间序列上的隐层特征向量;捕获脑电数据在时序上与多标签情绪类别之间的关联;依据所述关联和隐层特征向量,得到脑电特征表示;利用图卷积神经网络学习各积极情绪词之间的关联关系;利用脑电特征表示与图卷积神经网络输出之间的点乘结果,得到脑电数据的积极情绪多标签分类结果。本发明利用脑电信号中与情绪关联大、区分能力强的特征,可精确地完成基于脑电的电影诱发的多标签积极情绪分类任务。
-
公开(公告)号:CN113598774B
公开(公告)日:2022-07-15
申请号:CN202110806945.2
申请日:2021-07-16
Applicant: 中国科学院软件研究所
Abstract: 本发明公开了一种基于多通道脑电数据的积极情绪多标签分类方法及装置,包括:利用切分窗格的形式,使用大小为n秒的窗格得到脑电数据的时‑频域特征;获取脑电数据在时间序列上的隐层特征向量;捕获脑电数据在时序上与多标签情绪类别之间的关联;依据所述关联和隐层特征向量,得到脑电特征表示;利用图卷积神经网络学习各积极情绪词之间的关联关系;利用脑电特征表示与图卷积神经网络输出之间的点乘结果,得到脑电数据的积极情绪多标签分类结果。本发明利用脑电信号中与情绪关联大、区分能力强的特征,可精确地完成基于脑电的电影诱发的多标签积极情绪分类任务。
-
公开(公告)号:CN116226347A
公开(公告)日:2023-06-06
申请号:CN202310184746.1
申请日:2023-03-01
Applicant: 中国科学院软件研究所
IPC: G06F16/332 , G06F16/33 , G06V20/40 , G06V20/62 , G06V30/148 , G06V10/40 , G06V40/16 , G06V10/82 , G06N3/0442 , G06N3/08 , G06N5/04 , G10L25/63 , G10L25/57 , H04N21/44 , H04N21/439 , H04N21/435
Abstract: 本发明属于视频问答领域,具体涉及一种基于多模态数据的细粒度视频情绪内容问答方法和系统。本发明基于情节记忆网络构建视频情绪推理基线模型,设计针对视觉、音频和文本数据的多分支处理模块,并借助Transformer编码器编码多模态数据中的时序依赖,提取出的多模态特征包含多角度情绪内容,能够精确地完成细粒度视频情绪内容问答任务。本发明利用Transformer编码器在视频、音频和文本序列上学习时序关联关系,并提取与情绪分类相关的高维多模态特征,该时序关联关系对分析视频包含的情绪信息至关重要。本发明能够有效提高基于多模态的细粒度视频情绪内容问答任务结果的准确率。
-
-
-
-