本发明公开了一种基于双向双层注意力LSTM网络的多模态情感分类方法及系统，首先多模态数据特征的选取；然后对于音频数据选择双层的单向LSTM模型，用于抽取音频特征，对于文本和视频信息，选用TBA‑LSTM(Two‑layerBILSTM based on Attention)模型进行特征抽取；接着将抽取后的特征进行张量融合的方式；最后使用注意力机制来进行多模态数据的分类问题。本发现相对于一些其他的传统模型(LSTM，TFN，MFN，MARN等等)，在公共数据集上CMU‑MOSI上，其精度和F1_Score均有显著程度的提升，并且其深层次的特征抽取能力更强。