本发明公开了一种基于双流卷积神经网络的跨库微表情识别方法及装置，方法包括：(1)获取源数据库和目标数据库(2)从源数据库和目标数据库的微表情视频中提取关键帧(3)对峰值帧进行人脸区域检测和灰度处理，得到人脸灰度图像，作为空间线索；(4)分别计算起始帧与峰值帧之间以及峰值帧与终止帧之间的水平光流场和垂直光流场，并采用四个光流场堆叠得到一幅四通道灰度图像，作为时间线索；(5)建立双流卷积神经网络(6)将源数据库数据特征输入双流卷积神经网络进行预训练，训练好后再将目标数据库数据特征进行微调整训练；(7)将待识别微表情视频作为目标数据库中数据，输入训练好的双流卷积神经网络，得到微表情类型。本发明识别准确率更高。