本发明公开了一种基于视听多模态数据融合的抑郁症评估方法，包括以下步骤：步骤1、获取受试者的面部视频及受试者音频；步骤2、得到受试者的低级视觉特征和低级音频特征；步骤3、将步骤2获取的低级视觉特征和低级音频特征输入到并行多尺度桥融合抑郁症评估PMBFN网络进行处理并得到抑郁症评级；本发明通过构建视觉与音频分支的空间编码模块、并行多尺度动态卷积模块与时空注意力池化模块，快速、高效地从视听多模态数据中提取出多尺度深度特征，全面捕获抑郁行为的动态表现，并在多模态桥融合模块的调整下，使得模态之间数据充分交互，提升多模态数据的利用率，从而提高自动抑郁症评估的准确度与效率。