本发明涉及音视频传输技术领域，尤其涉及一种基于多模态处理的音视频传输系统，包括：端口数据获取模块，其用以获取当前会话环境的各用户端信息；测试模块，用以通过传输测试获取各用户端的可用传输阈值；环境识别模块，其用以获取当前会话环境的维护模态以及确定对各用户端的传输匹配结果；数据流驱动模块，用以确定传输流分配比例、确定各模态数据流的压缩比例以及基于会话环境的维护模态的调整，更新所述压缩比例；本发明通过基于多模态数据的各客户端间的传输速度差异、数据量差异，调整音视频传输压缩方式，能够将同一会话环境中的各用户端的多模态数据的传输数据量通过压缩比例设定进行调整，保证各模态数据的传输同步性。