本发明属于视频会议控制系统领域并公开了一种基于语音识别的视频会议控制系统；包括语音指令录入系统、语音分析处理系统、会场控制系统，所述语音指令录入系统接收各个会场的语音指令，并将语音指令传输到语音分析处理系统，所述语音分析处理系统识别语音指令，并对会场控制系统发出控制信号，所述会场控制系统接收到控制信号后对会场内的设备进行控制；所述语音指令录入系统包括多个语音接收装置，且每个参会会场中均设置有至少一个语音接收装置；本发明提供视频会议控制系统，可以准确判定秩序不佳的会场，并对其提出警示，这不仅节约了维持会场秩序的成本，同时也减小了对视频会议控制的外界干扰。