本发明公开了基于FPGA和DSP的视频图像处理延迟动态调节系统，涉及视频图像处理技术领域，其技术方案要点是：包括第一DSP模块、第二DSP模块和FPGA，FPGA包括CML接收模块、OSD模块、PAL输出模块、图像预处理模块和延迟调节模块；第一DSP模块包括跟踪分析单元和通道调节单元；延迟调节模块，用于采集OSD模块中每帧图像进行字符叠加处理时的第一处理时间以及跟踪分析单元中每帧图像进行目标跟踪分析时的第二处理时间，并生成通道调节命令；通道调节单元，配置有多个并行且传输延迟不同的传输通道，用于依据通道调节命令选取一个传输通道将图像传输至跟踪分析单元。本发明有效提高了视频图像处理的工作效率。