本发明公开了一种视频多目标跟踪与分割系统和方法。该系统包括：视频获取模块，用于获取待处理视频；特征提取模块，与视频获取模块连接，用于提取多个视频帧的特征；目标框检测分支，与特征提取模块连接，用于生成每个视频帧包含的目标的目标框、类别和置信度；语义分割分支，与特征提取模块连接，用于生成每个视频帧包含的目标的分割掩膜；时空嵌入分支，与特征提取模块连接，用于对所述多个视频帧中的每个目标的分布进行估计。本发明通过时空信息可以学习到更具有区分性的嵌入信息，提高系统的跟踪性。