本申请公开了一种语义分割模型优化方法及系统，通过构建第一语义分割模型及处理模块；并对第一空间权重和第一类别权重进行初始化处理；在每轮训练迭代过程中根据处理模块的输出结果对第一空间权重进行更新获得第二空间权重；根据验证结果和第一类别权重，以获取第二类别权重；最后再根据第二空间权重和第二类别权重以及预设条件获得优化后的第二语义分割模型；本方法不改变语义分割网络模型的网络结构以及不增加推理过程中的运算工作量就可以解决训练过程中图像不均衡和语义分割中的多尺度目标的问题。