本发明公开了一种基于高效卷积网络和卷积条件随机场的语义分割方法。本发明具体步骤如下：1、输入一张任意尺寸的RGB图像，采用由下采样模块和一维非瓶颈单元构成的编码器网络对原始RGB图像进行语义提取，得到一个由特征图组成的矩阵；2、采用反卷积层和一维非瓶颈单元，将编码器网络学习的辨别性特征从语义上映射到像素空间，以得到密集分类结果；3、采用卷积条件随机场网络层，结合原始RGB图像的像素点信息和解码器网络得到的像素点分类信息，对像素点语义特征再次进行分类，从而达到输出结果优化的目的。本发明采用全新的编码解码网络端到端的对像素点进行分类，通过使用效率高的卷积条件随机场网络对分割结果进行再优化。