本发明属于煤炭分选技术领域，具体提供一种基于偏振成像的煤与煤矸石分拣系统及方法，该系统包括振动筛、传送带、光电开关、光照箱、偏振相机、控制柜、工控机、并联机器人、煤矸石料框和煤料框。本发明采用偏振相机同步采集煤与煤矸石表面反射光四个角度的偏振强度图像，并计算平均偏振强度图像、偏振角图像和偏振度图像，提取该三个图像的10个特征构成30维的特征向量，对煤与煤矸石进行分拣。本发明采用4个方向的偏振强度图像，与普通图像或单个方向偏振强度图像相比，提高了分类特征的准确性。