本发明涉及一种钢胚缺陷光学检测系统及其检测方法，该检测系统包括：多个第一矩阵型影像获取装置，分别面对一钢胚的四个表面；多个第二矩阵型影像获取装置，分别面对该钢胚的一第一边角、一第二边角及一第三边角；一线型影像获取装置，面对该钢胚的一第四边角；多个投射光源，分别设置于该钢胚的各边角的相对位置；及一影像数据处理装置，其分别依据所述多个第一矩阵型影像获取装置、所述多个第二矩阵型影像获取装置及该线型影像获取装置所获取的每一影像及一设定决策规则判断每一影像是否具有缺陷及缺陷的种类。藉此，可同时检出钢胚的表面缺陷及长形边角缺陷。