本发明公开了一种基于双目视觉的船舶识别与航速测量系统及方法，双目相机采集船舶图像；采用张氏标定法对双目相机进行标定，根据双目相机的内外参数对船舶图像校正；对校正后的船舶图像进行图像增强，并将视觉显著性检测和OTSU分割相结合，从船舶图像中提取船舶的轮廓图并缓存；采用Hu矩特征和HOG特征相结合的船舶特征提取方法，选取支持向量机作为船舶分类器模型，对船舶轮廓图中的船舶进行分类；根据最小外接矩原理对分类后的船舶进行尺寸测量，再基于船舶分类结果，判断船舶是否存在超长或超宽；采用尺度不变特征变换SIFT对船舶轮廓图中已分类的船舶进行特征点的提取及匹配，根据双目测距原理计算出船舶行驶距离，从而得到行驶速度。