本发明涉及智能交通系统中的驾驶员接打电话识别方法。本发明配合智能交通违章检测系统，利用交通卡口或交通十字路口视频监控获取图像，从中分割出驾驶员位置并进行人脸定位，获得人脸图像。以人脸像素点作为样本点，构建形如Mahalanobis距离的肤色分割模型。对驾驶员图像进行肤色分割，并提取人手图像，计算人手图像的质心和倾角。参考人脸的长度和高度设定违法区域。判断人手图像的的倾角范围和质心与违法区域的关系，来判别驾驶员是否在驾驶车辆时接打电话。