本发明公开的监控视频下基于人脸识别的人员细粒度跟踪方法及系统，通过确定监控视频中不同人员目标框的独立时间段，确定了设定时间点视频帧所处时间段的类型，基于多个设定时间点视频帧的身份信息，确定每个人员编号下每个独立时间段的身份识别结果，解决了细粒度场景下因目标跟踪算法存在的ID交换造成的人员身份错误跟踪问题；为提高人员身份确认准确率，提出自适应人脸识别机制，根据标准判断此时是否适合进行人脸识别，以解决人员密集时因人员框重叠造成的人脸误检问题；同时，基于上述改进，本发明能够实现身份的前后向跟踪，在初、后期人脸识别操作难以实施时，也可以根据时间段在身份连续跟踪字典中获取人员身份。