一种基于深度时空条件随机场的多人头部朝向估计方法，包括以下步骤：1)利用YOLO检测人体头部，并缩放为64x64大小的图像，然后将头部图像进行标准化处理；2)训练卷积网络提取头部朝向特征；3)提取头部HoG特征；4)将卷积特征和HoG特征拼接起来形成完整特征，然后基于完整特征训练线性SVM分类器，该分类器所输出的判别分数用于构建一个条件随机场模型；5)构建一个用于多人头部朝向联合识别的条件随机场模型。该条件随机场融合CNN特征、HoG特征以及多人场景的时空语义信息对多人头部朝向进行结构化建模，可以使得多人头部朝向识别的准确度得到显著提升。本发明适用于多人头部朝向的估计。