本发明提供一种双传感器摄像系统及其深度图计算方法。双传感器摄像系统包括至少一个色彩传感器、至少一个红外线传感器、存储装置及处理器。处理器经配置以加载并执行存储在存储装置中的计算机程序以：控制色彩传感器及红外线传感器采用适用于摄像场景下的多个曝光条件分别获取多张色彩图像及多张红外线图像；从多张色彩图像及多张红外线图像中适应性选择出彼此可对比的色彩图像及红外线图像的组合；以及使用所选择的色彩图像及红外线图像计算摄像场景的深度图。