本发明公开了一种异步双目相机的深度估计方法及系统。方法包括：S1、将任意两台单目相机以视线方向平行放置，通过缓存分别存储两台单目相机在T秒内的视频帧；S2、分别提取第一单目相机视频帧和第二单目相机的缓冲帧的特征点，计算第一单目相机视频帧和第二单目相机的缓存帧的匹配帧集合；S3、根据匹配帧集合计算每一帧的深度图，并计算深度图的置信度，以形成一组深度图和对应的置信度，对于任意像素位置的最终深度是通过将匹配帧的深度图集合按照置信度的大小进行加权平均得到。本发明可实现深度图的实时获取，显著降低了双目相机的制作成本，可广泛应用在各类场景的三维感知中。