一种基于双向加权聚合的实时立体匹配方法，包括以下步骤：(1)计算图像对中各个像素点的匹配代价函数值；(2)对(1)步骤中计算出的匹配代价函数进行行列双向的加权聚合，仅以颜色相似度作为权值参数，设计了一种权值可信度评估机制降低行列双向加权聚合产生的误差；(3)对(2)步骤的聚合结果沿行方向选择视差，设计了一种动态规划与贪心策略相结合的选择策略。实验证明，本发明提出的方法在保证实时性的前提下达到了较高的匹配精度。本发明可应用于各种形式的交互类应用，在科研、教育、娱乐领域均有较为广阔的应用前景。