本发明公开了一种基于边窗滤波的多源图像融合方法，本发明利用边窗滤波、稀有度颜色统计联合梯度能量优化的显著性检测方法及多层次融合策略的方法对红外和可见光图像进行融合。具体方法包括：对待融合的红外和可见光图像首先使用边窗滤波分别进行多尺度分解，生成基础层与细节层图像；通过稀有度颜色统计联合梯度能量优化的显著性检测方法生成分别对红外和可见光图像进行显著性检测得到显著图；接着，通过显著性比较以及滤波优化得到融合权重图；其次，使用融合权重指导基础层图像融合得到融合基础层；同时，采用一种多层次融合策略对细节层进行融合；最后，将融合基础层和融合细节层进行重构得到融合后的图像。