本发明公开一种交替FBMC‑QAM系统中原型滤波器设计方法，首先假定所围绕的FBMC‑QAM系统中奇偶子载波的合成滤波器组和分析滤波器组分别由四个不同的原型滤波器交替调制而来；其次，将系统中四个原型滤波器的设计描述成一个无约束的凸优化问题，其目标函数是交替FBMC‑QAM系统的符号间干扰(ISI)、载波间干扰(ICI)和原型滤波器的阻带能量之和。基于推导所得的目标函数梯度向量，采用双迭代机制求解优化问题，最终可以得到奇偶子载波中性能更优的合成滤波器和分析滤波器。与现有技术对比发现，本发明设计所得的FBMC‑QAM系统中原型滤波器的阻带能量更低，所得的FBMC‑QAM系统有着较好的性能，可为大型FBMC‑QAM系统设计提供一种有效的解决方案。