一种基于自适应特征模态分解的旋转机械复合故障诊断方法及系统，属于机械信号处理与设备故障诊断领域。本发明采集待诊断的旋转机械复合故障信号；基于以包络自相关峭度(EAK)为指标的可调尺度滑动窗口滤波方法定位故障引起的共振频带，从而自适应确定特征模态分解的模态数及各模态对应的故障特征频率；基于以二阶循环平稳性指标(ICS2)为目标函数的特征模态分解方法将采集的复合故障信号自适应分解为若干模态分量；计算分解模态的包络谱。本发明克服了严重依赖分解模态数与故障特征频率等先验参数的问题，能从强周期性噪声干扰的旋转机械复合故障信号中精确定位故障引起的共振频带，准确分离并提取各单一故障分量。