本申请提供一种用于编码器信号分析的改进变分模态分解方法，其包括：对输出轴编码器采集齿轮箱输出轴的编码器信号xe进行处理得到预处理信号x；初始化分解方法的输入系数；利用分解过程中模式信号u的相关峭度值来选择合适的平衡系数；通过循环使用变分模态分解方法来选择最优平衡系数；当获得最优平衡系数后，对相应分解后的信号进行稀疏处理；分析处理后的编码器信号，根据故障冲击的间隔距离给出齿轮箱故障诊断结果。本发明避免了传统变分模态分解方法对分解模式和平衡系数这两个参数的选择依赖；具有很高的鲁棒性并且在循环过程中无需人工设置参数，适合于在线健康监测。