本发明涉及一种毫米波雷达的手势识别方法。包括：接收待识别手势的雷达回波数据，对雷达回波数据预处理，获取雷达处理数据；通过单元平均恒虚警检测算法对雷达处理数据进行检测，获取待识别手势的所有量测点；根据幅值最大策略对所有的量测点进行点迹凝聚，获取能够表征待识别手势的所有点迹；对所有的点迹进行航迹关联和航迹滤波，获取手势航迹，根据手势航迹和雷达处理数据，获取手势特征图；通过卷积神经网络模型和自注意力架构，对手势特征图进行识别。本发明采用关联跟踪的方法获取手势发生时精细化的特征图，有效避免了环境杂波的干扰，对环境具有更强的适应性，在卷积神经网络模型中引入自注意力架构，以实现更加精准的手势识别。