本发明公开了一种基于LSTM自编码器的耕地闲置识别方法，包括采集预设区域的时序数据，对所述时序数据进行预处理，对所述时序多光谱遥感图像进行逐月聚合并取中值获得时间段聚合时序HLS影像，对所述时序遥感影像进行逐月聚合并取低值获得时间段聚合时序SAR影像，根据所述时间段聚合时序HLS影像所述耕地特征，将土地覆被分成三种模式，根据所述三种模式分别构建LSTM自编码器模型，优化所述LSTM自编码器模型，将闲置耕地的所述植被指数输入LSTM自编码器模型确定残差分布阈值，将待识别数据输入LSTM自编码器模型，输出识别结果。该方法不仅可以提高基于LSTM自编码器的耕地闲置识别的精度，同时具有较好的可解释性，可以直接应用于耕地闲置识别系统中。