本发明提供了一种视频编码方法、解码方法、编码器及解码器，获取当前图像和当前图像的序号，根据该序号和预设的图像层次结构，确定当前图像所处的图像层次，并生成当前图像的层次标识，其中，预设的图像层次结构包括图像层次间的参考关系和各图像层次的构成，当前图像的层次标识用于标识与当前图像对应的参考图像缓冲区的目标管理方式，参考参考图像缓冲区中的参考图像，对当前图像进行编码，得到当前图像的编码比特流，该编码比特流包括该层次标识，根据该层次标识所标识的目标管理方式，对参考图像缓冲区进行管理。本发明通过预设的图像层次结构，对参考图像缓冲区进行管理，以较少缓存单元个数实现图像间灵活的参考关系，提高视频编解码性能。