本发明涉及分级存储数据替换技术领域，特别涉及一种分级存储系统的数据替换方法，包括：当任一节点的持久性内存空间使用率大于或等于替换阈值时，任一节点自动成为迁移节点，迁移节点通过远程过程调用向其他节点发送数据替换请求，以便其他节点根据数据替换请求提议并发送备选冷数据对应的结果；迁移节点根据结果汇总筛选备选冷数据，做出最终数据替换决策；迁移节点根据最终数据替换决策，在持久性内存和外存之间交换冷热数据，并通过版本信息以保证数据一致性。该分级存储系统的数据替换方法，能够以较低的性能开销，高效地识别出持久性内存中的冷数据并将该冷数据替换到外存，从而把热数据保留在性能更高的持久性内存中。