本申请公开了一种服务器测温装置及CPU测温方法，服务器测温装置包括磁力表座、第一连杆、第二连杆、安装支架和温度传感器，第一连杆竖直设于磁力表座上，第二连杆垂直设置于第一连杆上，安装支架设于所述第二连杆上，温度传感器设于所述安装支架上，第二连杆与第一连杆滑动连接，安装支架与第二连杆滑动连接，温度传感器能够沿垂直于第二连杆轴向的方向滑动并固定。将服务器测温装置固定在服务器上，使得温度传感器设于服务器出风口，通过温度传感器测量检测点的检测温度，对检测点检测温度进行温度补偿，得到CPU温度。能够对单个服务器的CPU温度进行检测，及时发现某一台服务器局部温度过高的问题。