本发明公开了一种基于矩形结构的变焦相机姿态标定方法和系统，属于图像处理技术领域。包括以下步骤：获取矩形四个角点的像素坐标；由四个角点的像素坐标求四边形对角线的分割比例；由矩形的垂直关系求相机焦距；求取矩形四个角点在归一化成像平面上所对应的物理坐标；由矩形四个角点的物理坐标求取其三维投影坐标；求出旋转矩阵R；将变形矩形所在的图像重投影得到矫正后矩形所在的矫正后图像。本发明只需要矩形图像信息，而不需要矩形物理尺寸信息，在很多不易得知矩形物体尺寸的情况下，均能求解变焦相机的焦距以及进行相机姿态标定，重投影得到矫正后的图像，相比于传统算法具有更广泛的适用性。