本发明公开了一种双手交互状态下的三维重建方法，其步骤包括：1)输入单张彩色图像，2)检测图像中双手关键点的2.5D热图；3)提取该彩色图像的特征；4)将2.5D热图和所提取的特征输入到ResNet50深层残差模块中提取特征图；5)根据2.5D热图得到左、右手注意力图；6)使用特征图预测双手之间的相对位置关系；7)根据特征图与左、右手注意力图得到左、右手特征图；8)利用左、右手特征图预测左、右手参数化模型的参数；9)根据参数回归双手的三维关键点位置，生成左、右手注意力图更新模型参数；使用最新预测的模型参数生成的左、右手注意力图与特征图生成人手参数化模型。本发明适用于双手交叉或分离状态的三维重建。