本发明公开了基于BIM和视频的数字孪生定位方法及系统，包括：本发明首先采集建筑现场的实时第一视频流，根据帧之间的结构相似性指数SSIM调整抽取帧图像的频率形成第二视频流；采用训练好的卷积神经网络CNN对第二视频流进行特征提取，并输入到递归神经网络RNN中，通过递归神经网络RNN得到帧序列动态变化特征，根据帧序列动态变化特征识别出的人物、物体并与BIM模型中的元素数据进行匹配，进而实时更新数字孪生模型，以反映建筑现场的实时状态。本申请根据时间窗口内SSIM值的平均值调整当前时间窗口的视频帧抽取频率，并特征提取过程中根据视频帧抽取频率对激活函数进行动态调整，大大提高了BIM模型生成的准确性和效率。