本发明涉及人工智能技术领域，具体涉及计算机视觉模型预训练方法、装置、计算机设备及介质。该方法包括：获取训练样本和预设掩码比例，根据预设掩码比例将多个图像块随机平均划分得到图像块的分组结果；基于分组结果确定的不同stage下的分组矩阵构造多个掩码矩阵；采用掩码矩阵和采用基于局部自注意力的Transformer模型确定的注意力矩阵构建掩码注意力矩阵进行预训练。通过实施本发明，采用掩码注意力矩阵进行Transformer模型的预训练时，每进行一次自注意力计算，等价于同时处理固定个数带掩码的样本，同时也解决了每个窗口可见patch数量不一致难以并行的问题。