本发明属于图像处理技术领域，公开了布局优先的多尺度解耦海洋遥感图像上色方法及系统，首先将输入的原始灰度图下采样为不同尺度的多个灰度图，输入多尺度解耦特征提取模块，提取多尺度解耦特征；将多尺度解耦特征输入布局优先的多尺度特征融合模块，利用增强的布局划分特征指导语义特征，随后利用包含布局约束的语义特征指导着色特征，对提取的多尺度解耦特征进行融合；最后生成彩色图像；将生成的彩色图像和原始彩色图像通过判别器进行判别，可以输出判别结果。通过本发明解决了海洋遥感图像空间布局一致性问题，下采样后的大尺度特征提取过程中包含大量噪声的问题以及多尺度信息利用过程中，大尺度对小尺度约束弱的问题。