本发明提出了一种基于FPGA异构深度学习的光学遥感图像目标检测方法，主要解决现有技术中光学遥感图像目标检测中误检率高、鲁棒性差、功耗高的问题。实现步骤为：构建遥感图像训练数据集；构建基于多尺度特征交叉融合的目标检测网络；利用训练数据集训练该目标检测网络，得到目标权重；对该目标检测网络依次进行高级语言描述和编译，得到SOF可执行文件；在FPGA上运行上述得到的可执行文件，得到检测结果。本发明构建的网络，使用颜色空间转换和多尺度特征交叉融合，改善了因外界光线环境变化及目标小造成的误检和漏检，且选用FPGA作为加速平台，降低了网络运行功耗，可应用于对光学遥感图像不同区域内的飞机与舰船的地物识别。