本发明属于计算机视觉技术领域，具体涉及一种视觉信息海上目标识别多源混合数据集构建方法。本发明通过详细划分海上目标种类，为后续样本采集与标注提供标准分类条件；采用多种途径获取样本数据，利用海上目标样本采集、网络搜索、数据样本增广方式，分别构建样本数据集；设计样本分配和处理策略，并制定海上目标识别评价策略，保证样本中各类数据构成比例更为合理，保证后续神经网络训练的准确性。本发明可为基于深度学习的海上目标识别网络训练任务，提供更为合理的训练样本，使训练后的网络具有较强的鲁棒性和识别准确性。