一种面向无人艇的红外舰船目标跟踪方法及装置，该方法包括：构建红外舰船目标视频数据集；将数据集划分为训练集和测试集；对舰船目标检测器进行训练；构建外观特征提取网络结构模型，并进行训练；构建舰船目标跟踪器，并进行训练；利用训练好的舰船目标检测器检测测试集的舰船目标；利用训练好的外观特征提取网络结构模型提取舰船目标的外观特征向量；根据舰船目标及舰船目标的外观特征向量，利用训练好的舰船目标跟踪器对测试集进行测试；部署舰船目标检测器、外观特征提取网络结构模型、舰船目标跟踪器，进行舰船目标跟踪。还包括一种面向无人艇的红外舰船目标跟踪装置。本发明鲁棒性好，精度高，能适用短时遮挡、非线性运动场景。