本发明公开了一种基于高光谱图像的早期肿瘤组织识别系统，涉及高光谱图像处理技术领域。包括：环境光捕获模块，被配置为捕获环境光特征并进行预处理；特征提取模块，被配置为提取高光谱图像的肿瘤组织特征区域并对肿瘤组织特征区域进行标注；图像处理模块，被配置为消除环境光影响，对消除环境光影响后的肿瘤组织特征区域进行预处理和光谱波段优选；模型训练模块，将选择的特征波段通过半监督式聚类算法进行初步训练，再通过迁移学习训练不同维度的卷积神经网络；得到肿瘤组织识别模型；肿瘤识别模块，被配置为采用肿瘤组织识别模型对肿瘤组织进行识别。本发明系统在降低训练CNN所需数据集的同时也提高了肿瘤识别的准确度。