基于双线性卷积神经网络的金相组织识别方法，包括如下步骤：(1)采集金相图片构成数据集；(2)将数据集划分训练集和测试集，使用训练集数据训练两个不同的卷积神经分类网络，并使用测试集数据测试网络；(3)在两个训练好的卷积神经分类网络基础上建立双线性卷积神经网络；(4)使用训练集数据训练双线性卷积神经网络；(5)使用双线性卷积神经网络识别金相组织；本发明首次将双线性模型运用到金相组织识别任务中，该模型能够提取到更加丰富的特征信息，与单一的卷积神经网络模型相比，提高了金相组织的识别准确率。