本发明提供一种基于层次结构矩阵的介形化石图像处理系统，读取化石图像并进行预处理，构建含有属类‑种类标签的介形化石分层次数据集；使用神经网络进行介形化石属类‑种类的初始预测；基于数据中存在的固有层次包含关系构建层次结构矩阵；将层次结构矩阵插入到网络，对初始预测作后处理；建立起端到端的多层次分类神经网络，对目标介形化石图像进行多层次分类判定，确定介形化石图像所属类别。通过构建含有属类‑种类标签的介形化石分层次数据集，再使用神经网络进行介形化石属类‑种类的初始预测，然后针对数据中存在的固有层次包含关系构建层次结构矩阵，该矩阵插入到网络的初始预测之后作为后处理步骤，从而建立端到端的多层次分类神经网络。