公开(公告)号：CN116578699A

公开(公告)日：2023-08-11

申请号：CN202310379608.9

申请日：2023-04-10

Applicant: 广东工业大学

Inventor： 詹培林 ,  黄庆杰 ,  黄维爽 ,  郑曼娜 ,  卢立仁 ,  林庆文

IPC: G06F16/35 ,  G06F18/241 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提供一种基于Transformer的序列分类预测方法和系统，该方法包括构建整数id词表，将所有初始序列拆分为待训练数据集；建立用于序列分类预测的Transformer神经网络模型并进行特定的初始化，为该模型添加递归位置编码矩阵，将待训练数据集输入初始化后的模型进行分类预测训练，当交叉熵损失最小时，完成训练；最后将待分类的文本序列数据集进行拆分后输入训练后的Transformer神经网络模型进行分类预测，获得序列分类预测结果；本发明通过Summer初始化和Cumsum计算在序列分类任务中，能够在捕捉序列的线性结构信息的同时降低特征捕捉的计算时间，从而提高了模型的收敛能力和预测准确度。