一种基于知识蒸馏的双重先验文本分类方法

    公开(公告)号:CN118227795A

    公开(公告)日:2024-06-21

    申请号:CN202410437957.6

    申请日:2024-04-11

    申请人: 淮阴工学院

    摘要: 本发明涉及一种基于知识蒸馏的双重先验文本分类方法,首先文本样本进行清洗和预处理,制作领域字典。通过人工获取可信度较高先验知识,再通过对比学习扩充人工标注,得出Ar标签损失;另一方面,使用了LGTMX—R模块,利用知识蒸馏进行损失计算Loss,再用其反馈到学生模型中,提高其在验证集上泛化性;接着两个不同的标签损失的基础上,使用动态加权,使得标签损失经过多轮计算过后更具鲁棒性,得到最优损失;最后在输出层对语义信息进行分类。本发明知识蒸馏可以更好地减少模型参数,加快模型速率,因此模型分类的性能更加健壮,并且双重先验文本分类模型中的特征提取得到更好地加强,能够有效提高模型性能。

    一种基于DCG及双分支并行的地铁客流量预测方法及装置

    公开(公告)号:CN118469079A

    公开(公告)日:2024-08-09

    申请号:CN202410607726.5

    申请日:2024-05-16

    申请人: 淮阴工学院

    摘要: 本发明公开了一种基于DCG及双分支并行的地铁客流量预测方法及装置,所述方法包括:首先,构建地铁通行网络,其中节点表示站台点,节点所连边表示站台间的到达关系;其次,通过地铁通行网络和实体测量数据构建包括深度关系矩阵、旅行距离权重矩阵和乘客流量权重矩阵融合的DCG模块;最后,将DCG模块编码送入SBULSTM模块与Transformer模块双分支并行的预测神经网络。本发明通过DCG模块,还原地铁网络的实际拓扑结构,捕捉由站点到站线的客流特征;同时,并行SBULSTM模块与Transformer模块既能考虑时间序列的前后向状态,又能够学习复杂的时间特征、捕捉DCG所提供全局空间上的客流信息,加强全局时空通道的交互以减少信息的损失,提高了综合时空预测的能力。

    一种基于掩码与因果语言模型多层特征加权融合的文本分类方法

    公开(公告)号:CN118332116A

    公开(公告)日:2024-07-12

    申请号:CN202410449200.9

    申请日:2024-04-12

    申请人: 淮阴工学院

    IPC分类号: G06F16/35 G06F18/25 G06N3/084

    摘要: 本发明涉及文本分类技术领域,公开了一种基于掩码与因果语言模型多层特征加权融合的文本分类方法,包括:对输入的文本进行预处理,得到预处理后的文本表示;分别利用掩码和因果语言模型对预处理后的文本表示进行编码,得到掩码和因果语言模型的多层编码特征;设置一个可学习的权重向量对掩码和因果语言模型多层编码特征进行加权融合;将融合特征表示输入Softmax分类器,得到文本的分类结果。与现有技术相比,本发明将掩码和因果语言模型所学习到的不同语义信息进行加权融合,能够更好地表征文本的语义信息,从而提高文本分类的准确性和鲁棒性。