本发明提供给一种用于序列标注任务的Bert模型微调方法。该方法包括：定义token的层次化标签，记作{tag1,tag2,tag3,…,tagn,tag}；其中，tag表示token的原始类别标记，tag1,tag2,tag3,…,tagn表示新增的token的其他语义信息标记，n表示标记所在层次；token表示待标注文本序列中的字或词；新增n个解码器，所述n个解码器分别与Bert模型中最后一层编码器的前n层编码器一一对应连接，使得对应层编码器的输出作为与其连接的解码器的输入；其中，第n个解码器的解码结果对应层次化标签中的第n层标记。