一种基于预训练语言模型的日志自动化解析方法

    公开(公告)号:CN117688931A

    公开(公告)日:2024-03-12

    申请号:CN202311611948.6

    申请日:2023-11-29

    摘要: 本发明公开了一种基于预训练语言模型的日志自动化解析方法,包括建立自动化解析模块,该解析模型包括预训练语言模型和解析树算法,使用预训练模型来对日志进行训练学习以获得一个基于日志消息上下文新消息的模型;然后再利用训练完成的模型对数据进行处理,将处理后的日志消息输入到解析树算法中进行解析。本发明的优点在于:提出了基于RoBERTa和固定深度解析树解析算法融合模型的日志解析方法,该方法能够解决传统日志解析需要针对面对不同数据需要采取不同的正则表达式的问题,提高了日志解析的鲁棒性。