公开(公告)号：CN117076541A

公开(公告)日：2023-11-17

申请号：CN202311067197.6

申请日：2023-08-23

申请人： 公安部第一研究所 ,  北京中盾安信科技发展有限公司

发明人： 夏吉广 ,  陈清辉 ,  甄玉青 ,  郝久月 ,  朱衍丞 ,  王凯乐 ,  武翠梅 ,  杨鹏 ,  张晖 ,  徐冬冬 ,  耿亚南

IPC分类号： G06F16/25 ,  G06F16/22 ,  G06F16/215 ,  G06F16/18

摘要： 本发明公开了一种面向对象存储的应用日志数据汇聚方法及系统，采集ETL工具抽取全部应用日志数据，并将采集的全部应用日志数据组成为设定大小的文件，然后将该文件加载到对象存储系统中，同时生成索引文件；装载ETL工具读取待处理的索引文件，打开索引文件对应的应用日志文件，对打开的应用日志文件进行解析、解密和清洗，得到干净的应用日志文件，并写入大数据存储。本发明将应用日志数据分为应用日志文件和对应的索引文件，便于日志汇聚时通过索引文件对其进行检索，同时可以提高日志汇聚的效率。对于ETL工具出现汇聚故障时，可以根据索引文件定位故障并修复后，继续汇聚的位置，保证应用日志数据不重不漏。