日志数据存储系统、方法、设备及介质

    公开(公告)号:CN115328878B

    公开(公告)日:2023-04-07

    申请号:CN202211264462.5

    申请日:2022-10-17

    摘要: 本申请公开了一种日志数据存储系统、方法、设备及介质,涉及工业互联网领域,日志数据存储系统包括:时间索引确定模块,用于基于预设时间命令从预设时间索引表和/或预设时间索引备份表中确定出对应的目标时间索引;与所述时间索引确定模块连接的日志数据存储模块,用于将待存储日志数据的日志头和日志内容存储至与所述目标时间索引对应的预设日志数据区;与所述日志数据存储模块连接的日志信息存储模块,用于存储所述待存储日志数据的预设信息字段,并利用所述预设信息字段确定所述待存储日志数据在所述预设日志数据区的存储位置。通过上述日志数据存储系统,实现了合理存储日志数据的目的,进而可以提高后续查询效率。

    一种文本数据库的防护方法、装置、设备及介质

    公开(公告)号:CN115329391B

    公开(公告)日:2023-01-24

    申请号:CN202211270807.8

    申请日:2022-10-18

    摘要: 本申请公开了一种文本数据库的防护方法、装置、设备及介质,涉及工业互联网技术领域,包括:启动数据库事务,以将内存中文本数据库当前写入的目标数据内容写入至磁盘;在数据库事务完成后将内存中文件信息的时间索引表版本增加预设单位数值,然后将时间索引表版本写入至磁盘;对内存中的文件信息和时间索引表分别进行备份处理得到文件信息备份和时间索引表备份,并将文件信息备份和时间索引表备份写入磁盘;将内存中文件信息备份的时间索引备份表版本增加预设单位数值,然后将时间索引备份表版本写入至磁盘。上述技术方案在将内存中文本数据库的目标数据内容持久化至磁盘的过程中,能够防止数据丢失并保障数据文件的安全性。

    一种日志数据处理方法、装置、设备、存储介质

    公开(公告)号:CN115237875A

    公开(公告)日:2022-10-25

    申请号:CN202211169509.X

    申请日:2022-09-26

    IPC分类号: G06F16/18 G06F16/13 G06F11/14

    摘要: 本申请公开了一种日志数据处理方法、装置、设备、存储介质,涉及工业互联网技术领域,包括:将收集的日志数据按照预设时间周期创建相应的数据文件,按照数据尾指针指定的位置信息将数据文件中的目标日志数据写入对应位置信息的日志数据区;根据目标日志数据的日志时间和映射关系从时间索引表获取对应的日志链表信息;当目标日志数据的写入操作完成后,修改日志链表信息并更新时间索引表的版本信息,将时间索引表的版本信息备份保存,实现对日志数据的处理。将时间索引区及时间索引指向的少量包含日志数据区的信息数据区映射至内存,每次映射当日数据文件中需要读写操作的数据区域的块映射的方法,保证数据安全性、完整性并且低延迟处理大量数据。

    一种日志数据处理方法、装置、设备、存储介质

    公开(公告)号:CN115237875B

    公开(公告)日:2023-01-24

    申请号:CN202211169509.X

    申请日:2022-09-26

    IPC分类号: G06F16/18 G06F16/13 G06F11/14

    摘要: 本申请公开了一种日志数据处理方法、装置、设备、存储介质,涉及工业互联网技术领域,包括:将收集的日志数据按照预设时间周期创建相应的数据文件,按照数据尾指针指定的位置信息将数据文件中的目标日志数据写入对应位置信息的日志数据区;根据目标日志数据的日志时间和映射关系从时间索引表获取对应的日志链表信息;当目标日志数据的写入操作完成后,修改日志链表信息并更新时间索引表的版本信息,将时间索引表的版本信息备份保存,实现对日志数据的处理。将时间索引区及时间索引指向的少量包含日志数据区的信息数据区映射至内存,每次映射当日数据文件中需要读写操作的数据区域的块映射的方法,保证数据安全性、完整性并且低延迟处理大量数据。

    日志数据存储系统、方法、设备及介质

    公开(公告)号:CN115328878A

    公开(公告)日:2022-11-11

    申请号:CN202211264462.5

    申请日:2022-10-17

    摘要: 本申请公开了一种日志数据存储系统、方法、设备及介质,涉及工业互联网领域,日志数据存储系统包括:时间索引确定模块,用于基于预设时间命令从预设时间索引表和/或预设时间索引备份表中确定出对应的目标时间索引;与所述时间索引确定模块连接的日志数据存储模块,用于将待存储日志数据的日志头和日志内容存储至与所述目标时间索引对应的预设日志数据区;与所述日志数据存储模块连接的日志信息存储模块,用于存储所述待存储日志数据的预设信息字段,并利用所述预设信息字段确定所述待存储日志数据在所述预设日志数据区的存储位置。通过上述日志数据存储系统,实现了合理存储日志数据的目的,进而可以提高后续查询效率。

    一种文本数据库的防护方法、装置、设备及介质

    公开(公告)号:CN115329391A

    公开(公告)日:2022-11-11

    申请号:CN202211270807.8

    申请日:2022-10-18

    摘要: 本申请公开了一种文本数据库的防护方法、装置、设备及介质,涉及工业互联网技术领域,包括:启动数据库事务,以将内存中文本数据库当前写入的目标数据内容写入至磁盘;在数据库事务完成后将内存中文件信息的时间索引表版本增加预设单位数值,然后将时间索引表版本写入至磁盘;对内存中的文件信息和时间索引表分别进行备份处理得到文件信息备份和时间索引表备份,并将文件信息备份和时间索引表备份写入磁盘;将内存中文件信息备份的时间索引备份表版本增加预设单位数值,然后将时间索引备份表版本写入至磁盘。上述技术方案在将内存中文本数据库的目标数据内容持久化至磁盘的过程中,能够防止数据丢失并保障数据文件的安全性。

    一种数据处理方法、装置、设备及可读存储介质

    公开(公告)号:CN113411341A

    公开(公告)日:2021-09-17

    申请号:CN202110705999.X

    申请日:2021-06-24

    发明人: 宗琪 郑成坤

    IPC分类号: H04L29/06 G06F16/901

    摘要: 本发明公开了一种数据处理方法、装置、设备及可读存储介质,该方法包括:接收数据包的分片包;判断分片包是否为首片包;如果是,则将分片包中的首片包流信息存入哈希链表;如果否,则从哈希链表中,获取与分片包对应的首片包流信息;利用与首片包流信息对应的安全处理策略,对分片包进行处理;安全处理策略为IPSec协议中的安全策略。该本方法,无需再等待所有分片包,也无需进行分片包重组,便可直接基于首片包流信息来确定出匹配的安全处理策略,省去等待分片包的时间,重组分片包以及重组分片包后的再分片处理步骤,可实现接收分片包后便可立即处理的效果,可加快分片包处理效率,可降低丢包率,保证数据传输的可靠性。