使用虚拟文件句柄操作存档文件的方法、系统及存储介质

    公开(公告)号:CN113886334A

    公开(公告)日:2022-01-04

    申请号:CN202111187601.4

    申请日:2021-10-12

    摘要: 一种使用虚拟文件句柄操作存档文件的方法、系统及存储介质,方法包括:访问存档文件,获取相应存档文件句柄值;根据存档文件的句柄值检测被访问的存档文件是否为打开状态,若存档文件为打开状态则加锁提供使用,若存档文件为非打开状态则统计已经打开的存档文件的数量;检测已经打开的存档文件的数量是否超过文件句柄数,若否,打开该存档文件,设定句柄值并加锁提供使用;若是,则在一个列表中记录所有已经打开的文件句柄,将最少使用的文件句柄关闭并释放该文件句柄,打开新的文件句柄并加锁提供使用;使用文件句柄完毕,在不关闭文件句柄的条件下进行解锁处理。本发明采用文件句柄缓冲的方式来虚拟文件句柄的管理,保证存档文件的正常操作。

    实时数据库补历史数据方法、系统、存储介质及服务器

    公开(公告)号:CN114020792A

    公开(公告)日:2022-02-08

    申请号:CN202111329340.5

    申请日:2021-11-10

    摘要: 本发明公开了一种实时数据库补历史数据方法、系统、存储介质及服务器,方法包括接收补历史数据以数据页为单位存储在补历史缓存队列中;从补历史缓存队列中取出固定页数进行批量归档,遍历所有待归档数据页;取一个待归档数据页,对存档文件进行遍历,将待归档数据页与存档文件时间范围进行比较;根据时间范围比较结果,将落在当前存档文件的数据写入存档文件进行归档,如果待归档数据页存在剩余数据,则对待归档数据页进行数据页分割,再继续遍历下一个存档文件;当待归档数据页中所有数据都归档后,停止遍历存档文件,继续取下一个待归档数据页。本发明能够保证实时数据正常传输而不受补历史数据影响,保持了实时数据库系统性能。

    冷热数据自适应索引方法、系统、存储介质及服务器

    公开(公告)号:CN113961513A

    公开(公告)日:2022-01-21

    申请号:CN202111187642.3

    申请日:2021-10-12

    摘要: 一种冷热数据自适应索引方法、系统、存储介质及服务器,方法包括以下步骤:将热数据写入存储器;为写入存储器的热数据构建结构为红黑树的索引;判断当前的热数据中是否存在满足转换为冷数据的条件,并将满足条件的热数据转换为冷数据存储到磁盘当中,释放相应缓存空间;将转换为冷数据的索引由红黑树结构转换为跳跃链表结构。同时,还公开了一种冷热数据自适应索引系统、存储介质及服务器。本发明在接收实时数据写入时,大量存储在存储器中的数据被标记为热数据,通过对热数据文件构建索引结构为红黑树,红黑树结构的插入性能好,能够提升数据归档性能,而对冷数据构建索引结构为跳跃链表,跳跃链表结构的查找速度快,能够提升数据查询性能。

    实时数据库补历史数据方法、系统、存储介质及服务器

    公开(公告)号:CN114020792B

    公开(公告)日:2024-08-20

    申请号:CN202111329340.5

    申请日:2021-11-10

    摘要: 本发明公开了一种实时数据库补历史数据方法、系统、存储介质及服务器,方法包括接收补历史数据以数据页为单位存储在补历史缓存队列中;从补历史缓存队列中取出固定页数进行批量归档,遍历所有待归档数据页;取一个待归档数据页,对存档文件进行遍历,将待归档数据页与存档文件时间范围进行比较;根据时间范围比较结果,将落在当前存档文件的数据写入存档文件进行归档,如果待归档数据页存在剩余数据,则对待归档数据页进行数据页分割,再继续遍历下一个存档文件;当待归档数据页中所有数据都归档后,停止遍历存档文件,继续取下一个待归档数据页。本发明能够保证实时数据正常传输而不受补历史数据影响,保持了实时数据库系统性能。

    一种大规模锁系统实现方法、装置、存储介质和服务器

    公开(公告)号:CN113961364A

    公开(公告)日:2022-01-21

    申请号:CN202111189055.8

    申请日:2021-10-12

    IPC分类号: G06F9/52 G06F9/48 G06F9/50

    摘要: 一种大规模锁系统实现方法、装置、存储介质和服务器,大规模锁系统实现方法包括应用程序调用本软件模块应用程序调用接口,初始化锁池管理对象,应用程序调用接口接到访问请求,转到锁池管理层实现服务;应用程序调用本软件模块应用程序调用接口,为需要进行锁保护的对象创建一个逻辑锁对象,应用程序调用接口接到访问请求,转到逻辑锁管理层实现服务;应用程序调用本软件模块应用程序调用接口,执行加锁流程以及解锁流程,转到逻辑锁操作层实现对应服务。由于超过百万级对象需要线程安全,可避免锁过多对系统造成过高的内存和锁资源压力。如果大规模使用临界区锁,由于多线程竞争不断发生,使用本发明仅用很少的临界区锁可完成多线程的安全功能。

    实时数据库API无中断调用方法、系统、存储介质及服务器

    公开(公告)号:CN113986501B

    公开(公告)日:2024-09-03

    申请号:CN202111264943.1

    申请日:2021-10-28

    IPC分类号: G06F9/48 H04L67/14

    摘要: 一种实时数据库API无中断调用方法、系统、存储介质及服务器,方法包括客户端通过API发起请求报文并等待响应;网络服务进程接收请求报文,然后转发请求报文到业务服务进程;网络服务进程如果通讯中断,则等待业务服务进程的服务恢复并重新建立连接后,重发请求报文;业务服务进程处理请求报文并给网络服务进程回传响应报文;如果业务服务进程运行异常或崩溃则恢复指定服务进程和数据,等待重发请求报文;网络服务进程如果收到响应报文,则删除相应的缓存指令,并将响应报文回传给客户端;如果客户端超时未收到响应报文,则在API到网络服务进程以及网络服务进程到业务服务进程之间自动重发请求报文。本发明避免了客户端API调用中断。

    一种大规模锁系统实现方法、装置、存储介质和服务器

    公开(公告)号:CN113961364B

    公开(公告)日:2024-09-17

    申请号:CN202111189055.8

    申请日:2021-10-12

    IPC分类号: G06F9/52 G06F9/48 G06F9/50

    摘要: 一种大规模锁系统实现方法、装置、存储介质和服务器,大规模锁系统实现方法包括应用程序调用本软件模块应用程序调用接口,初始化锁池管理对象,应用程序调用接口接到访问请求,转到锁池管理层实现服务;应用程序调用本软件模块应用程序调用接口,为需要进行锁保护的对象创建一个逻辑锁对象,应用程序调用接口接到访问请求,转到逻辑锁管理层实现服务;应用程序调用本软件模块应用程序调用接口,执行加锁流程以及解锁流程,转到逻辑锁操作层实现对应服务。由于超过百万级对象需要线程安全,可避免锁过多对系统造成过高的内存和锁资源压力。如果大规模使用临界区锁,由于多线程竞争不断发生,使用本发明仅用很少的临界区锁可完成多线程的安全功能。

    一种时序数据库快照数据归档方法及系统

    公开(公告)号:CN114020688A

    公开(公告)日:2022-02-08

    申请号:CN202111328028.4

    申请日:2021-11-10

    IPC分类号: G06F16/11

    摘要: 本发明公开了一种时序数据库快照数据归档方法及系统,归档方法包括快照服务从归档队列中取出内存页,拷贝到交换内存中,并释放当前内存页;调用历史服务相应接口归档,在归档结束后,返回处理结果至快照服务。本发明的时序数据库快照数据归档方法,简化了在历史服务中直接归档历史内存中的数据页的步骤,使得数据处理存储简单化。此外,采用在必要时进行数据页拆分的方式,可以将归档数据页中所有落在当前存档文件时间范围内的数据进行汇总,按照存档文件时间范围进行数据归档,便于后期数据的高效检索。本发明能够解决快照数据与补录数据同时入库时在内存中产生的冲突,简化了快照服务对补录数据在内存中的处理流程,使数据处理归档简单和高效。

    实时数据库故障恢复的方法、系统、存储介质及服务器

    公开(公告)号:CN113986594A

    公开(公告)日:2022-01-28

    申请号:CN202111264932.3

    申请日:2021-10-28

    IPC分类号: G06F11/07 G06F9/50

    摘要: 一种实时数据库故障恢复的方法、系统、存储介质及服务器,方法包括以下步骤:启动实时数据库看门狗服务进程,初始化共享内存;启动和初始化实时数据库的其他服务进程,所述实时数据库的其他服务进程包括通讯服务进程、基础服务进程、快照服务进程以及历史服务进程;其他服务进程向看门狗服务进程申请需要热备数据的共享内存,并进行数据读写;其他服务进程定时向共享内存更新进程运行状态;如果某个服务进程超时未更新运行状态则重启服务进程;重启的服务进程向共享内存托管进程申请取回数据进行现场恢复。本发明可实现快速的服务重启和数据恢复,极大地提高了实时数据库的服务稳定性和数据安全性。

    实时数据库API无中断调用方法、系统、存储介质及服务器

    公开(公告)号:CN113986501A

    公开(公告)日:2022-01-28

    申请号:CN202111264943.1

    申请日:2021-10-28

    IPC分类号: G06F9/48 H04L67/14

    摘要: 一种实时数据库API无中断调用方法、系统、存储介质及服务器,方法包括客户端通过API发起请求报文并等待响应;网络服务进程接收请求报文,然后转发请求报文到业务服务进程;网络服务进程如果通讯中断,则等待业务服务进程的服务恢复并重新建立连接后,重发请求报文;业务服务进程处理请求报文并给网络服务进程回传响应报文;如果业务服务进程运行异常或崩溃则恢复指定服务进程和数据,等待重发请求报文;网络服务进程如果收到响应报文,则删除相应的缓存指令,并将响应报文回传给客户端;如果客户端超时未收到响应报文,则在API到网络服务进程以及网络服务进程到业务服务进程之间自动重发请求报文。本发明避免了客户端API调用中断。