基于访问趋势预测的时间序列数据库缓存管理方法

    公开(公告)号:CN105426411A

    公开(公告)日:2016-03-23

    申请号:CN201510733108.6

    申请日:2015-10-31

    发明人: 杨凡 钱锋 张俊

    IPC分类号: G06F17/30

    CPC分类号: G06F16/2474 G06F16/24552

    摘要: 本发明提供了基于访问趋势预测的时间序列数据库缓存管理方法,在常规数据库提供数据访问缓存的基础上,建立时间序列数据库双缓存机制;在常规缓存之外增加一块预测数据缓存,用于预测访问数据的预加载,以便在数据访问之前将其载入内存,加快查询速度。本发明用以实现对时间序列数据库数据缓存进行有效管理,提高数据缓存命中与系统数据查询效率。系统对于近期访问数据进行分析,并预测数据访问趋势,对预测数据进行加载,提高数据访问速度。此种方法适用于时间序列数据库数据缓存管理,用于提高时间序列数据库数据查询效率。

    一种EMS多专业数据全息存储及全景事故反演方法

    公开(公告)号:CN102855391B

    公开(公告)日:2016-03-02

    申请号:CN201210283436.7

    申请日:2012-08-10

    IPC分类号: G06F17/30

    摘要: 本发明公开一种EMS多专业数据全息存储及全景事故反演方法,包含如下内容:a)通过全局版本字典对涉及工业企业能源管控系统的各个专业的模型、人机图形画面和与之对应的测点对象数据进行一体化版本管理,保存所有时间的系统历史模型、图形和数据版本;b)对工业企业能源管控系统的各个专业的实时数据进行分布式存储,保存为时间序列的数据格式存入高速数据库,采用触发式或周期采样方式的存储模式。其是一套用于工业企业能源管控系统的有效的多专业数据的模型、画面、数据的全息存储方法以及建立在此基础上的全景全过程的事故反演方法,可解决大型工业企业缺乏有效的能源事故的反演分析工具的问题。

    一种EMS多专业数据全息存储及全景事故反演方法

    公开(公告)号:CN102855391A

    公开(公告)日:2013-01-02

    申请号:CN201210283436.7

    申请日:2012-08-10

    IPC分类号: G06F19/00 G06F17/30

    摘要: 本发明公开一种EMS多专业数据全息存储及全景事故反演方法,包含如下内容:a)通过全局版本字典对涉及工业企业能源管控系统的各个专业的模型、人机图形画面和与之对应的测点对象数据进行一体化版本管理,保存所有时间的系统历史模型、图形和数据版本;b)对工业企业能源管控系统的各个专业的实时数据进行分布式存储,保存为时间序列的数据格式存入高速数据库,采用触发式或周期采样方式的存储模式。其是一套用于工业企业能源管控系统的有效的多专业数据的模型、画面、数据的全息存储方法以及建立在此基础上的全景全过程的事故反演方法,可解决大型工业企业缺乏有效的能源事故的反演分析工具的问题。

    一种基于可扩展协议的负载均衡网络中间件实现方法

    公开(公告)号:CN108075989B

    公开(公告)日:2021-05-28

    申请号:CN201611043144.0

    申请日:2016-11-11

    发明人: 徐丹 张俊 钱锋

    IPC分类号: H04L12/803

    摘要: 本发明公开了一种基于可扩展协议的负载均衡网络中间件实现方法:1、服务端接收到客户端的多帧报文;步骤2、将多帧报文解析为单帧报文后,获取消息类型;步骤3、将读消息放入读线程池,将写消息放入写线程池,其中,小尺寸消息使用栈上分配方式,大尺寸消息采用堆上分配方式;步骤4、读线程池和写线程池分别调用负载均衡算法选定具体的处理线程,并将消息内容放入对应的线程消息队列;步骤5、对于写消息,写线程将数据写入磁盘文件,并返回确认消息;对于读消息,读线程则根据索引查询对应的磁盘文件,将数据读入缓存,并组装好消息返回给对应的客户端。具有高性能、可扩展协议和负载均衡等优点,能有效节省网络流量和提高响应速率。

    一种基于属性分组的时序数据压缩方法

    公开(公告)号:CN108153483B

    公开(公告)日:2021-04-20

    申请号:CN201611106869.X

    申请日:2016-12-06

    发明人: 张俊 钱峰 徐丹

    IPC分类号: G06F3/06

    摘要: 本发明公开一种基于属性分组的时序数据压缩方法,将每个测点的数据保存到缓冲区,将时序数据序列划分为时间戳、值、质量码序列;记录时间戳序列起始时间,再将具有相同变化周期的时间戳按序分组,记录每组起始时间戳与本缓冲区起始时间的差值、该组的变化周期以及本组时间戳个数;将浮点数分解成“符号‑指数”位和“尾数位”,将具有相同“符号‑指数”位的浮点数按序分组,记录每个分组的“符号‑指数”位、浮点数个数以及“尾数”位序列;将具有相同质量码值的质量码序列按序分组,记录每个分组的值及个数;将分组数据复制到压缩缓冲区,使用zlib算法对该缓冲区进行无损压缩。此种方法具有压缩率高且速度快的特点,能有效节省存储空间使用。

    一种基于曲线拟合的时序数据处理方法

    公开(公告)号:CN106844290A

    公开(公告)日:2017-06-13

    申请号:CN201510874982.1

    申请日:2015-12-03

    发明人: 张俊 钱锋 杨凡

    IPC分类号: G06F17/11 G06F17/18

    CPC分类号: G06F17/11 G06F17/18

    摘要: 本发明公开一种基于曲线拟合的时序数据处理方法,步骤是:服务端保存每个测点最新数据的时间戳,每收到一条数据,将其时间戳与最新时间戳比对,确定是否存在数据缺失,若缺失则确定数据缺失时间段,选取数据缺失时间段的前一段和后一段的数据作为曲线拟合的样本;根据样本计算拟合曲线对应的二次函数的参数,确定数值和时间戳的函数关系;计算待拟合数据的存储周期,确定每个待拟合数据的时间戳,再根据二次函数计算每个待拟合数据的值;存储拟合计算得到的各参数。此种数据处理方法具有计算效率高、拟合误差小的特点,并且拟合计算过程在后台进行,不会对查询应用产生影响。

    基于访问趋势预测的时间序列数据库缓存管理方法

    公开(公告)号:CN105426411B

    公开(公告)日:2019-05-28

    申请号:CN201510733108.6

    申请日:2015-10-31

    发明人: 杨凡 钱锋 张俊

    IPC分类号: G06F16/2455 G06F16/2458

    摘要: 本发明提供了基于访问趋势预测的时间序列数据库缓存管理方法,在常规数据库提供数据访问缓存的基础上,建立时间序列数据库双缓存机制;在常规缓存之外增加一块预测数据缓存,用于预测访问数据的预加载,以便在数据访问之前将其载入内存,加快查询速度。本发明用以实现对时间序列数据库数据缓存进行有效管理,提高数据缓存命中与系统数据查询效率。系统对于近期访问数据进行分析,并预测数据访问趋势,对预测数据进行加载,提高数据访问速度。此种方法适用于时间序列数据库数据缓存管理,用于提高时间序列数据库数据查询效率。

    一种基于属性分组的时序数据压缩方法

    公开(公告)号:CN108153483A

    公开(公告)日:2018-06-12

    申请号:CN201611106869.X

    申请日:2016-12-06

    发明人: 张俊 钱峰 徐丹

    IPC分类号: G06F3/06

    摘要: 本发明公开一种基于属性分组的时序数据压缩方法,将每个测点的数据保存到缓冲区,将时序数据序列划分为时间戳、值、质量码序列;记录时间戳序列起始时间,再将具有相同变化周期的时间戳按序分组,记录每组起始时间戳与本缓冲区起始时间的差值、该组的变化周期以及本组时间戳个数;将浮点数分解成“符号-指数”位和“尾数位”,将具有相同“符号-指数”位的浮点数按序分组,记录每个分组的“符号-指数”位、浮点数个数以及“尾数”位序列;将具有相同质量码值的质量码序列按序分组,记录每个分组的值及个数;将分组数据复制到压缩缓冲区,使用zlib算法对该缓冲区进行无损压缩。此种方法具有压缩率高且速度快的特点,能有效节省存储空间使用。

    一种基于可扩展协议的负载均衡网络中间件实现方法

    公开(公告)号:CN108075989A

    公开(公告)日:2018-05-25

    申请号:CN201611043144.0

    申请日:2016-11-11

    发明人: 徐丹 张俊 钱锋

    IPC分类号: H04L12/803

    摘要: 本发明公开了一种基于可扩展协议的负载均衡网络中间件实现方法:1、服务端接收到客户端的多帧报文;步骤2、将多帧报文解析为单帧报文后,获取消息类型;步骤3、将读消息放入读线程池,将写消息放入写线程池,其中,小尺寸消息使用栈上分配方式,大尺寸消息采用堆上分配方式;步骤4、读线程池和写线程池分别调用负载均衡算法选定具体的处理线程,并将消息内容放入对应的线程消息队列;步骤5、对于写消息,写线程将数据写入磁盘文件,并返回确认消息;对于读消息,读线程则根据索引查询对应的磁盘文件,将数据读入缓存,并组装好消息返回给对应的客户端。具有高性能、可扩展协议和负载均衡等优点,能有效节省网络流量和提高响应速率。