-
公开(公告)号：CN104407879B
公开(公告)日：2018-02-02
申请号：CN201410566127.X
申请日：2014-10-22
申请人： 江苏瑞中数据股份有限公司
IPC分类号： G06F9/445
摘要： 本发明公开了一种电网时序大数据并行加载方法，以解决多客户端并行加载海量历史时序数据时遇到的不能并行加载而产生等待现象的问题。本发明通过对索引映射表做分区处理、根据待加载的数据量的大小对历史时序数据存储表做分区预处理、根据各数据节点上所分配的历史时序数据存储表分区的范围，对待加载的海量历史时序数据做保持数据局部性的处理，经过上述处理后能够有效减少并行加载海量历史时序数据时多客户端读写索引映射表文件遇到的磁盘IO冲突和集群不同节点之间网络通信开销，避免单节点加载海量历史时序数据时负载过重带来的性能问题。本方法能充分利用分布式并行处理能力，大大减少海量历史时序数据加载的时间。
-
公开(公告)号：CN105577642A
公开(公告)日：2016-05-11
申请号：CN201510817024.0
申请日：2015-11-23
申请人： 江苏瑞中数据股份有限公司
CPC分类号： H04L65/40 , H04L67/1097 , H04L67/16 , H04L67/2804 , H04L67/2823
摘要： 本发明公开了一种海量平台纵向贯通的实现方法，步骤包括建立从总部到省\市公司的指令流和建立从省\市公司到总部数据流，本发明实现与各省\市公司海量平台的历史/准实时数据的贯通，可以帮助总部实现准实时数据接入、存储、访问等方面的统一规范化管理，并满足总部对准实时数据的多层需求。随着智能电网建设的不断推进，各部门业务系统准实时数据不断增多，海量平台可以支撑总部未来对数据进行广泛、深入的共享和应用的需求。
-
公开(公告)号：CN104331432A
公开(公告)日：2015-02-04
申请号：CN201410567859.0
申请日：2014-10-22
申请人： 江苏瑞中数据股份有限公司
IPC分类号： G06F17/30
CPC分类号： G06F16/2474 , G06F16/22
摘要： 本发明公开了一种适用于截面访问模式的电网海量时序数据存取方法，以实现在不影响写入性能的情况下同时兼顾时间序列查询及时间截面查询场景下的查询效率。本发明在系统中建立三张表，分别为Uid表、Time-series时间序列数据表、Time-point时间截面数据表，将电网时序数据分别存入时间序列数据表以及时间截面数据表中，使得相同时间段的电网数据在物理磁盘位置相邻，另外，同一时间点不同电网设备的电网数据在磁盘位置也相邻，这样可以保证按照时间序列以及按照时间截面这两种方式查询的效率。
-
公开(公告)号：CN104035956A
公开(公告)日：2014-09-10
申请号：CN201410143604.1
申请日：2014-04-11
申请人： 江苏瑞中数据股份有限公司
IPC分类号： G06F17/30
CPC分类号： G06F17/30315
摘要： 本发明公开了一种基于分布式列存储的时间序列数据存储方法，属于数据库技术领域。本发明使用由行键和列组成的稀疏表存储测点记录数据，行键包含了尽可能多的检索信息，每一行记录把某个时间段的分散采集的数据合并在一起，同时设置了名称映射表存储名称信息。本发明能够充分利用分布式列存储技术的各项优势，保证时间序列数据在分布式列存储上的存储和检索的效率,并且利用分布式存储增强数据存储的安全性。
-
公开(公告)号：CN104991741B
公开(公告)日：2018-02-02
申请号：CN201510355540.6
申请日：2015-06-24
申请人： 江苏瑞中数据股份有限公司
IPC分类号： G06F3/06
摘要： 本发明公开了一种基于键值模型的情境适配电网大数据存储方法，以大幅提升实时数据的加载和查询性能，本发明将批量查询和断面查询定义为不同应用情境，根据情境定制不同键。对于具体的数据存储，根据键值进行排序，以提升数据定位的效率；对于值的构成，采用聚簇的思想，在同一个值中存放一批相关联的测点值。本发明方法能够满足不同的应用对于实时数据不同的访问需求，有效提升访问效率，并且节约磁盘空间，大大提升了存取效率。
-
公开(公告)号：CN105577422A
公开(公告)日：2016-05-11
申请号：CN201510766730.7
申请日：2015-11-11
申请人： 江苏瑞中数据股份有限公司 , 国家电网公司 , 国网冀北电力有限公司信息通信分公司
摘要： 本发明公开了一种能源互联网的实时数据分析系统及其方法，适用于时效性要求较高的实时流计算以及时效性不高、精确的离线计算。本发明前端采用一种分布式缓存的机制，实现大规模并发数据的高速采集；后端采用一种分布式计算框架的机制，实现业务计算方法的快速实现。本发明既能满足实时流计算又能满足离线计算的通用、高效的计算框架；同时，本发明支持业务计算的水平扩展。
-
公开(公告)号：CN105574074A
公开(公告)日：2016-05-11
申请号：CN201510819767.1
申请日：2015-11-23
申请人： 江苏瑞中数据股份有限公司
IPC分类号： G06F17/30
CPC分类号： G06F16/2219
摘要： 本发明公开了一种基于智能电网WAMS的时序大数据存储方法，属于实时数据库技术领域。本发明根据WAMS场景建立相应的键-值存储模型作为数据模型，以每秒钟每一个测点创建一个存储单元，存储单元的长度根据WAMS数据的采样频率设置，在数据加载过程中采用预写日志技术，对数据中值进行压缩，而键保持不变，根据加载数据的规模、加载频率，对数据进行分库。本发明能够满足于智能电网WAMS场景的时序大数据快速加载、查询，具有很强的高可靠性。
-
公开(公告)号：CN104407879A
公开(公告)日：2015-03-11
申请号：CN201410566127.X
申请日：2014-10-22
申请人： 江苏瑞中数据股份有限公司
IPC分类号： G06F9/445
摘要： 本发明公开了一种电网时序大数据并行加载方法，以解决多客户端并行加载海量历史时序数据时遇到的不能并行加载而产生等待现象的问题。本发明通过对索引映射表做分区处理、根据待加载的数据量的大小对历史时序数据存储表做分区预处理、根据各数据节点上所分配的历史时序数据存储表分区的范围，对待加载的海量历史时序数据做保持数据局部性的处理，经过上述处理后能够有效减少并行加载海量历史时序数据时多客户端读写索引映射表文件遇到的磁盘IO冲突和集群不同节点之间网络通信开销，避免单节点加载海量历史时序数据时负载过重带来的性能问题。本方法能充分利用分布式并行处理能力，大大减少海量历史时序数据加载的时间。
-
公开(公告)号：CN104991741A
公开(公告)日：2015-10-21
申请号：CN201510355540.6
申请日：2015-06-24
申请人： 江苏瑞中数据股份有限公司
IPC分类号： G06F3/06
摘要： 本发明公开了一种基于键值模型的情境适配电网大数据存储方法，以大幅提升实时数据的加载和查询性能，本发明将批量查询和断面查询定义为不同应用情境，根据情境定制不同键。对于具体的数据存储，根据键值进行排序，以提升数据定位的效率；对于值的构成，采用聚簇的思想，在同一个值中存放一批相关联的测点值。本发明方法能够满足不同的应用对于实时数据不同的访问需求，有效提升访问效率，并且节约磁盘空间，大大提升了存取效率。
-
公开(公告)号：CN104239447A
公开(公告)日：2014-12-24
申请号：CN201410441649.7
申请日：2014-09-01
申请人： 江苏瑞中数据股份有限公司
IPC分类号： G06F17/30
CPC分类号： G06F16/2246 , G06F16/221
摘要： 本发明公开了一种电网时序大数据存储方法，通过选择开源分布式列式数据库HBase作为存储层，结合电网业务中SG-CIM模型对业务逻辑上具有位置相关性的一批测点信息重新进行描述，通过设计一种合理的测点数据存储表的索引组织方式，利用HBase的分区和负载均衡功能，使得业务逻辑上具有位置相关性的一批测点的历史数据在物理存储上的位置是相邻的，从而使得对该批测点的历史数据进行查询时能够减少磁盘寻道时间，提高查询效率，为业务应用提供即时查询服务。
-
-
-
-
-
-
-
-
-
搜索结果
10 条记录 (耗时 0.037 秒)
