一种基于台区数据的分布式低开销高可靠储存方法及终端
摘要:
本发明提供一种基于台区数据的分布式低开销高可靠储存方法及终端,属于台区数据处理技术领域,方法对具有台区数据的事实表和附属表分别进行降维分割,获得多个子表;对每个子表按维度分割,获得多个数据列;对每个数据列按台区数据相似度重排,获得重排后的数据列和对应顺序编号;对数据列和顺序编号分别进行拼接与切分,获得固定大小的数据块;对获得的数据块使用纠删码编码,得出编码后的数据块;对编码后的数据块进行分组,并对每组数据块单独使用熵编码进行压缩,并分散存于多个储存节点。方法可以解决台区内储存大规模感知数据时单个储存节点容量低、可靠性差的问题。
0/0