压缩方法、解压缩方法、压缩装置以及解压缩装置

    公开(公告)号:CN105846825B

    公开(公告)日:2019-06-18

    申请号:CN201610059698.3

    申请日:2016-01-28

    IPC分类号: H03M7/30

    摘要: 本公开涉及一种压缩方法、解压缩方法、压缩装置以及解压缩装置。所述压缩方法包括使计算机执行处理,所述处理包括:确定目标字符串是否记录在第一字典中,目标字符串为包含在输入数据中的压缩目标,第一字典使压缩码与对应的字符串相关;当目标字符串被记录在第一字典中时,输出与目标字符串对应的压缩码;当目标字符串未记录在第一字典中时,在第一数据中搜索目标字符串,第一数据所积累的字符串是输入数据的一部分并且已经被确定为未记录在第一字典中;当在第一数据中检索到目标字符串时,在与第一字典不同的第二字典中记录匹配的字符串;以及输出与目标字符串在第二字典中的记录号对应的压缩码。

    数据压缩装置及方法
    2.
    发明授权

    公开(公告)号:CN105743509B

    公开(公告)日:2019-05-24

    申请号:CN201610052310.7

    申请日:2016-01-26

    IPC分类号: H03M7/30

    CPC分类号: H03M7/30

    摘要: 本发明公开了一种数据压缩方法,属于数据处理领域。所述方法包括:获取待压缩数据与m个参考数据块,m大于1,且m为整数;将该待压缩数据与该m个参考数据块进行匹配,获得至少一个索引编码,每个索引编码包括参考数据块标识和字符串信息,每个参考数据块标识指示m个参考数据块中的一个参考数据块,每个字符串信息指示待压缩数据中的连续字符串在参考数据块中的位置信息;实现了通过多个参考数据块对待压缩数据进行压缩来提升压缩效率。

    基因测序数据解压方法、系统及计算机可读介质

    公开(公告)号:CN109698703A

    公开(公告)日:2019-04-30

    申请号:CN201710982666.5

    申请日:2017-10-20

    IPC分类号: H03M7/30

    CPC分类号: H03M7/30

    摘要: 本发明公开了一种基因测序数据解压方法、系统及计算机可读介质,解压方法包括遍历获取待解压读序列Rc,针对每一条待解压读序列Rc解压重构为正负链类型d、k位原始基因序列CS1和可逆运算结果CS2;以CS1作为初始的短串K-mer通过预测数据模型P1获取相邻位对应的预测字符c,滑动窗口迭代获取预测字符集PS,将CS2、PS编码后通过可逆函数的反函数进行逆向运算解密;将CS1、解密结果组合得到读序列R。本发明具有压缩率低,解压时间短,解压性能稳定的优点,不需要对基因数据进行精准比对,有较高的计算效率,预测数据模型的预测准确度越高,则可逆运算结果中的重复字符串就越多,压缩的压缩率就越低。

    一种时序数据处理方法
    4.
    发明公开

    公开(公告)号:CN109687875A

    公开(公告)日:2019-04-26

    申请号:CN201811384936.3

    申请日:2018-11-20

    IPC分类号: H03M7/30

    CPC分类号: H03M7/30

    摘要: 本发明公开了一种时序数据处理方法,时序数据包括输出时间点和多个指标,方法包括以下步骤:提取输出时间点的多指标数据块;构建时间序列和指标序列的映射关系;提取指定时间窗口的时间序列和时间序列对应的多指标数据块聚合为字节数据流;压缩聚合后的字节数据流并输出;本发明通过将一个时间点的多指标时序数据,使用同一时间实现多指标数据块的聚合,从而减少多个时间存储消耗;以字节流方式进行数据压缩,避免指标类型的限制导致压缩算法的受限,同时,对于位存储的指标数据聚合也能有效减少指标数据的存储消耗;通过本发明的方法有效提高了时序数据的压缩处理效率,时序压缩比以及存储效率。

    一种存储系统在线数据压缩方法、装置及设备

    公开(公告)号:CN109683825A

    公开(公告)日:2019-04-26

    申请号:CN201811583790.5

    申请日:2018-12-24

    IPC分类号: G06F3/06 H03M7/30

    CPC分类号: G06F3/0608 H03M7/30

    摘要: 本发明公开了一种存储系统在线数据压缩方法、装置及设备,包括:接收压缩指令后,进行数据压缩得到压缩数据块;依据主元数据查找对应的段元数据,依据段元数据确定当前空白存储区域的起始位置,并据此将压缩数据块保存至物理磁盘内;接收读取指令后,依据主元数据及读取指令的读取位置来查找对应的段元数据;依据查找到的段元数据确定待读取数据在物理磁盘中的位置后进行数据读取;段元数据包括段的特征信息,段为物理磁盘对应的虚拟存储地址按固定长度划分后得到的存储区域段;主元数据包括段元数据的特征信息。本发明将元数据分段,每段对应固定长度的虚拟存储地址,方便了压缩数据读取和写入,提高了压缩性能,并且方便了压缩数据的管理。

    一种高精度的神经网络量化压缩方法

    公开(公告)号:CN109102064A

    公开(公告)日:2018-12-28

    申请号:CN201810668567.4

    申请日:2018-06-26

    IPC分类号: G06N3/04 H03M7/30

    CPC分类号: G06N3/0454 H03M7/30

    摘要: 本发明公开的是一种高精度的神经网络量化压缩方法,该方法包括如下步骤:统计数据范围并对数据范围向内压缩以保证准确率不变的情况下每一层的数据范围向内压缩到最小;采用无符号的索引量化代替有符号的值量化以提升运算精度,避免造成量化空间浪费;采用索引代替真实值进行计算已进行索引和值之间的转换,本发明可以将量化宽度压缩到8比特及其以下的同时保存很高的计算精度,对最终的影响非常小,可以使得深度学习网络模型可以在嵌入式设备上得以部署运行。

    一种数据压缩方法、装置、设备及计算机可读存储介质

    公开(公告)号:CN109062502A

    公开(公告)日:2018-12-21

    申请号:CN201810751787.3

    申请日:2018-07-10

    IPC分类号: G06F3/06 H03M7/30

    摘要: 本发明公开了一种数据压缩方法、装置、设备及计算机可读存储介质,其中该方法包括:接收上层业务下发的待存储数据;利用指定CPU核心对待存储数据进行压缩,得到对应的压缩数据;其中,指定CPU核心为预先与对数据进行压缩对应压缩事务进行绑定的CPU核心;将压缩数据存储至磁盘中。本申请公开的技术方案中,预先为压缩事务绑定指定CPU核心,由此,在接收到上层业务下发的待存储数据时,利用指定CPU核心实现待存储数据的压缩,进而将压缩得到的压缩数据存储至磁盘中。可见,本申请通过为压缩事务绑定指定CPU核心,避免了其他业务对数据压缩的压缩性能的影响,由指定CPU核心实现数据压缩,大大降低了实现数据压缩所需的成本。