可查询压缩领域的压缩方法、检索方法及设备

    公开(公告)号:CN118018031A

    公开(公告)日:2024-05-10

    申请号:CN202410154919.X

    申请日:2024-02-02

    发明人: 杜剑峰 张世明

    摘要: 本申请实施例公开了一种可查询压缩领域的压缩方法、检索方法和设备。其中,所述压缩方法将待压缩数据转换为二元谓词事实集之后,发掘其中隐藏的逻辑规则再利用这些逻辑规则对二元谓词事实集进行过滤和修订,从而反馈逻辑规则集和由二元谓词事实构成的压缩结果。进一步地,所述检索方法根据逻辑规则集对查询重写为若干合取查询后,利用合取查询计算压缩结果中对应的答案,从而反馈回检索结果。因此,本申请能够在数据压缩阶段自动挖掘并利用原始数据库中逻辑规则表达的数据特性进行数据压缩,从而实现维持查询答案的无损压缩,保证在不改动压缩结果的前提下精确回答合取查询。

    一种键值存储的压缩合并方法及系统

    公开(公告)号:CN116340276A

    公开(公告)日:2023-06-27

    申请号:CN202310318032.5

    申请日:2023-03-22

    IPC分类号: G06F16/174 G06F16/22

    摘要: 本发明公开了一种键值存储的压缩合并方法及系统。本发明对上层和最底层的压缩机制进行了区分,引入了两个参数分别确定上层和最底层中的活跃有序字符串表。合并压缩时,将当前层的所有有序字符串表和下一层的活跃有序字符串表合并压缩后刷到下一层。通过改变两个参数,可以在不同的合并压缩策略间进行切换,拓展了LSM树的设计空间,从而更好地适配变化的数据负载。解决了现有技术中LSM树压缩策略在写开销、读开销以及存储空间开销之间难以做出合理的权衡,导致键值存储系统缺乏可伸缩性的问题。

    机器学习训练数据调度方法及设备

    公开(公告)号:CN118014098B

    公开(公告)日:2024-09-13

    申请号:CN202410155756.7

    申请日:2024-02-04

    发明人: 杜剑峰 张世明

    IPC分类号: G06N20/00 G06F16/16 G06F16/11

    摘要: 本申请提供机器学习训练数据调度方法及设备,其中方法包括:当目标机器学习算法启动训练时,获取目标机器学习算法对应的嫁接模块,并通过嫁接模块触发通用模块层启动;根据通用模块层中的有向无环图确定目标磁盘文件;根据目标磁盘文件到嫁接模块的所有有向路径中的适配模块构成机器学习训练模块子图;基于机器学习训练模块子图将目标磁盘文件里的原始训练数据转换为目标机器学习算法所需的数据。该技术方案可提高机器学习算法的训练数据转换效率。

    可查询压缩领域的压缩方法、检索方法及设备

    公开(公告)号:CN118018031B

    公开(公告)日:2024-07-26

    申请号:CN202410154919.X

    申请日:2024-02-02

    发明人: 杜剑峰 张世明

    摘要: 本申请实施例公开了一种可查询压缩领域的压缩方法、检索方法和设备。其中,所述压缩方法将待压缩数据转换为二元谓词事实集之后,发掘其中隐藏的逻辑规则再利用这些逻辑规则对二元谓词事实集进行过滤和修订,从而反馈逻辑规则集和由二元谓词事实构成的压缩结果。进一步地,所述检索方法根据逻辑规则集对查询重写为若干合取查询后,利用合取查询计算压缩结果中对应的答案,从而反馈回检索结果。因此,本申请能够在数据压缩阶段自动挖掘并利用原始数据库中逻辑规则表达的数据特性进行数据压缩,从而实现维持查询答案的无损压缩,保证在不改动压缩结果的前提下精确回答合取查询。

    密态数据库的加密和解密方法以及装置

    公开(公告)号:CN118363986A

    公开(公告)日:2024-07-19

    申请号:CN202410470688.3

    申请日:2024-04-18

    摘要: 本申请提供密态数据库的加密和解密方法以及装置,方法包括:获取作用于目标数据库的第一结构化查询语句,所述第一结构化查询语句为数据操作语句;对所述第一结构化查询语句进行重写,得到第二结构化查询语句,所述第二结构化查询语句中的数据为对所述第一结构化查询语句中的数据进行保序加密得到;向所述目标数据库发送所述第二结构化查询语句,以使所述目标数据库执行所述第二结构化查询语句对应的数据库操作;接收所述目标数据库执行所述数据库操作后返回的第一操作结果数据;对所述第一操作结果数据进行数据还原,得到所述第一结构化查询语句对应的第二操作结果数据。该技术方案在密态数据库中能够进行排序和大小比较查询等数据库操作。

    可搜索加密领域的数据解密方法、装置、设备及存储介质

    公开(公告)号:CN118157915A

    公开(公告)日:2024-06-07

    申请号:CN202410164416.0

    申请日:2024-02-05

    IPC分类号: H04L9/40 H04L41/16 H04L41/147

    摘要: 本发明实施例公开了一种可搜索加密领域的数据解密方法、装置、设备及存储介质,包括:在客户端发起写过程并根据获取的明文数据产生密文数据后,如果确定存在密文神经网络和正确密文表,并且所述密文神经网络对密文数据的预测结果不是正确的明文数据,将所述密文数据与其对应的实际正确的明文数据添加到密文明文映射表中;确保所述密文明文映射表中映射记录总数不超过第一阈值后,所述服务端保存密文数据。本发明能够提升解密的速度。

    可搜索加密领域的数据解密方法、装置、设备及存储介质

    公开(公告)号:CN118157915B

    公开(公告)日:2024-09-06

    申请号:CN202410164416.0

    申请日:2024-02-05

    IPC分类号: H04L9/40 H04L41/16 H04L41/147

    摘要: 本发明实施例公开了一种可搜索加密领域的数据解密方法、装置、设备及存储介质,包括:在客户端发起写过程并根据获取的明文数据产生密文数据后,如果确定存在密文神经网络和正确密文表,并且所述密文神经网络对密文数据的预测结果不是正确的明文数据,将所述密文数据与其对应的实际正确的明文数据添加到密文明文映射表中;确保所述密文明文映射表中映射记录总数不超过第一阈值后,所述服务端保存密文数据。本发明能够提升解密的速度。

    适配异构计算架构的查询回答方法及计算机设备

    公开(公告)号:CN118113720B

    公开(公告)日:2024-09-03

    申请号:CN202410166035.6

    申请日:2024-02-06

    发明人: 杜剑峰 张世明

    摘要: 本申请提供适配异构计算架构的查询回答方法及计算机设备,方法包括:根据合取查询语句的各个原子构成初始节点集,并在该初始节点集包括至少两个初始节点时,计算每两个初始节点的合并代价,每次合并都选择合并代价最小的两个初始节点进行合并处理,直至该初始节点集中仅包括唯一一个节点,则输出该唯一节点的数据视图;上述流程中初始节点的合并操作均转换成基于向量排序和矩阵构造的数值运算过程,从而能应用异构编程模型编码调用合适的异构处理器,提升异构处理器在数据库查询回答中使用的灵活性。

    远程内存访问的数据传输方法、装置、设备及存储介质

    公开(公告)号:CN118093499A

    公开(公告)日:2024-05-28

    申请号:CN202410166037.5

    申请日:2024-02-06

    摘要: 本发明公开了一种远程内存访问的数据传输方法、装置、设备及存储介质,包括确定待传输消息的消息类型为小消息后,通过RDMA Sendℜ原语进行通信;生成对应的工作队列元素放入发送队列;确定小消息缓存区存在剩余缓存块或者空闲缓存,根据工作队列元素指向的主存消息存放地址取出待传输消息发送;确定待传输消息的消息类型为大消息后,通过RDMA Sendℜ原语进行通信,确定待传输消息的需求容量小于等于剩余存储空间,根据需求容量在大消息缓存区分配容量,将待发送消息切分为多个数据包发送;当末级缓存模块中的缓存区接收数据后,缓存区通过与应用程序的共享缓存映射通知应用程序处理数据。

    一种键值存储系统和键值存储系统的管理方法

    公开(公告)号:CN116204130A

    公开(公告)日:2023-06-02

    申请号:CN202310206733.X

    申请日:2023-02-23

    发明人: 张世明 杜剑峰

    摘要: 本发明公开了一种键值存储系统和键值存储系统的管理方法,所述系统包括:若干分桶,各所述分桶分别对应不同的键区间,各所述分桶允许分裂和/或合并,每一所述分桶用于存储对应的所述键区间的键值对;每一所述分桶包括内存缓冲区和磁盘文件,所述内存缓冲区用于接收新的键值对,所述磁盘文件用于保存基于所述内存缓冲区写入的有序键值对列表。本发明利用分桶排序的原理构建键值存储系统,将键空间分成多个分区进行管理,有利于在分桶中执行高效的复杂操作,比如对分桶中所有键值对进行排序,从而限制写放大倍数、制定更好的读感知压缩安排以及提高读取性能。克服了现有技术中基于LSM树构建的键值存储系统的写放大倍数过高的缺点。