-
公开(公告)号:CN108717448B
公开(公告)日:2022-02-25
申请号:CN201810477268.2
申请日:2018-05-18
申请人: 南京大学 , 国网浙江省电力有限公司 , 南瑞集团有限公司
IPC分类号: G06F16/31 , G06F16/335
摘要: 本发明公开了一种面向键值对存储的范围查询过滤方法和键值对存储系统。该范围查询过滤方法通过对键值对存储系统中每个容器所包含键值对的索引,用生长和收缩的方法,依据给定的空间预算生成范围过滤器,来实现对范围查询的过滤。并在查询过程中学习系统工作负载,调整范围过滤器。通过这样的动态调整,能够有效降低范围过滤器的假阳性率,提升其过滤效果,大大减少键值对存储系统的无效磁盘IO,提升整个系统的读性能。
-
公开(公告)号:CN108631947B
公开(公告)日:2021-06-25
申请号:CN201810487054.3
申请日:2018-05-21
申请人: 南京大学 , 国网浙江省电力有限公司 , 南瑞集团有限公司
IPC分类号: H04L1/00
摘要: 本发明公开了一种基于纠删码的RDMA网络数据传输方法,所述方法包括以下步骤:(1)发送端获取应用的数据,将数据切分成固定大小的数据帧,再将每一帧数据切分为k个大小相同的数据块,然后发送给接收端;(2)若在指定时间阈值内还有数据块没有到达接收端,则发送端对这k个数据块编码生成m个校验块,将校验块发送给接收端;(3)接收端接收到这k+m块中的任意k个就可以恢复出一帧数据,当收到所有的数据帧就完成了一次数据传输。本发明通过纠删码生成冗余数据让接收端不用等待延迟路径上的数据包,从而降低传输延迟;通过纠删码硬件卸载,不增加CPU的计算开销。
-
公开(公告)号:CN110134697A
公开(公告)日:2019-08-16
申请号:CN201910428608.7
申请日:2019-05-22
申请人: 南京大学 , 国网浙江省电力有限公司 , 南瑞集团有限公司
摘要: 本发明公开了一种面向键值对存储引擎的参数自动调优方法、装置、系统,能够解决键值对存储系统中因工作负载发生变化导致默认的参数配置引起系统性能下降的问题。所述方法包括:依据键值对存储引擎中的参数配置方式,对参数进行预处理,并构建Restful服务化框架;构建基于模型的Deep PILCO强化学习模型;运行上层数据库系统的工作负载,生成数据,训练模型;载入模型,针对输入的工作负载,输出策略产生的参数配置,应用到底层键值对存储引擎中。本发明应用于以日志结构合并树作为存储引擎的数据库系统、工作负载经常变化的场景中。
-
公开(公告)号:CN110134697B
公开(公告)日:2024-01-16
申请号:CN201910428608.7
申请日:2019-05-22
申请人: 南京大学 , 国网浙江省电力有限公司 , 南瑞集团有限公司
摘要: 本发明公开了一种面向键值对存储引擎的参数自动调优方法、装置、系统,能够解决键值对存储系统中因工作负载发生变化导致默认的参数配置引起系统性能下降的问题。所述方法包括:依据键值对存储引擎中的参数配置方式,对参数进行预处理,并构建Restful服务化框架;构建基于模型的Deep PILCO强化学习模型;运行上层数据库系统的工作负载,生成数据,训练模型;载入模型,针对输入的工作负载,输出策略产生的参数配置,应用到底层键值对存储引擎中。本发明应用于以日志结构合并树作为存储引擎的数据库系统、工作负载经常变化的场景中。
-
公开(公告)号:CN110147345A
公开(公告)日:2019-08-20
申请号:CN201910428931.4
申请日:2019-05-22
申请人: 南京大学 , 国网浙江省电力有限公司 , 南瑞集团有限公司
IPC分类号: G06F15/173
摘要: 本发明公开了一种基于RDMA的键值存储系统及其工作方法。所述系统通过使用RDMA的原语实现键值存储的put操作和get操作。其中get操作仅使用RDMA的read原语;put操作有两种实现模式,会根据value的大小来决定使用哪种模式。为了提高get操作的性能,共享hash表使用了线性探测方式解决hash冲突问题,并结合了RDMA的read原语一次可以读取连续内存的特性,允许客户端每次读取多个hash表记录以提高命中率。为了解决客户端与服务器端的读写竞争问题,hash表采用自校验数据结构。通过这些设计,降低了CPU负载,降低网络的时延提升了服务质量,并提高了系统的吞吐量。
-
公开(公告)号:CN113473420B
公开(公告)日:2023-01-31
申请号:CN202110746244.4
申请日:2021-07-02
申请人: 南京大学
IPC分类号: H04W4/70 , H04W12/02 , H04W12/041 , H04W12/10
摘要: 本发明公开了一种面向无线网络环境的科研数据隐私保护增强方法及系统,所述方法包括:建立移动设备不同姿势和位移的变化模式,根据移动设备从无线网络信号发射源接收的无线网络信号的信号强度变化来检测设备状态变化的起始点,并对接收到的信号进行校准处理;将经过校准处理的数据序列量化为比特序列;根据比特序列计算密钥,通过移动设备之间相互交换加密消息来验证相互认证的一致性,生成独特且随机的对称密钥并建立完全连接。本发明通过测量无线网络信道的接收信号强度变化来量化移动设备的抖动模式并生成密钥,提高无线网络环境下科研数据的隐私保护性。
-
公开(公告)号:CN115457137A
公开(公告)日:2022-12-09
申请号:CN202211120490.X
申请日:2022-09-15
申请人: 南京大学
摘要: 本发明公开了一种基于摩尔纹的测距系统及方法,包括:摩尔纹图像处理模块,用于对摄像头拍摄到的以屏幕为主体的图像进行处理,提取清晰的摩尔纹二值化图像;摩尔纹特征提取模块,根据摩尔纹频谱图中脉冲区域所在的位置构建频率向量,根据频率向量的参数提取摩尔纹统计性特征;距离测量模块,对所述物理单位转换后的统计性特征的有效性进行验证,若特征有效,则构建摩尔纹统计性特征与距离之间的模型,实现摄像头到屏幕的距离测量;若特征无效,则通过缩略图降频法获得有效的摩尔纹图像,然后重新执行摩尔纹特征提取。本发明利用摄像头前端色滤阵列与屏幕投影像素叠加而成的摩尔纹实现摄像头到屏幕的距离感知,具备极高的测距精度。
-
公开(公告)号:CN114925852A
公开(公告)日:2022-08-19
申请号:CN202210563311.3
申请日:2022-05-20
申请人: 南京大学
摘要: 本发明公开了一种基于模型分割和资源分配的联邦学习训练方法及系统。所述方法面向在资源受限且异构的边缘环境中执行的联邦学习训练任务,将待训练模型自适应划分为两部分,将其中一部分模型的训练任务从工作节点卸载到主节点,同时结合对带宽资源和主节点计算资源的动态调整,极大地减少了联邦学习训练过程中的通信开销并且有效平衡了异构工作节点的完成时间,从而显著提升了联邦学习的训练速度。
-
公开(公告)号:CN114756381A
公开(公告)日:2022-07-15
申请号:CN202210555877.1
申请日:2022-05-20
申请人: 南京大学
摘要: 本发明公开了一种基于MDS编码和灵活调度策略的分布式计算方法及系统。所述方法面向主从分布式计算框架,基于不同的任务到达速率,在考虑撤销冗余任务开销不可忽略的场景下,通过设计合适的模型编码方案和任务调度策略,既缓解了分布式系统中的落后者问题,又在任务冗余数量和系统负载之间做出权衡,从而降低了整体任务的平均执行时间。同时考虑了在调整模型编码方案和任务调度策略后存在新老任务的情况,通过设计区别任务类型的兼容方案,可以避免调整前的任务计算结果无效。
-
公开(公告)号:CN113505021A
公开(公告)日:2021-10-15
申请号:CN202110577964.2
申请日:2021-05-26
申请人: 南京大学
IPC分类号: G06F11/14
摘要: 本发明公开了一种基于多主节点主从分布式架构的容错方法及系统。所述方法包括:S10、为工作节点分配计算任务并设计容忍落后者问题的编码计算方案;S20、工作节点完成本地计算并根据一定策略将计算结果传输至各个主节点;S30、主节点接收来自各个工作节点的计算结果并根据解码方案生成中间值。通过多个主节点与工作节点合作完成迭代计算任务中的聚合工作以降低每个节点处的工作负载。通过对每个工作节点计算结果使用编码生成冗余数据,可以避免工作节点计算结果丢失,以应对主节点出错的情形。
-
-
-
-
-
-
-
-
-