-
公开(公告)号:CN105072194A
公开(公告)日:2015-11-18
申请号:CN201510533882.2
申请日:2015-08-27
Applicant: 南京大学
IPC: H04L29/08
CPC classification number: H04L67/1097 , H04L67/1095
Abstract: 本发明公开了一种分布式文件系统中的存储数据修复结构及其修复方法。本发明设计了一种通用的修复框架,包括修复树生成协议模块,编码数据传输协议模块,网络监测模块,编码模块;其可以很方便的应用到现有的分布式存储系统中。在树形结构修复中,能够结合网络的拓扑结构,根据节点之间链路的使用情况,构造合理的传输路径,并在中间节点进行编码和解码,以达到减少数据修复过程中产生的流量开销。同时还能够利用网络中资源较多的链路来降低整个数据修复过程中的时间开销。从另一方面来讲,这对于网络中的负载均衡也有很重要的意义,能很好的避免性能瓶颈的产生。
-
公开(公告)号:CN102790963B
公开(公告)日:2015-05-27
申请号:CN201210251730.X
申请日:2012-07-20
Applicant: 南京大学镇江高新技术研究院
Abstract: 本发明公开了一种基于Android手机的移动自组网系统及其构建方法,该系统主要包括多部Android手机和安装在手机上的Wi-Fi网卡ad-hoc模式管理器、自动IP地址分配管理器和网络拓扑管理器。构建方法包括手机Wi-Fi的ad-hoc模式的开启,网络中节点IP地址的自动分配和节点移动状态下网络拓扑的融合。用户在多部Android手机上启动并运行以上管理器后,即可将这些手机组成一个Ad-Hoc网络系统。该系统支持移动网络拓扑环境下Android手机IP地址自动分配,能保证同一个网络中每个手机节点的IP地址唯一性。
-
公开(公告)号:CN103544270A
公开(公告)日:2014-01-29
申请号:CN201310489884.7
申请日:2013-10-18
Applicant: 南京大学镇江高新技术研究院 , 南京南瑞集团公司信息系统集成分公司
CPC classification number: G06F16/13 , H04L67/1097
Abstract: 本发明公开了一种面向数据中心的通用化网络编码容错存储平台及其实现方法。该系统主要包括一个名字节点,多个用于存储的数据节点以及一个编码代理节点,由他们组成一个面向数据中心的分布式存储平台。该存储平台是面向数据中心,提出了一种基于网络编码的统一处理框架,通过对存储文件进行编码,达到在系统可靠性相同的情况下,减少系统存储冗余量以及传输带宽。该系统提供不同编码方案的集成,从而达到系统的可扩展性。实现方法主要包括基于网络编码的统一处理框架设计,数据编码与分布式存储流程,不同编码方案的集成,以及恢复处理。
-
公开(公告)号:CN103532954A
公开(公告)日:2014-01-22
申请号:CN201310486598.5
申请日:2013-10-17
Applicant: 南京大学镇江高新技术研究院
IPC: H04L29/06 , H04L12/803 , H04L12/753
Abstract: 本发明公开了一种面向数据中心的编码网络系统及其工作方法,编码网络系统主要由数据中心中的多台服务器、连接这些服务器的编码路由器及数据链路。服务器和编码路由器都构建编码网络协议模块、编码网络生成树协议模块、编码传输协议模块、编码缓存管理模块及Socket复用模块,这些协议模块协同工作,对外提供一个编码网络系统。工作方法包括网络编码协议的实现及向以太网、令牌环等数据链路层的注册、编码网络生成树协议和编码传输协议的实现和向编码网络协议的注册、路由编码缓存管理、Socket的复用等。该系统使得报文能够在中间路由进行编码,以降低数据中心网络的负载,增加网络资源利用率。
-
公开(公告)号:CN113486395B
公开(公告)日:2024-07-23
申请号:CN202110748781.2
申请日:2021-07-02
Applicant: 南京大学
IPC: G06F21/62
Abstract: 本发明公开了一种采用多元信息融合的科研数据匿名化方法及系统。所述方法包括:通过学者基本学术行为、同行评议和项目评审多元数据获取学者交互列表,并学习学者交互列表向量表示;利用学得的学者交互向量序列,使用自注意力机制获取学者交互序列之间关系,提取学者交互所包含敏感特征的特征敏感度向量;根据学者个人信息、学术影响力特征信息的不同,自适应的调整特征敏感度向量;将调整后的特征敏感度向量,连同项目信息和论文信息一起作为全连接预测层输入向量,给出基于K‑匿名的多维敏感度最佳K值。本发明增加了模型在预测敏感度过程和模型训练过程中的可利用信息,提升科研数据的匿名效果,实现科研数据多维敏感度和细粒度的匿名化方法。
-
公开(公告)号:CN113342896B
公开(公告)日:2024-03-01
申请号:CN202110724196.9
申请日:2021-06-29
Applicant: 南京大学
Abstract: 本发明公开了一种基于云端融合的科研数据安全保护系统及其工作方法,系统包括带有无线通信芯片的存储介质、云端服务器以及客户端,其中存储介质用来存储被保护的科研数据,实现与云端的数据同步并协同云端实现用户读写操作的管控;云端服务器实现存储介质与用户的信息管理、提供加密服务实现存储介质与用户的合法性认证、存储科研数据并与存储介质保持一致;客户端在用户申请对存储介质进行读写操作时,向存储介质发出身份认证请求,认证通过后根据密钥对存储介质中的数据进行解密,并完成读写操作。本发明采用云端融合技术对带有无线通信芯片的存储介质及用户的合法性进行认
-
公开(公告)号:CN110134697B
公开(公告)日:2024-01-16
申请号:CN201910428608.7
申请日:2019-05-22
Applicant: 南京大学 , 国网浙江省电力有限公司 , 南瑞集团有限公司
Abstract: 本发明公开了一种面向键值对存储引擎的参数自动调优方法、装置、系统,能够解决键值对存储系统中因工作负载发生变化导致默认的参数配置引起系统性能下降的问题。所述方法包括:依据键值对存储引擎中的参数配置方式,对参数进行预处理,并构建Restful服务化框架;构建基于模型的Deep PILCO强化学习模型;运行上层数据库系统的工作负载,生成数据,训练模型;载入模型,针对输入的工作负载,输出策略产生的参数配置,应用到底层键值对存储引擎中。本发明应用于以日志结构合并树作为存储引擎的数据库系统、工作负载经常变化的场景中。
-
公开(公告)号:CN116633485A
公开(公告)日:2023-08-22
申请号:CN202310349413.X
申请日:2023-04-04
Applicant: 南京大学
Abstract: 本发明公开了一种面向编码MapReduce框架的传输纠错方法及系统。所述方法面向编码MapReduce中Shuffle阶段的传输正确性问题,基于编码MapReduce组播组内多播的特性,在充分利用各个节点本身所具有的冗余中间结果的基础上,通过设计一种全新的分布式编码方案,以组播组为单位对中间文件进行编码以及多播,既充分利用了编码MapReduce所带来的计算冗余,又显著降低了Shuffle阶段进行编码纠错所带来的冗余通信负载,从而将进行传输纠错的MapReduce任务总执行时间降低。
-
公开(公告)号:CN114844781B
公开(公告)日:2023-05-09
申请号:CN202210554617.2
申请日:2022-05-20
Applicant: 南京大学
IPC: H04L41/083 , H04L41/0823 , H04L41/0833 , H04L67/10
Abstract: 本发明公开了一种Rack架构下编码MapReduce的Shuffle性能优化方法及系统。所述方法基于数据中心服务器部署时典型的Rack架构场景,将Shuffle阶段的通信优化问题规约为跨机架的通信量问题,并进一步规约为每个机架内每台服务器放置的Reduce函数的个数问题,最终通过对输入文件进行合理的冗余计算以及Reduce函数进行合理的放置,结合编码计算以及组播传输技术将数据进行压缩的方式,降低了Shuffle阶段的时间开销,并且缩短了MapReduce任务总的执行时间。
-
公开(公告)号:CN113297136A
公开(公告)日:2021-08-24
申请号:CN202110573140.8
申请日:2021-05-25
Applicant: 南京大学
IPC: G06F16/13 , G06F16/172
Abstract: 本发明提供了一种面向LSM树的键值存储方法和存储系统。所述方法包括:将磁盘层次进行细粒度划分,设置compaction策略为:在compaction任务中,所有上层子层次均参与任务,而下层仅有一个子层次参与任务,以降低下层参与数据与总参与数据的占比;在执行compaction任务时对compaction任务进行划分,使得参与compaction任务的文件数量减少,提高compaction的并行度。本发明还通过并行读取算法减少对读性能的影响,并通过对LSM树的写放大进行建模,提供了选取使写放大最小化的参数的方法。
-
-
-
-
-
-
-
-
-