-
公开(公告)号:CN105095353B
公开(公告)日:2018-12-04
申请号:CN201510345279.1
申请日:2015-06-19
申请人: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
IPC分类号: G06F17/30
摘要: 本发明公开了一种并行网络文件系统中预读小文件后忙等的系统及方法,该系统包括:客户端,用于根据当前访问文件的文件布局确定当前访问文件的数据页面数量,并访问磁盘中当前访问文件的数据页面;服务器端,用于获取当前访问文件的文件布局并发送给客户端;客户端当上层应用在缓存中查找到被加锁的当前数据页面时,将该当前数据页面标记为“未访问”,跳过该当前数据页面,访问下一个数据页面,待全部数据页面访问完成后,对该当前数据页面进行再次访问。
-
公开(公告)号:CN105843560B
公开(公告)日:2018-08-10
申请号:CN201610218815.6
申请日:2016-04-08
申请人: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
IPC分类号: G06F3/06
摘要: 本发明提出一种维护主从式双控软Raid6一致性的方法及系统,该方法包括主控制器节点中Raid6设备获取数据更新请求,主控制器节点中Raid6设备计算数据更新请求对应的数据更新位置,并在内存中记录位图更新状态A,并固化在主控制器节点的Raid6校验设备中,Raid6设备计算校验值,并对数据小盘Data Disk与校验小盘Parity Disk下发更新请求,写入快照源,作为新数据,当所有Data Disk与Parity Disk更新完成,在内存中记录位图更新状态B,固化在主控制器节点的校验设备中;并同步到从控制器节点中Raid6设备,并固化在从控制器节点的校验设备中;主控制器节点中Raid6设备在内存中找到位图更新状态为B的数据更新位置,通过对Data Disk与Parity Disk的发送Remap指令,将新数据重映射到快照设备Data Snapshot与Parity Snapshot。
-
公开(公告)号:CN104933144B
公开(公告)日:2018-03-30
申请号:CN201510345488.6
申请日:2015-06-19
申请人: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
摘要: 本发明公开了一种并行网络文件系统中保证数据有效性的系统及其方法,该系统包括:客户端,用于发送只读目录授权申请,接收所授予的只读目录授权,标记只读目录的版本号,并访问磁盘中该只读目录下的文件以及该文件的数据页面;元数据服务器,用于接收客户端发送的只读目录授权申请,并授予客户端只读目录授权;客户端在完成访问后归还该只读目录授权至元数据服务器,并清除该只读目录的版本号。
-
公开(公告)号:CN103838647B
公开(公告)日:2018-02-06
申请号:CN201410053469.1
申请日:2014-02-17
申请人: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
摘要: 本发明公开了一种基于快照重映射的数据状态转换的方法及系统,涉及数据存储领域,特别涉及一种基于映射方式的虚拟化存储方法。该方法包括根据数据状态获取该数据的起始状态快照,该状态快照包括映射表和指向新状态快照的指针,其中该新状态快照只用于读取数据;通过快照重映射动态的将该数据状态由该起始状态快照迁移到该新动态快照,同时将该起始状态快照的指针指向该新状态快照并生成状态快照链,同时修改状态快照各自的映射表,以实现数据状态转换。本发明的方法及系统能够在线实现无需数据迁移的持久存储数据的状态转换,减少更改持久存储的数据状态的开销。
-
公开(公告)号:CN105740334A
公开(公告)日:2016-07-06
申请号:CN201610045909.8
申请日:2016-01-22
申请人: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
IPC分类号: G06F17/30
CPC分类号: G06F16/134 , G06F16/13 , G06F16/16
摘要: 本发明提出一种文件系统中异步批量创建文件的系统及方法,该系统包括文件异步创建模块,用于接收文件创建请求,在父目录下创建所述文件的内存目录项,并标记为“未同步到磁盘”状态,为所述文件分配内存索引节点,并设置所述索引节点的索引节点号为伪索引节点号;文件创建批量回刷模块,用于扫描目录项缓存,获取所述内存目录项,及与所述伪索引节点号相对应的内存索引节点,选取在相同父目录下的多个被标记为“未同步到磁盘”状态的内存目录项,为每个所述文件分配真正索引节点号替换所述伪索引节点号,并为还未分配数据块资源状态的缓存页批量分配数据块资源,将分配的数据块资源记录到文件布局中,并将所述文件的所述内存目录项插入到所述父目录中。
-
公开(公告)号:CN103077222B
公开(公告)日:2016-01-27
申请号:CN201210591061.0
申请日:2012-12-31
申请人: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
IPC分类号: G06F17/30
摘要: 本发明提供一种结合本地日志的机群文件系统分布式元数据操作一致性保证方法。其中,协调者和参与者将为分布式元数据子操作生成的分布式元数据子操作更新记录作为一个本地事务记录在本地日志中,所述分布式元数据子操作更新记录包括分布式事务和/或分布式元数据更新,在本地事务提交之后,所述分布式事务被写入到分布式日志中,所述分布式元数据更新被写入到元数据磁盘。该方法还包括在开始分布式元数据子操作之前对本地日志事务进行强制提交的步骤。该方法有效地复用了本地日志,降低了分布式日志的实现复杂度,此外,还能够避免出现级联撤销。
-
公开(公告)号:CN104991739A
公开(公告)日:2015-10-21
申请号:CN201510346978.8
申请日:2015-06-19
申请人: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
摘要: 本发明涉及元数据服务器失效接替技术及非幂元数据等操作等领域,特别涉及元数据服务器失效接替中精确一次执行语义的方法及系统,包括:在客户端正常访问元数据服务器时,所述元数据服务器在会话session结构中为每个操作分配slotID、sequenceID以及存放响应结果的缓存空间,并将所述session结构持久写入到元数据磁盘上,并将所述slotID和所述sequenceID复制给备份服务器,所述备份服务器收到后,将所述slotID和所述sequenceID放入所述备份服务器缓存中;所述元数据服务器宕机之后,所述备份服务器从磁盘中读取所述session结构的信息,查找已经持久到磁盘上但并未给客户端发送回复结果的非幂等操作,根据所述session结构中的slot table重新构造所述回复结果并发送给客户端。
-
公开(公告)号:CN103096126B
公开(公告)日:2015-09-30
申请号:CN201210587473.7
申请日:2012-12-28
申请人: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
IPC分类号: H04N21/218 , H04N21/222 , H04N21/232
摘要: 本发明协作式缓存集群中面向视频点播服务的协作式缓存方法和系统。其中,将每个视频文件的数据分片与缓存节点的索引号相关联,将每个数据分片缓存在与其关联的缓存节点上。收到访问数据分片的请求时将其定向到与要访问的数据分配关联的缓存节点,并且可以指示其他缓存节点预取下一个数据分片。该方法使得每个视频文件只放置一份数据,提高了缓存的空间利用率和读取命中率,同时避免了单台服务器出现热点,增强了缓存系统整体的扩展性。此外,通过协作式数据预取技术,避免了在仅进行简单数据分片情况下可能影响视频点播服务质量的播放抖动问题,不影响视频点播的服务质量。
-
公开(公告)号:CN104794182A
公开(公告)日:2015-07-22
申请号:CN201510169280.3
申请日:2015-04-10
申请人: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
IPC分类号: G06F17/30
摘要: 本发明涉及并行网络文件系统,特别涉及一种并行网络文件系统小文件异步预读装置及方法,该装置包括:客户端模块,用于接收服务器授予的客户端扩展只读目录授权,将与所述文件目录相关联的页面放入页面缓存中,所述客户端从所述页面缓存读取所述文件目录的数据,若所述文件目录的数据在所述页面缓存中未命中,则检查所述匿名页链表中是否有相应匿名页面,若命中,则将所述匿名页面返回给上层应用,若不命中,则发起同步读盘操作,其中,所述匿名页链表中剩余页面的数目与一次磁盘访问的页面数目的比值低于设定的阈值时,触发所述匿名页链表的异步预读;服务器端模块,用于获取所述操作请求,并向所述客户端模块授予所述客户端扩展只读目录授权。
-
公开(公告)号:CN102750322B
公开(公告)日:2014-11-05
申请号:CN201210159873.8
申请日:2012-05-22
申请人: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
IPC分类号: G06F17/30
摘要: 本发明公开一种机群文件系统分布式元数据一致性保证方法和系统,所述方法包括:步骤1,协调者对第一个子操作的可执行性进行预先检查,协调者向参与者发送请求信息,由参与者执行第二个子操作,参与者执行完毕之后,返回执行之后的信息给协调者,协调者和参与者写入日志文件;步骤2,根据协调者和参与者日志文件的Commit日志记录组合,对于机群文件系统一致性进行恢复。
-
-
-
-
-
-
-
-
-