公开(公告)号：CN110287150A

公开(公告)日：2019-09-27

申请号：CN201910405408.X

申请日：2019-05-16

申请人： 中国科学院信息工程研究所

发明人： 吴广君 ,  李斌斌 ,  王树鹏 ,  贾思宇 ,  赵百强

IPC分类号： G06F16/13 ,  G06F16/16 ,  G06F16/182

摘要： 本发明公开了一种大规模存储系统元数据分布式管理方法与系统。本发明将HDFS存储于NameNode内存中的元数据抽象成二维表的结构，以二维表的形式存储在分布式数据库中；抽象后的各二维表之间通过inode_id相互关联。Namenode成为客户端存取元数据的桥梁，客户端首先连接Namenode，Namenode来操作分布式数据库中的元数据，并将元数据返回给客户端。本发明解决了HDFS的单点故障问题。

公开(公告)号：CN108388603A

公开(公告)日：2018-08-10

申请号：CN201810113980.4

申请日：2018-02-05

申请人： 中国科学院信息工程研究所

发明人： 吴广君 ,  党向磊 ,  王树鹏 ,  杨怡欣 ,  赵百强

IPC分类号： G06F17/30

摘要： 本发明提供一种基于Spark框架的分布式概要数据结构的构建方法及查询方法，以Spark平台为基础，利用q-digest结构获得数据区间分布情况，BloomFilter获取组员存在信息，HyperLogLogPlus记录数据基数信息，实现高吞吐低延迟的处理能力，且能够快速响应查询要求，有效适应Spark分布式计算环境，返回误差可控的近似计算结果。本发明还提供一种基于Spark框架的分布式概要数据结构的构建及查询系统。

公开(公告)号：CN108388603B

公开(公告)日：2022-05-17

申请号：CN201810113980.4

申请日：2018-02-05

申请人： 中国科学院信息工程研究所

发明人： 吴广君 ,  党向磊 ,  王树鹏 ,  杨怡欣 ,  赵百强

IPC分类号： G06F16/22 ,  G06F16/2458

摘要： 本发明提供一种基于Spark框架的分布式概要数据结构的构建方法及查询方法，以Spark平台为基础，利用q‑digest结构获得数据区间分布情况，BloomFilter获取组员存在信息，HyperLogLogPlus记录数据基数信息，实现高吞吐低延迟的处理能力，且能够快速响应查询要求，有效适应Spark分布式计算环境，返回误差可控的近似计算结果。本发明还提供一种基于Spark框架的分布式概要数据结构的构建及查询系统。

公开(公告)号：CN110287150B

公开(公告)日：2021-05-11

申请号：CN201910405408.X

申请日：2019-05-16

申请人： 中国科学院信息工程研究所

发明人： 吴广君 ,  李斌斌 ,  王树鹏 ,  贾思宇 ,  赵百强

IPC分类号： G06F16/13 ,  G06F16/16 ,  G06F16/182

摘要： 本发明公开了一种大规模存储系统元数据分布式管理方法与系统。本发明将HDFS存储于NameNode内存中的元数据抽象成二维表的结构，以二维表的形式存储在分布式数据库中；抽象后的各二维表之间通过inode_id相互关联。Namenode成为客户端存取元数据的桥梁，客户端首先连接Namenode，Namenode来操作分布式数据库中的元数据，并将元数据返回给客户端。本发明解决了HDFS的单点故障问题。

公开(公告)号：CN108319645B

公开(公告)日：2022-09-16

申请号：CN201711420097.1

申请日：2017-12-25

申请人： 中国科学院信息工程研究所

发明人： 吴广君 ,  李超 ,  付戈 ,  王树鹏 ,  赵百强 ,  祝林枫

IPC分类号： G06F16/25 ,  G06F16/27 ,  G06F16/24 ,  G06F16/248 ,  G06F11/14

摘要： 本发明涉及一种异构存储环境下多版本文件视图管理方法和装置。该方法包括：抽取异构存储环境下的多版本数据的元数据信息，利用元数据信息形成关系表结构，并利用关系型数据库对元数据进行集中存储；通过逻辑卷整合分布在不同存储位置的多版本数据，实现介质无关的多版本数据的管理与组织；利用SQL语法规则实现对元数据的访问控制与选择过滤，并在文件视图中以目录树的形式展示和管理异构存储环境下的多版本数据。本发明能够针对本地存储、云存储等异构存储环境，针对增量备份、差量备份、全量备份等不同备份策略，实现高性能的多版本文件视图管理。

公开(公告)号：CN108319645A

公开(公告)日：2018-07-24

申请号：CN201711420097.1

申请日：2017-12-25

申请人： 中国科学院信息工程研究所

发明人： 吴广君 ,  李超 ,  付戈 ,  王树鹏 ,  赵百强 ,  祝林枫

IPC分类号： G06F17/30 ,  G06F11/14

CPC分类号： G06F17/30557 ,  G06F11/1458 ,  G06F17/30386 ,  G06F17/30554 ,  G06F17/30575

摘要： 本发明涉及一种异构存储环境下多版本文件视图管理方法和装置。该方法包括：抽取异构存储环境下的多版本数据的元数据信息，利用元数据信息形成关系表结构，并利用关系型数据库对元数据进行集中存储；通过逻辑卷整合分布在不同存储位置的多版本数据，实现介质无关的多版本数据的管理与组织；利用SQL语法规则实现对元数据的访问控制与选择过滤，并在文件视图中以目录树的形式展示和管理异构存储环境下的多版本数据。本发明能够针对本地存储、云存储等异构存储环境，针对增量备份、差量备份、全量备份等不同备份策略，实现高性能的多版本文件视图管理。