一种面向大规模地理空间数据的存储和检索方法及其系统

    公开(公告)号:CN111782742A

    公开(公告)日:2020-10-16

    申请号:CN202010508815.6

    申请日:2020-06-06

    摘要: 本发明提出了一种面向大规模地理空间数据的存储和检索方法及其系统,该方法将地理空间数据映射到瓦片金字塔模型,使用空间填充曲线对瓦片金字塔进行填充,并对空间填充曲线上的瓦片节点进行编码化表达,构建空间连续的索引编码结构;构建多维结构化存储模型,包括瓦片数据表和二级索引表,将地理空间瓦片数据及其基本信息、瓦片数据键存储到瓦片数据表,将瓦片索引键和瓦片索引值存储到二级索引表;根据数据的检索条件,以及各维度与数据存储结构的相关性,生成数据查询过滤器进行数据集检索。本发明实现了地理空间数据多维度检索方法和快速查询过程,降低了对数据库的访问频率,加快了数据的访问速度。

    一种科学数据存储关联方法

    公开(公告)号:CN108595588B

    公开(公告)日:2022-08-23

    申请号:CN201810352627.1

    申请日:2018-04-19

    IPC分类号: G06F16/22 G06F16/28

    摘要: 本发明公开了一种科学数据存储关联方法,将科学数据通过建立一套元数据描述方案,根据元数据描述查找可以合并的科学数据,将科学数据进行合并后重新调整元数据和科学数据实体进行相应合并减少跨表查询,并将元数据按照一定规则存储在Neo4j中,表达出科学数据之间的关联。科学数据实体则存储在MongoDB用以支持复杂逻辑计算。本发明通过建立一套元数据描述对科学数据进行有效描述,并将元数据存储在Neo4j中,表达出科学数据之间的关联,减少存储空间。解决了现有技术中需要大量存储空间存储RDF数据,以及目前存在的查询性能差、速度较慢、以及无法进行复杂分析运算的问题。

    一种海量科学数据图片高效存取方法

    公开(公告)号:CN108595589A

    公开(公告)日:2018-09-28

    申请号:CN201810352628.6

    申请日:2018-04-19

    IPC分类号: G06F17/30

    摘要: 本发明公开了一种海量科学数据图片高效存取方法,在图片写入时,建立表示本地文件到HDFS文件映射的元数据记录,针对科学数据中的图片文件的不同大小,采取对应的存储方案;根据元数据记录,找到需要文件所在的位置,进行图片的删除、修改和读取操作。本发明针对新一代数字地球中的海量图片提出的存取方案,解决了海量数据存储、高并发读写过程中,数据存储量受元数据内存制约、和高并发读写速度受磁盘IOPS限制的问题。

    一种面向地理空间影像数据的快速处理方法及系统

    公开(公告)号:CN111666157B

    公开(公告)日:2021-02-23

    申请号:CN202010508819.4

    申请日:2020-06-06

    IPC分类号: G06F9/50 G06F9/48

    摘要: 本发明公开了一种面向地理空间影像数据的快速处理系统,包括:数据工作流引擎构建模块,用于将数据的处理过程按照业务流程进行划分,封装成相互独立的业务模块,并按照影像数据处理的流程将业务模块进行组装,形成影像数据处理工作流引擎;数据处理任务模型构建模块,用于将各业务模块以可独立部署、运行的方式封装成任务,并引入容器编排技术,以可视化组装和在线发布的形式完成数据处理流水线的系统级实现;基于内存的数据处理加速模块,用于实现数据处理流程中的内存资源控制。本发明还提出了与系统对应的处理方法。本发明简化了数据处理操作,降低了数据处理系统的复杂度,提高了系统的灵活性和可复用性。

    一种面向大规模地理空间数据的存储和检索方法及其系统

    公开(公告)号:CN111782742B

    公开(公告)日:2021-01-26

    申请号:CN202010508815.6

    申请日:2020-06-06

    摘要: 本发明提出了一种面向大规模地理空间数据的存储和检索方法及其系统,该方法将地理空间数据映射到瓦片金字塔模型,使用空间填充曲线对瓦片金字塔进行填充,并对空间填充曲线上的瓦片节点进行编码化表达,构建空间连续的索引编码结构;构建多维结构化存储模型,包括瓦片数据表和二级索引表,将地理空间瓦片数据及其基本信息、瓦片数据键存储到瓦片数据表,将瓦片索引键和瓦片索引值存储到二级索引表;根据数据的检索条件,以及各维度与数据存储结构的相关性,生成数据查询过滤器进行数据集检索。本发明实现了地理空间数据多维度检索方法和快速查询过程,降低了对数据库的访问频率,加快了数据的访问速度。

    一种面向地理空间影像数据的快速处理方法及系统

    公开(公告)号:CN111666157A

    公开(公告)日:2020-09-15

    申请号:CN202010508819.4

    申请日:2020-06-06

    IPC分类号: G06F9/50 G06F9/48

    摘要: 本发明公开了一种面向地理空间影像数据的快速处理系统,包括:数据工作流引擎构建模块,用于将数据的处理过程按照业务流程进行划分,封装成相互独立的业务模块,并按照影像数据处理的流程将业务模块进行组装,形成影像数据处理工作流引擎;数据处理任务模型构建模块,用于将各业务模块以可独立部署、运行的方式封装成任务,并引入容器编排技术,以可视化组装和在线发布的形式完成数据处理流水线的系统级实现;基于内存的数据处理加速模块,用于实现数据处理流程中的内存资源控制。本发明还提出了与系统对应的处理方法。本发明简化了数据处理操作,降低了数据处理系统的复杂度,提高了系统的灵活性和可复用性。

    一种科学数据存储关联方法

    公开(公告)号:CN108595588A

    公开(公告)日:2018-09-28

    申请号:CN201810352627.1

    申请日:2018-04-19

    IPC分类号: G06F17/30

    摘要: 本发明公开了一种科学数据存储关联方法,将科学数据通过建立一套元数据描述方案,根据元数据描述查找可以合并的科学数据,将科学数据进行合并后重新调整元数据和科学数据实体进行相应合并减少跨表查询,并将元数据按照一定规则存储在Neo4j中,表达出科学数据之间的关联。科学数据实体则存储在MongoDB用以支持复杂逻辑计算。本发明通过建立一套元数据描述对科学数据进行有效描述,并将元数据存储在Neo4j中,表达出科学数据之间的关联,减少存储空间。解决了现有技术中需要大量存储空间存储RDF数据,以及目前存在的查询性能差、速度较慢、以及无法进行复杂分析运算的问题。