一种多源异构数据采集方法

    公开(公告)号:CN111737529A

    公开(公告)日:2020-10-02

    申请号:CN202010713819.8

    申请日:2020-07-23

    IPC分类号: G06F16/90 G06F40/253

    摘要: 本发明提供了一种多源异构数据采集方法。包括:建立关键词表;获取各数据源采集内容,并创建对应的采集语法;根据所述采集语法,建立数据采集规则;将所述数据采集规则关联到所述关键词表对应关键词上。本发明有益效果为:通过构建数据源的关键词表,提高了数据采集的全面性。通过构建采集语法,本发明基于抽象语法树,并通过自定义反射规则进行确定采集语法,因此,采集语法灵活多变,因为是自定义的反射规则,因此符合数据采集的要求。本发明根据采集语法构建数据的采集规则,使得数据采集能够动态采集。本发明通过将数据采集规则关联到关键词表的关键词上,使得数据采集更加全面、动态更新的方式使得规则漏洞更好,采集的数据更加准确。

    一种分布式元数据管理方法和系统

    公开(公告)号:CN111737017B

    公开(公告)日:2020-12-18

    申请号:CN202010840008.4

    申请日:2020-08-20

    IPC分类号: G06F9/50

    摘要: 本发明提供了一种分布式元数据管理方法及系统。包括获取元数据,并将所述元数据储存在预先构建的分布式管理系统的储存节点;在所述储存节点上通过静态负载均衡策略和动态负载均衡策略,得到优化元数据;基于目录重定向表格确定所述目录重定向表格到存储节点的路径,根据所述优化元数据,构建静态和动态均衡调控的元数据储存集群。本发明的有益效果在于:本发明通过不同的储存节点可以使得元数据分类清晰且清楚。便于规划管理和划分。通过在储存节点设置负载均衡策略,可以使得数据得到优化。通过目录重定向表格构建了储存节点和元数据的传输路径,通过集群式的分布式储存系统,对元数据进行管理。

    一种分布式元数据管理方法和系统

    公开(公告)号:CN111737017A

    公开(公告)日:2020-10-02

    申请号:CN202010840008.4

    申请日:2020-08-20

    IPC分类号: G06F9/50

    摘要: 本发明提供了一种分布式元数据管理方法及系统。包括获取元数据,并将所述元数据储存在预先构建的分布式管理系统的储存节点;在所述储存节点上通过静态负载均衡策略和动态负载均衡策略,得到优化元数据;基于目录重定向表格确定所述目录重定向表格到存储节点的路径,根据所述优化元数据,构建静态和动态均衡调控的元数据储存集群。本发明的有益效果在于:本发明通过不同的储存节点可以使得元数据分类清晰且清楚。便于规划管理和划分。通过在储存节点设置负载均衡策略,可以使得数据得到优化。通过目录重定向表格构建了储存节点和元数据的传输路径,通过集群式的分布式储存系统,对元数据进行管理。