一种基于元数据管理的数据血缘分析系统和方法

    公开(公告)号:CN115757655B

    公开(公告)日:2023-07-07

    申请号:CN202211424823.8

    申请日:2022-11-14

    IPC分类号: G06F16/28 G06N7/01 G06F16/215

    摘要: 本发明涉及一种基于元数据管理的数据血缘分析系统和方法,属于大数据技术领域。本发明通过获取多个数据源的原始数据,基于清洗规则进行清洗处理,得到清洗后数据;基于数据规范规则对清洗后数据进行规范化处理,得到规范数据;所述数据规范规则包括标准代码映射库和规范化规则;使用数据集成算法集成所述规范数据得到集成后数据;构建元数据管理体系;基于元数据管理体系进行数据的血缘分析并存储到图数据库。本发明提供的血缘分析系统和方法,对异地、异构数据做到表字段级别的血缘分析,支持快速准确的对数据质量回溯和定位问题,实现了对数据、数据源、API、清洗规则、数据标准、应用和管理全要素血缘关系展示。

    一种自组网系统及自组网系统的流数据处理方法

    公开(公告)号:CN115586869A

    公开(公告)日:2023-01-10

    申请号:CN202211193073.8

    申请日:2022-09-28

    IPC分类号: G06F3/06

    摘要: 本发明涉及一种自组网系统及自组网系统的流数据处理方法,属于数据处理技术领域;解决现有技术中的自组网系统硬件存储成本高,且现有的流数据处理方法处理速度慢的问题;本发明的系统包括至少一种数据采集设备、客户端和服务器;其中,至少一种数据采集设备用于采集得到流数据,并通过无线链路向服务器发送写数据请求;客户端用于向服务器发送读数据请求;服务器包括存储器和处理器;处理器用于在接收到写数据请求时将接收到的流数据按照冷数据和热数据在存储器中分别进行存储,并在接收到读数据请求时,按预设的流程读取存储器中存储的数据到客户端;冷数据和热数据通过预设时间内对存储器中存储的数据的读写频率统计得到。