一种数据处理方法、系统及计算机储存介质

    公开(公告)号:CN116303379A

    公开(公告)日:2023-06-23

    申请号:CN202211603850.1

    申请日:2022-12-13

    摘要: 本发明涉及一种数据处理方法、系统及计算机储存介质,方法包括:获取目标数据信息;对目标数据信息进行数据清洗,以得到数据清洗后的第一数据信息;基于业务主题域及业务场景,构建适于第一数据信息的目标数据模型;基于目标数据模型将第一数据信息形成第一数据集,第一数据集包含若干个共性数据子集;基于第一数据集,构建数据资产共享平台,并将数据资产共享平台对接需求端。上述通过进行数据清洗、构建数据模型,并基于所构建的数据模型,将获取的目标数据信息形成具有相关共性的第一数据集,便于后续的需求端资产共享平台,进而便于满足需求端用户的数据分析需求。解决了对于用户来说技术门槛过高、体验不佳的问题。

    数据处理方法、系统、电子设备及介质

    公开(公告)号:CN117076504A

    公开(公告)日:2023-11-17

    申请号:CN202311042047.X

    申请日:2023-08-18

    摘要: 本发明公开了一种数据处理方法、系统、电子设备及介质,包括:获取客户终端发送的数据请求,其中,所述数据请求至少包括数据类型和数据级别;根据所述数据请求和预先存储的电力资源数据库,确定分别与所述数据类型和数据级别对应的目标电力数据,其中,所述电力资源数据库中至少包括组织结构字段、数据级别和电力数据,所述组织结构字段、所述数据级别和所述电力数据相对应,所述组织结构字段至少包括数据类型;将所述目标电力数据发送至所述客户终端,通过本申请实施例对历史电力数据进行不同组织结构和不同数据界别进行分类存储,可以提高数据的查询效率。

    数据处理系统、电子设备及存储介质

    公开(公告)号:CN117032980A

    公开(公告)日:2023-11-10

    申请号:CN202311051581.7

    申请日:2023-08-21

    IPC分类号: G06F9/50 G06F16/28

    摘要: 本发明公开了数据处理系统、电子设备及存储介质。系统包括:分布式文件模块、分布式处理模块和调度模块,其中:所述分布式文件模块用于对获取的数据进行拆分及处理,生成日志文件信息;所述分布式处理模块用于利用局部性原理,在每一个节点在数据完成后,接收每个节点发送的数据,对接收到的数据进行合并、排序和分发至各个节点;所述调度模块用于按照预先设置的资源分配算法对各个节点的数据进行调度,这样,基于本发明的数据处理系统,对数据进行处理,且进行调度,可以有效地对数据进行调度,提高调度效率。