数据获取方法、装置、服务器及存储介质

    公开(公告)号:CN115481448B

    公开(公告)日:2023-06-20

    申请号:CN202211131868.6

    申请日:2022-09-16

    IPC分类号: G06F21/64 G06F21/60 G06F21/62

    摘要: 本申请公开了一种数据获取方法、装置、服务器及存储介质,属于互联网技术领域。该方法将第一数据获取请求中的查询参数组进行封装,得到参数实体;将目标账号的账号信息以及第一权限信息进行封装,得到账号实体;基于账号实体和参数实体,对目标账号进行权限验证;在目标账号通过权限验证时,将多个目标查询参数进行拼接、封装,得到第一逻辑查询语句;基于第一逻辑查询语句,查询第一数据库;将多个目标查询参数填充至第二逻辑查询语句中,得到目标逻辑查询语句;基于目标逻辑查询语句,查询第二数据库,得到第一目标数据。可见,该方法在目标账号通过权限验证的情况下,才从数据库中获取目标数据,以避免数据泄露,从而提高数据的安全性。

    数据表处理方法、装置、电子设备及存储介质

    公开(公告)号:CN115470229A

    公开(公告)日:2022-12-13

    申请号:CN202211045460.7

    申请日:2022-08-30

    摘要: 本公开提供了一种数据表处理方法、装置、电子设备及存储介质,属于互联网技术领域。该方法包括:根据时间维度类型和时间段,生成时间参数;获取第一SQL文件,第一SQL文件用于执行处理请求,第一SQL文件由多条SQL语句拼接而成,SQL语句中用于表征时间的代码采用时间变量表示;将第一SQL文件包括的每条SQL语句的时间变量替换为时间参数,得到第二SQL文件;将执行第二SQL文件生成的针对目标指标的处理结果写入到目标数据表中。本公开将用于执行同一处理请求的SQL语句写入同一SQL文件中,然后对各个SQL语句中的时间变量进行统一替换,克服了各个SQL中时间变量修改不统一的问题,提高了处理后数据表的准确性。

    一种大数据组件平台的告警方法、装置、设备及存储介质

    公开(公告)号:CN117675544A

    公开(公告)日:2024-03-08

    申请号:CN202211043340.3

    申请日:2022-08-29

    摘要: 本申请提供了一种大数据组件平台的告警方法、装置、设备及存储介质,该告警方法包括:响应大数据管理平台的安装请求,读取配置文件;根据配置文件确定大数据管理平台及运算存储组件集群的各个组件的配置环境;根据配置环境,安装并启动大数据管理平台;从大数据管理平台的各个节点中获取运算存储组件集群的各个组件,将各个组件分别配置到对应的主机中并启动各个组件;获取各个组件的运行状态数据;在各个组件中确定出所述运行状态数据不符合预设规则的目标组件,并向目标组件的第一联系人发送告警提示信息。本申请通过将告警规则集成到大数据组件平台中,并改变告警提示信息的发送类型,增强告警效果。

    一种数据处理方法、装置、电子设备及存储介质

    公开(公告)号:CN117667905A

    公开(公告)日:2024-03-08

    申请号:CN202211040030.6

    申请日:2022-08-29

    摘要: 本申请提供了一种数据处理方法、装置、电子设备及存储介质,该方法包括:获取数据仓库中经过轻度汇总的目标数据,对目标数据进行扁平化处理,得到目标数据集,然后目标数据集进行表格化处理,得到表格型数据,针对表格型数据,将至少一个所述索引作为联合主键,根据联合主键对所述表格型数据进行分组,并对重复的分组结果进行去重处理,得到去重数据,最后将去重数据写入目标文件,并将目标文件存储至数据仓库,同时删除目标数据。本申请能够在资源有限的情况下,对数据仓库中的冗余数据进行去重,从而提高对数据的计算效率。