数据处理方法、数据查询方法、装置和电子设备

    公开(公告)号:CN115470225A

    公开(公告)日:2022-12-13

    申请号:CN202211130951.1

    申请日:2022-09-16

    IPC分类号: G06F16/23 G06F16/2455

    摘要: 本申请提供一种数据处理方法、数据查询方法、装置和电子设备,涉及大数据数据处理技术领域。该方法包括:获取待处理的第一实时数据的数据类型,根据第一实时数据,确定待更新的目标字段和对数据库进行查询的行键,在数据类型为统计类型的情况下,根据目标字段和行键,查询数据库的列族中存储的批量数据和第二实时数据,以确定目标字段对应的目标值,根据第一实时数据和目标值,对第二实时数据进行更新。本申请中通过在数据库中同时存储批量数据和实时数据,避免了批量数据更新时覆盖实时数据,进而从批量数据或第二实时数据中确定目标值,则提高了进行实时数据更新的基准数据的准确性,从而提高了实时数据处理的准确性。

    任务状态确定方法、装置和计算机设备

    公开(公告)号:CN116795871A

    公开(公告)日:2023-09-22

    申请号:CN202310904375.X

    申请日:2023-07-21

    IPC分类号: G06F16/245 G06F9/50

    摘要: 本申请涉及一种任务状态确定方法、装置、计算机设备、存储介质和计算机程序产品。所述任务状态确定方法包括:接收任务状态查询指令;任务状态查询指令携带有查询对象的身份信息;当查询对象不存在任务状态查询指令对应的目标任务的完成信息时,获取查询对象的历史业务信息;将历史业务信息与目标任务对应的目标任务达标条件进行匹配;根据匹配的结果,确定查询对象对应的目标任务的任务状态,通过该种设置,排除了针对查询对象的已完成任务进行数据获取、数据匹配、状态判断的重复处理情况,从而极大可能的防止了资源浪费。

    数据处理方法、装置及电子设备
    4.
    发明公开

    公开(公告)号:CN118228226A

    公开(公告)日:2024-06-21

    申请号:CN202410478523.0

    申请日:2024-04-19

    摘要: 本申请公开了一种数据处理方法、装置及电子设备,涉及大数据技术领域,其中的方法包括在检测到目标用户对客户端的操作时,响应于目标用户的操作,获取目标用户的目标用户数据、当前交易数据以及目标用户行为数据;在目标用户对应的多个用户评估模型中,确定目标用户模型;基于目标用户数据、当前交易数据、目标用户行为数据以及目标用户模型,确定目标用户的当前可信度;基于目标用户的当前可信度,确定目标用户对客户端的当前操作权限,并基于确定的当前操作权限,对目标用户的操作进行处理。通过上述方法,可以实现目标用户的操作权限的动态管理,避免用户频繁登录认证,也可以保证客户端线上操作的安全,提升用户体验。

    业务数据处理方法、装置、电子设备及存储介质

    公开(公告)号:CN115640319A

    公开(公告)日:2023-01-24

    申请号:CN202211193176.4

    申请日:2022-09-28

    摘要: 本公开提出一种业务数据处理方法、装置、电子设备以及存储介质,涉及大数据处理技术领域,方法包括:获取第一业务数据,并根据第一业务数据的数据类型,向目标数据库发送数据获取消息,其中,数据获取消息参考数据处理周期生成,数据处理周期由数据类型确定,再接收目标数据库发送的第二业务数据,其中,第二业务数据是目标数据库基于数据处理周期查询得到,以及聚合第一业务数据和第二业务数据,得到目标业务数据,由于是对第一业务数据和保存在目标数据库中的第二业务数据进行聚合,从而能够减少数据处理过程中业务数据等待情况的发生,从而能够在有效地保障业务数据处理效果的同时,有效地降低业务数据对资源的占用率。

    信息展示方法、装置、计算机设备、存储介质和程序产品

    公开(公告)号:CN115438074A

    公开(公告)日:2022-12-06

    申请号:CN202211130853.8

    申请日:2022-09-16

    摘要: 本申请涉及大数据处理技术领域,特别是涉及一种信息展示方法、装置、计算机设备、存储介质和程序产品。所述方法包括:响应于客户端的信息展示请求,确定客户端信息以及待展示信息的属性参数;对所述客户端信息以及所述属性参数进行转换处理,生成地址参数;在预设数组中与所述地址参数相对应的参数值为第一参数值的情况下,将所述预设数组中与所述地址参数相对应的所述参数值更新为第二参数值,所述第一参数值与所述第二参数值不同;向所述客户端发送所述待展示信息,所述客户端用于展示所述待展示信息。采用本方法能够以地址参数作为客户端信息与待展示信息的查询主键在预设数组中进行查询,减小计算机的数据处理量,从而提高信息展示效率。

    资源处理方法及装置
    7.
    发明公开

    公开(公告)号:CN114416386A

    公开(公告)日:2022-04-29

    申请号:CN202210042212.0

    申请日:2022-01-14

    IPC分类号: G06F9/52 G06F9/50

    摘要: 本公开关于一种资源处理方法及装置,涉及大数据智能分析技术领域,该资源处理方法包括:获取针对任一资源的资源领取指令,并根据所述资源领取指令,获取资源领取操作对应的第一标识;获取所述资源领取指令对应的线程的第二标识,并根据所述第一标识和所述第二标识,获取目标锁的加锁信息;获取所述任一资源对应的业务场景,并根据所述业务场景,获取所述目标锁的过期时长;根据所述加锁信息和所述过期时长,在目标中间件中添加所述目标锁。由此,本公开能够根据不同的业务场景合理地设置过期时长,解决了高并发下目标锁的问题,避免了目标锁被锁死的情况,同时基于常用的中间件redis,减少了开发人员的学习成本。

    集群节点管理方法、装置、系统、存储介质及计算机设备

    公开(公告)号:CN114168828A

    公开(公告)日:2022-03-11

    申请号:CN202111262830.8

    申请日:2021-10-28

    IPC分类号: G06F16/93 G06F16/16 G06F16/17

    摘要: 本公开关于一种集群节点管理方法、装置、系统、存储介质及计算机设备。其中该方法包括,获取配置文件;其中,所述配置文件包括待操作文件的文件名和针对所述待操作文件的操作信息;解析所述配置文件,获取所述配置文件之中所述待操作文件的文件名;根据所述待操作文件的文件名获取所述待操作文件;将所述配置文件和所述待操作文件以文件管理任务的方式提交给集群任务管理节点。本公开可以解决集群的磁盘文件管理由于集群节点数量多,操作效率低,容易遗留操作等的问题。

    数据管理方法及装置
    9.
    发明公开

    公开(公告)号:CN114168560A

    公开(公告)日:2022-03-11

    申请号:CN202111262370.9

    申请日:2021-10-28

    摘要: 本公开关于一种数据管理方法及装置,属于大数据的数据分析领域,该方法包括:获取表格数据以及表格数据对应的历史查询记录,根据历史查询记录,确定分片键以及范围索引,根据分片键对表格数据进行预分片,以获取至少两个分片副本集进行分片存储,获取应用程序发送的针对表格数据的查询请求,并根据查询请求调用查询接口,以将查询请求路由至对应的分片副本集,根据范围索引,从分片副本集中获取查询请求对应的查询结果,并将查询结果发送至应用程序。由此,本公开基于分片技术,将表格数据更加合理地进行分片以及存储,以在提升了数据查询响应速度、使用户更快速地获取查询结果的同时,确保了数据查询过程中的准确性、灵活性和可靠性。

    用户特征的生成方法、装置和电子设备

    公开(公告)号:CN114238716A

    公开(公告)日:2022-03-25

    申请号:CN202111400010.0

    申请日:2021-11-19

    摘要: 本公开关于一种用户特征的生成方法、装置和电子设备,属于大数据数据分析技术领域。其中,该用户特征的生成方法包括:获取用户数据;基于用户特征维度的时间粒度,获取所述用户数据的失效判据;基于失效判据,识别所述用户数据是否失效;基于有效的所述用户数据,生成所述用户在所述用户特征维度下的特征表示。由此,可基于用户特征维度的时间粒度,从用户数据中筛选出有效的用户数据,并仅根据有效的用户数据生成用户在用户特征维度下的特征表示,可大大减少特征表示生成过程中处理的数据量,有助于节省计算资源。