数据处理方法、装置、计算设备及存储介质

    公开(公告)号:CN110196879A

    公开(公告)日:2019-09-03

    申请号:CN201810379663.7

    申请日:2018-04-25

    发明人: 朱锋 张韶全

    IPC分类号: G06F16/27

    摘要: 本申请公开了数据处理方法、装置、计算设备及存储介质。其中,一种数据处理方法,包括:获取数据处理请求;生成与所述数据处理请求对应的执行计划,所述执行计划包括树形结构,其中,每个节点用于描述一个数据操作;针对所述执行计划中每个节点,生成与该节点描述的数据操作有关的一个弹性分布式数据集;在确定对所述执行计划中各节点对应的弹性分布式数据集进行重分区操作时,根据所述各节点对应的弹性分布式数据集之间的依赖关系,执行所述重分区操作。

    展示信息确定的方法及装置

    公开(公告)号:CN112288507B

    公开(公告)日:2023-10-10

    申请号:CN201910665208.8

    申请日:2019-07-23

    发明人: 朱锋

    IPC分类号: G06Q30/0601

    摘要: 本申请公开了一种展示信息确定的方法,属于互联网技术领域。所述方法包括:接收终端发送的展示信息获取请求,获取所述展示信息获取请求对应的待展示对象的主体展示信息;确定所述待展示对象的目标对象存放类型,基于所述目标对象存放类型、以及预先存储的对象存放类型和从属展示信息项的对应关系,确定所述待展示对象的从属展示信息项;确定所述待展示对象的从属展示信息项对应的从属展示信息;将所述从属展示信息和所述主体展示信息发送至所述终端。通过本申请可以提高用户的购买效率。

    页面中用户行为数据的处理方法、装置

    公开(公告)号:CN114692026A

    公开(公告)日:2022-07-01

    申请号:CN202011626201.4

    申请日:2020-12-31

    IPC分类号: G06F16/954

    摘要: 本申请涉及计算机及数据处理技术领域,揭示了一种页面中用户行为数据的处理方法、装置。所述方法执行于终端,所述方法包括:在检测到目标页面的进程时,按照连续递增的顺序,为用户在所述目标页面中的操作行为依次编号,得到行为序号;获取用户在所述目标页面中进行操作时产生的行为数据,所述行为数据与所述行为序号存在一一对应的关联关系;将所述行为序号和行为数据上报至服务器,以使得所述服务器通过所述行为序号检测所述服务器所采集到的行为数据的数据质量指标。本申请实施例的技术方案可以提高服务器对页面中用户行为数据进行统计的准确性。

    一种应用状态的检测方法及其设备

    公开(公告)号:CN108347355B

    公开(公告)日:2022-03-11

    申请号:CN201710046133.6

    申请日:2017-01-22

    发明人: 朱锋

    摘要: 本发明实施例公开一种应用状态的检测方法及其设备,其中方法包括如下步骤:获取多个连续的预设时间段中各预设时间段内针对目标终端应用的应用数据量;在所述多个预设时间段中,采用第一预设时间段的应用数据量和第二预设时间段的应用数据量,生成与所述多个预设时间段相关联的应用特征数据,所述第一预设时间段和所述第二预设时间段为相邻的预设时间段;当所述应用特征数据不满足预设正常数据范围时,确定所述目标终端应用的应用状态为异常状态。采用本发明,可以正确识别数据量波动的正常范围,准确确定终端应用的数据量存在的异常行为。

    一种业务处理方法、计算机设备和客户端

    公开(公告)号:CN110209422B

    公开(公告)日:2021-08-27

    申请号:CN201810437912.3

    申请日:2018-05-09

    发明人: 朱锋 张韶全

    IPC分类号: G06F8/71

    摘要: 本申请实施例公开了一种业务处理方法、计算机设备和客户端,用于方便数据分析人员使用Spark SQL,扩大Spark SQL的应用范围。本申请实施例提供的技术方案如下:将指定逻辑封装成通用程序并保存;接收客户端提交的可编程语句;根据所述可编程语句和所述通用程序封装生成应用程序;为所述应用程序申请对应的集群资源以运行所述应用程序。

    展示信息确定的方法及装置
    6.
    发明公开

    公开(公告)号:CN112288507A

    公开(公告)日:2021-01-29

    申请号:CN201910665208.8

    申请日:2019-07-23

    发明人: 朱锋

    IPC分类号: G06Q30/06

    摘要: 本申请公开了一种展示信息确定的方法,属于互联网技术领域。所述方法包括:接收终端发送的展示信息获取请求,获取所述展示信息获取请求对应的待展示对象的主体展示信息;确定所述待展示对象的目标对象存放类型,基于所述目标对象存放类型、以及预先存储的对象存放类型和从属展示信息项的对应关系,确定所述待展示对象的从属展示信息项;确定所述待展示对象的从属展示信息项对应的从属展示信息;将所述从属展示信息和所述主体展示信息发送至所述终端。通过本申请可以提高用户的购买效率。

    一种数据处理的方法以及相关装置

    公开(公告)号:CN110309177A

    公开(公告)日:2019-10-08

    申请号:CN201810245691.X

    申请日:2018-03-23

    发明人: 张韶全 朱锋

    IPC分类号: G06F16/2455 G06F16/2453

    摘要: 本发明实施例公开了一种数据处理的方法,包括:接收数据处理指令;根据所述数据处理指令获取第一分区数据以及第二分区数据;通过Mapper对所述第一分区数据进行排序处理,得到第一待合并数据,并对所述第二分区数据进行排序处理,得到第二待合并数据;通过Reducer对所述第一待合并数据以及所述第二待合并数据进行合并处理,得到目标连接数据。本发明实施例还公开了一种数据处理装置。本发明实施例将数据排序的过程放在Mapper中完成,而Reducer只需要完成数据合并的过程,从而降低了每个Reducer的数据处理时延,提升Join的执行效率。

    数据准确性检测方法、装置及电子设备

    公开(公告)号:CN117216583A

    公开(公告)日:2023-12-12

    申请号:CN202311094676.7

    申请日:2023-08-28

    摘要: 本说明书实施例公开了一种数据准确性检测方法、装置及电子设备,该方法包括:获取对象推荐方中的待检测对象对应的对象推荐数据和跳转链接,跳转链接由待检测对象的提供方进行管理;根据跳转链接生成数据检测文件,数据检测文件中包含跳转链接的自动跳转指令;基于数据检测文件自动跳转到跳转链接对应的跳转页面;提取跳转页面中的展示数据作为对象推荐数据对应的参考数据;将对象推荐数据与参考数据进行匹配,获得对象推荐数据的准确性识别结果。利用本说明书提供的技术方案,通过待检测对象的跳转链接的自动跳转,利用跳转后的页面中的数据对待检测对象的对象推荐数据进行匹配,实现了数据准确性的自动化检测,提升了数据检测的效率和准确性。

    一种数据处理的方法以及相关装置

    公开(公告)号:CN110309177B

    公开(公告)日:2023-11-03

    申请号:CN201810245691.X

    申请日:2018-03-23

    发明人: 张韶全 朱锋

    IPC分类号: G06F16/2455 G06F16/2453

    摘要: 本发明实施例公开了一种数据处理的方法,包括:接收数据处理指令;根据所述数据处理指令获取第一分区数据以及第二分区数据;通过Mapper对所述第一分区数据进行排序处理,得到第一待合并数据,并对所述第二分区数据进行排序处理,得到第二待合并数据;通过Reducer对所述第一待合并数据以及所述第二待合并数据进行合并处理,得到目标连接数据。本发明实施例还公开了一种数据处理装置。本发明实施例将数据排序的过程放在Mapper中完成,而Reducer只需要完成数据合并的过程,从而降低了每个Reducer的数据处理时延,提升Join的执行效率。

    一种业务处理方法、计算机设备和客户端

    公开(公告)号:CN110209422A

    公开(公告)日:2019-09-06

    申请号:CN201810437912.3

    申请日:2018-05-09

    发明人: 朱锋 张韶全

    IPC分类号: G06F8/71

    摘要: 本申请实施例公开了一种业务处理方法、计算机设备和客户端,用于方便数据分析人员使用Spark SQL,扩大Spark SQL的应用范围。本申请实施例提供的技术方案如下:将指定逻辑封装成通用程序并保存;接收客户端提交的可编程语句;根据所述可编程语句和所述通用程序封装生成应用程序;为所述应用程序申请对应的集群资源以运行所述应用程序。