一种数据处理方法及装置
    1.
    发明公开

    公开(公告)号:CN108509440A

    公开(公告)日:2018-09-07

    申请号:CN201710103390.9

    申请日:2017-02-24

    IPC分类号: G06F17/30

    摘要: 本发明实施例公开了一种数据处理方法,用于直观的展示出各计算作业之间的关系,使得用户能够快速找出异常的计算作业。本发明实施例方法包括:获取数据源及所述数据源对应的输出结果;确定数据源及所述输出结果之间的依赖关系,所述依赖关系包含从所述数据源中各数据源到所述输出结果之间的计算作业关系;根据所述依赖关系生成依赖关系图,所述依赖关系图包含所述各数据源所对应的数据源节点、计算作业节点及节点连接符,所述节点连接符用于从第一节点指向第二节点,所述第一节点为数据源节点或计算作业节点,所述第二节点为计算作业节点,所述第二节点对应的计算作业依赖于所述第一节点对应的数据源或计算作业结果。

    一种大数据分析作业系统及任务提交方法

    公开(公告)号:CN107818112A

    公开(公告)日:2018-03-20

    申请号:CN201610822719.2

    申请日:2016-09-13

    IPC分类号: G06F17/30

    CPC分类号: G06F17/30592 G06F17/30861

    摘要: 本发明实施例公开了一种大数据分析作业系统及任务提交方法,能够节省数据分析成本,提高分析作业效率。本发明实施例的系统包括数据分析平台网页站点、业务逻辑服务器、数据库和任务调度引擎;其中,站点数据分析网页站点用于接收任务需求信息,将任务需求信息转化为标准化数据,将标准化数据发送至业务逻辑服务器;业务逻辑服务器,用于对标准化数据进行解析以获得任务信息,将任务信息存储至数据库;任务调度引擎,用于调度并执行数据库中存储的任务信息对应的任务。本发明实施例无需部署多个运营机,无需通过编写部署脚本提交作业任务,通过浏览器登录数据分析站点就可以输入并提交任务需求信息,从而能够节省数据分析成本,提高分析作业效率。

    告警处理方法、装置及电子设备

    公开(公告)号:CN112564988A

    公开(公告)日:2021-03-26

    申请号:CN202110189703.3

    申请日:2021-02-19

    IPC分类号: H04L12/24

    摘要: 本申请提供了一种告警处理方法、装置、电子设备及计算机可读存储介质;涉及云技术领域中的安全技术;方法包括:接收针对业务的告警查询请求,获取所述业务的多个告警记录;根据所述业务的攻击词库对所述告警记录进行关键词提取处理,得到攻击关键词;根据所述告警记录中的攻击关键词,确定不同所述告警记录之间的相似度;根据所述相似度对所述多个告警记录进行聚类处理得到多个告警记录簇。通过本申请,能够根据多个告警记录簇准确、有效地体现出业务受到攻击的主要原因,便于对业务进行安全防护,同时也能够有效地节省电子设备的计算资源。

    任务处理方法、装置及存储介质

    公开(公告)号:CN109240810B

    公开(公告)日:2021-02-23

    申请号:CN201810876997.5

    申请日:2018-08-03

    IPC分类号: G06F9/48

    摘要: 本申请公开了一种任务处理方法,所述任务包括多个依次相连的子任务,为每一个子任务设置缓存,当执行完一个子任务后,根据该子任务的执行结果更新所述子任务对应的缓存,所述方法包括:接收对所述多个子任务中当前子任务的修改;当所述当前子任务不是第一个子任务时,查找所述当前子任务的前一个子任务的缓存中的执行结果;当查找到所述前一个子任务的缓存中的执行结果时,根据所述执行结果执行所述前一个子任务之后的各子任务。本申请还提供了相应的装置及存储介质。

    权限信息的处理方法和装置

    公开(公告)号:CN108076015B

    公开(公告)日:2020-07-07

    申请号:CN201611005511.8

    申请日:2016-11-15

    IPC分类号: H04L29/06 H04L12/24

    摘要: 本发明公开了一种权限信息的处理方法和装置。其中,该方法包括:接收第一账号的查询请求,其中,所述查询请求用于请求查询第二账号的权限信息;响应于所述查询请求,查询所述第二账号的权限信息,其中,所述权限信息用于表示允许所述第二账号具备的权限;将记录有所述权限信息的结果页面发送至所述第一账号,其中,所述结果页面中记录的权限信息允许被编辑。本发明解决了编辑用户权限的操作繁琐的技术问题。

    任务处理方法、装置及存储介质

    公开(公告)号:CN109240810A

    公开(公告)日:2019-01-18

    申请号:CN201810876997.5

    申请日:2018-08-03

    IPC分类号: G06F9/48

    CPC分类号: G06F9/4806

    摘要: 本申请公开了一种任务处理方法,所述任务包括多个依次相连的子任务,为每一个子任务设置缓存,当执行完一个子任务后,根据该子任务的执行结果更新所述子任务对应的缓存,所述方法包括:接收对所述多个子任务中当前子任务的修改;当所述当前子任务不是第一个子任务时,查找所述当前子任务的前一个子任务的缓存中的执行结果;当查找到所述前一个子任务的缓存中的执行结果时,根据所述执行结果执行所述前一个子任务之后的各子任务。本申请还提供了相应的装置及存储介质。

    一种元数据同步方法及装置

    公开(公告)号:CN107861958A

    公开(公告)日:2018-03-30

    申请号:CN201610841882.3

    申请日:2016-09-22

    IPC分类号: G06F17/30

    CPC分类号: G06F17/30575

    摘要: 本发明实施例公开了一种元数据同步方法及装置,实现提高元数据同步效率的目的。其中,所述方法包括:监控产生的关于应用数据库的元数据影响事件,所述元数据影响事件中包括所述应用数据库中的被影响对象的信息,所述元数据影响事件为影响所述被影响对象的元数据的同步时间周期的事件,所述被影响对象对应的元数据属于所述应用数据库的元数据;根据所述被影响对象的信息确定与所述被影响对象对应的元数据;根据所述元数据影响事件对所述被影响对象的元数据的同步时间周期进行调整;按照调整后的同步时间周期向通用数据库发送元数据同步请求,以利用所述通用数据库的元数据同步与所述被影响对象对应的元数据。

    一种大数据分析作业系统及任务提交方法

    公开(公告)号:CN107818112B

    公开(公告)日:2021-12-14

    申请号:CN201610822719.2

    申请日:2016-09-13

    IPC分类号: G06F16/28 G06F16/95

    摘要: 本发明实施例公开了一种大数据分析作业系统及任务提交方法,能够节省数据分析成本,提高分析作业效率。本发明实施例的系统包括数据分析平台网页站点、业务逻辑服务器、数据库和任务调度引擎;其中,站点数据分析网页站点用于接收任务需求信息,将任务需求信息转化为标准化数据,将标准化数据发送至业务逻辑服务器;业务逻辑服务器,用于对标准化数据进行解析以获得任务信息,将任务信息存储至数据库;任务调度引擎,用于调度并执行数据库中存储的任务信息对应的任务。本发明实施例无需部署多个运营机,无需通过编写部署脚本提交作业任务,通过浏览器登录数据分析站点就可以输入并提交任务需求信息,从而能够节省数据分析成本,提高分析作业效率。

    一种大数据离线计算数据质量校验方法和装置

    公开(公告)号:CN107818106B

    公开(公告)日:2021-11-16

    申请号:CN201610821408.4

    申请日:2016-09-13

    摘要: 本发明提供一种基于最终一致性的多系统间大数据质量校验方法及装置。通过将源数据集群落地到接口机集群,在落地过程中,对源数据集群计数,获得源数据集群计数。采集落地到接口机集群的数据,并存储到数据仓库,在所述采集过程中,对存储到数据仓库中的入库数据进行计数,获得入库数据计数,基于源数据计数和入库数据计数的最终一致性,校验多系统间大数据的传输质量。本发明无需中间校验的强一致性,只需校验数据源数据指标是否与最终入库数据指标是否一致,存储成本低,计算效率高,不会影响正常的数据流转效率。

    一种将数据导入数据仓库的方法及系统

    公开(公告)号:CN107992498B

    公开(公告)日:2021-10-22

    申请号:CN201610954546.X

    申请日:2016-10-27

    摘要: 本发明提供了一种将数据导入数据仓库的方法及系统。通过封装数据导入的过程,并向用户提供支持数据导入功能的网页,使得用户能够不必知晓数据导入细节即可实现数据导入,从而使得数据导入变得简单易行,增强用户体验。在数据导入过程中,以网站服务器接收并存储用户上传的数据包,接口机和数据仓库均与数据处理服务器通讯,在数据处理服务器的调度下实现将接口机中的数据导入数据仓库的技术效果,网站服务器、数据处理服务器、接口机和数据仓库各司其职,使得系统的耦合度降低,稳定性提高,一旦出现数据导入失败,也能快速定位失败的原因。