实时计算的方法和系统
    1.
    发明公开

    公开(公告)号:CN109947736A

    公开(公告)日:2019-06-28

    申请号:CN201711052098.5

    申请日:2017-10-30

    IPC分类号: G06F16/21 G06F16/25

    摘要: 本发明提供一种实时计算的方法和系统,能够实时地进行数据计算和分析,从而实时、动态地监控应用程序的健康状况。该方法利用实时计算节点进行实时计算,包括:根据统计维度需求为接收到的待计算数据生成关键字;根据所述关键字从所述实时计算节点的内存缓存中获取对应的计算结果值,结合所述计算结果值为所述待计算数据生成实时计算结果;输出所述实时计算结果,并将所述实时计算结果作为新的计算结果值保存至所述内存缓存中。

    实时数据统计装置和方法以及计算机可读存储介质

    公开(公告)号:CN110471943A

    公开(公告)日:2019-11-19

    申请号:CN201810434471.1

    申请日:2018-05-09

    IPC分类号: G06F16/2458

    摘要: 本发明公开了一种实时数据统计装置和方法以及计算机可读存储介质,涉及实时数据处理领域。实时数据统计装置包括:一级统计模块,被配置为采用预设的时间粒度对获取的原始数据进行统计,生成包括原始数据中的统计项和统计结果字段的中间统计数据,将中间统计数据写入一级缓存单元中;二级统计模块,被配置为读取多个一级缓存单元中的中间统计数据,将统计项的值相同的中间统计数据写入同一个二级缓存单元中;三级统计模块,被配置为对每个二级缓存单元中的数据进行统计,生成最终统计数据,并将每个二级缓存单元生成的最终统计数据进行持久化存储。本发明通过对数据进行多级处理,实现了数据的均匀多点分布,提高了实时数据统计的效率。

    内容爬取方法与装置以及分布式爬虫系统

    公开(公告)号:CN110633429A

    公开(公告)日:2019-12-31

    申请号:CN201810549416.7

    申请日:2018-05-31

    IPC分类号: G06F16/954

    摘要: 本公开提供一种内容爬取方法与装置。内容爬取方法包括:根据多个待爬取网站的地址创建多个爬取进程;在所述爬取进程的爬取结果是网络地址时,根据所述网络地址的地址种类将所述网络地址写入与所述地址种类对应的多个地址队列之一根据所述地址队列创建与所述地址种类对应的爬取进程,重复上一步,直至所述爬取结果是预设内容。本公开提供的内容爬取方法可以均衡负载压力,降低爬取范围扩展难度。

    一种配置信息的管理方法和装置

    公开(公告)号:CN109981320A

    公开(公告)日:2019-07-05

    申请号:CN201711459666.3

    申请日:2017-12-28

    IPC分类号: H04L12/24 H04L12/18 H04L29/08

    摘要: 本发明公开了一种配置信息的管理方法和装置,涉及计算机技术领域。该方法的一具体实施方式包括:获取更新后的配置信息,根据所述配置信息的键生成配置修改消息;其中,所述配置修改消息包括频道,所述频道为所述配置信息的键;在所述频道内广播所述配置修改消息,以推送所述配置修改消息;接收到访问请求后,输出所述更新后的配置信息。该实施方式在接收到修改后的配置信息后,生成配置修改消息并在频道内广播,以推送所述配置修改消息。通过实时推送的方式,极大地优化了配置消息生效的实时性、减少了无效访问次数。

    内容爬取方法与装置以及分布式爬虫系统

    公开(公告)号:CN110633429B

    公开(公告)日:2024-09-20

    申请号:CN201810549416.7

    申请日:2018-05-31

    IPC分类号: G06F16/954

    摘要: 本公开提供一种内容爬取方法与装置。内容爬取方法包括:根据多个待爬取网站的地址创建多个爬取进程;在所述爬取进程的爬取结果是网络地址时,根据所述网络地址的地址种类将所述网络地址写入与所述地址种类对应的多个地址队列之一根据所述地址队列创建与所述地址种类对应的爬取进程,重复上一步,直至所述爬取结果是预设内容。本公开提供的内容爬取方法可以均衡负载压力,降低爬取范围扩展难度。

    实时数据统计装置和方法以及计算机可读存储介质

    公开(公告)号:CN110471943B

    公开(公告)日:2024-09-20

    申请号:CN201810434471.1

    申请日:2018-05-09

    IPC分类号: G06F16/2458

    摘要: 本发明公开了一种实时数据统计装置和方法以及计算机可读存储介质,涉及实时数据处理领域。实时数据统计装置包括:一级统计模块,被配置为采用预设的时间粒度对获取的原始数据进行统计,生成包括原始数据中的统计项和统计结果字段的中间统计数据,将中间统计数据写入一级缓存单元中;二级统计模块,被配置为读取多个一级缓存单元中的中间统计数据,将统计项的值相同的中间统计数据写入同一个二级缓存单元中;三级统计模块,被配置为对每个二级缓存单元中的数据进行统计,生成最终统计数据,并将每个二级缓存单元生成的最终统计数据进行持久化存储。本发明通过对数据进行多级处理,实现了数据的均匀多点分布,提高了实时数据统计的效率。

    实时计算的方法和系统
    8.
    发明授权

    公开(公告)号:CN109947736B

    公开(公告)日:2021-06-29

    申请号:CN201711052098.5

    申请日:2017-10-30

    IPC分类号: G06F16/21 G06F16/25

    摘要: 本发明提供一种实时计算的方法和系统,能够实时地进行数据计算和分析,从而实时、动态地监控应用程序的健康状况。该方法利用实时计算节点进行实时计算,包括:根据统计维度需求为接收到的待计算数据生成关键字;根据所述关键字从所述实时计算节点的内存缓存中获取对应的计算结果值,结合所述计算结果值为所述待计算数据生成实时计算结果;输出所述实时计算结果,并将所述实时计算结果作为新的计算结果值保存至所述内存缓存中。

    一种分布式数据处理的方法和装置

    公开(公告)号:CN109933421A

    公开(公告)日:2019-06-25

    申请号:CN201711363641.3

    申请日:2017-12-18

    IPC分类号: G06F9/50 H04L29/08

    摘要: 本发明公开了一种分布式数据处理的方法和装置,涉及计算机技术领域。该方法的一具体实施方式包括:获取计算业务,所述计算业务中包括SQL命令;获取SQLite Node的地址信息;从数据库集群的列表中,选出与所述地址信息对应的SQLite Node作为执行机器;在所述执行机器中执行所述SQL命令。该实施方式克服了不支持SQL语法的技术问题,能够更好的支持复杂的计算业务,进而达到缩短了开发周期、降低了成本的有益效果。同时,读写性能高、并发高、支持水平扩展,更适用于实时计算领域;SQLite数据库集群作为一种轻量级分布式架构,避免了成本很高、维护的人力物力高、学习成本高等问题。

    一种配置文件的管理方法及管理系统

    公开(公告)号:CN107506218A

    公开(公告)日:2017-12-22

    申请号:CN201710826986.1

    申请日:2017-09-14

    IPC分类号: G06F9/445

    CPC分类号: G06F9/44505

    摘要: 本发明公开了配置文件的管理方法及管理系统,涉及计算机技术领域。该配置方法的一具体实施方式包括:接收对配置文件的操作请求;解析所述操作请求,执行相应的配置操作,生成与所述配置操作对应的操作结果。通过本发明实施例有效地建立了一套高可用的配置文件管理系统,不仅能够对配置文件进行动态配置,而且通过该配置文件管理系统能够对外提供可靠、稳定、高效的配置文件访问服务。另外,本发明实施例还能够对用户提供交互式、可视化的配置文件管理服务,实现用户对配置文件的增删改查等操作,进而有效降低了服务部署、更新、管理成本。