在智能对话开发平台上发布、调用API的方法和系统

    公开(公告)号:CN108415710B

    公开(公告)日:2019-07-16

    申请号:CN201810209297.0

    申请日:2018-03-14

    发明人: 李波 吴飞

    摘要: 本发明公开在智能对话开发平台上发布API的方法及装置,其中,方法包括:响应于开发者在智能对话开发平台的API发布界面上的输入操作,获取待发布API的基本信息、输入参数和返回参数;在API发布界面上,基于预定的serverless模板引导开发者编写待发布API的功能代码;测试待发布API能否正常使用;响应于使用正常,生成第二响应地址以作为待发布API的发布地址,将待发布API部署为serverless服务并将待发布API及对应的第二响应地址发布至智能对话开发平台的API网关。本发明的方案可以屏蔽复杂的授权算法、不暴露授权key等加密数据,以API网关统一的授权key对外部开放。

    用于spark streaming的资源动态分配方法和系统

    公开(公告)号:CN109684078A

    公开(公告)日:2019-04-26

    申请号:CN201811482798.2

    申请日:2018-12-05

    IPC分类号: G06F9/50 G06F9/455

    摘要: 本发明公开用于spark streaming的资源动态分配方法和系统,方法包括:响应于首次接收的spark streaming任务数据流,获取spark streaming任务数据流的第一数据;基于第一数据计算处理spark streaming任务数据流需要使用的初始资源,并向资源管理器发送初始资源使用申请;周期性地采集当前运行进程运行时的第二数据,基于第二数据计算需要增加或减少的运行进程的第二数量;基于运行进程的第二数量向资源管理器发送动态资源分配申请以动态增加或减少第二数量的运行进程。本申请实施例提供的方案可以本申请的方案能够实现资源的动态扩缩容,减少人工进行干预,实现资源的动态精准分配和调整。

    数据检索方法及装置
    3.
    发明公开

    公开(公告)号:CN109558444A

    公开(公告)日:2019-04-02

    申请号:CN201811446949.9

    申请日:2018-11-29

    发明人: 黄彬 吴飞

    IPC分类号: G06F16/25

    摘要: 本发明公开一种数据检索方法及装置,其中,所述方法包括:S10、根据接收到的数据检索请求确定用于从数据源中进行数据检索的多个检索任务,所述多个检索任务对应于至少一种搜索引擎;S20、接收所述至少一种搜索引擎执行所述多个检索任务得到的多个检索结果;S30、推送所述多个检索结果。基于本发明的实施例为用户提供了统一的数据检索接口,提供了更加友好的用户交互界面,提升了用户体验。此外,由于本发明实时例的方法能够单一访问接口实现对不同搜索引擎的调用以访问不同存储类型的数据源,所以使得用户能够同时兼顾检索效率和数据存储成本两个因素来存储数据,从而满足了用户对高效检索数据和长期存储数据的需求。

    用于任务调度系统的日志阻塞解决方法及系统

    公开(公告)号:CN109376015A

    公开(公告)日:2019-02-22

    申请号:CN201811239421.4

    申请日:2018-10-23

    IPC分类号: G06F9/50

    摘要: 本发明公开一种用于任务调度系统的日志阻塞解决方法,包括:从任务调度系统的元数据中获取执行任务信息;根据所述执行任务信息确定需要启动以执行的任务;基于所述需要启动以执行的任务生成消息队列;启动多个子进程从所述消息队列中的拉取消息以执行相应任务,并进行日志处理及输出。本发明实施例中多进程的配合使用可以均摊单节点的日志压力,同时单节点的日志量可以避开节点的pipe瓶颈,从而有效解决了现有技术中所存在的日志堵塞问题。

    用于spark streaming的资源动态分配和反馈方法及装置

    公开(公告)号:CN109684077A

    公开(公告)日:2019-04-26

    申请号:CN201811482797.8

    申请日:2018-12-05

    IPC分类号: G06F9/50

    CPC分类号: G06F9/5027 G06F9/5083

    摘要: 本发明公开用于spark streaming的资源动态分配和反馈方法及装置,方法包括:响应于首次接收的spark streaming任务数据流,计算处理spark streaming任务数据流需要使用的初始资源并向资源管理器发送初始资源使用申请,其中,初始资源对应多台处理设备;基于接收的与初始资源对应的多台处理设备反馈的运行时指标数据,计算多台处理设备的负载情况;至少基于多台处理设备的负载情况,周期性地计算与spark streaming任务数据流对应的动态分配资源并向资源管理器发送动态资源分配申请。本申请的方案能够实现资源的动态扩缩容,减少人工进行干预,实现资源的动态精准分配和调整。

    数据检索方法及装置
    6.
    发明授权

    公开(公告)号:CN109558444B

    公开(公告)日:2020-08-25

    申请号:CN201811446949.9

    申请日:2018-11-29

    发明人: 黄彬 吴飞

    IPC分类号: G06F16/25

    摘要: 本发明公开一种数据检索方法及装置,其中,所述方法包括:S10、根据接收到的数据检索请求确定用于从数据源中进行数据检索的多个检索任务,所述多个检索任务对应于至少一种搜索引擎;S20、接收所述至少一种搜索引擎执行所述多个检索任务得到的多个检索结果;S30、推送所述多个检索结果。基于本发明的实施例为用户提供了统一的数据检索接口,提供了更加友好的用户交互界面,提升了用户体验。此外,由于本发明实时例的方法能够单一访问接口实现对不同搜索引擎的调用以访问不同存储类型的数据源,所以使得用户能够同时兼顾检索效率和数据存储成本两个因素来存储数据,从而满足了用户对高效检索数据和长期存储数据的需求。