基于大模型技术的模型服务提供方法、平台及电子设备

    公开(公告)号:CN118228827A

    公开(公告)日:2024-06-21

    申请号:CN202410324021.2

    申请日:2024-03-20

    IPC分类号: G06N5/04

    摘要: 本公开提供了一种基于大模型技术的模型服务提供方法、平台及电子设备,涉及计算机技术领域,尤其涉及大模型技术领域。具体实现方案为:创建待部署的第一服务模型的第一模型实例;为第一模型实例分配推理服务;调用第一模型实例所分配的推理服务的加载接口,为所分配推理服务中封装的基座模型挂载第一服务模型的权重文件;响应于针对目标服务模型的用户请求,从目标服务模型的模型实例中,确定用于响应用户请求的目标模型实例;调用目标模型实例被分配的目标推理服务,以使用所配置计算资源,在目标模型实例中运行挂载目标权重文件后的基座模型,获得用户请求的请求结果。应用本公开实施例提供的模型服务提供方案能够有效利用计算资源。

    工作流生成方法、装置、电子设备及存储介质

    公开(公告)号:CN114445047B

    公开(公告)日:2024-05-10

    申请号:CN202210113007.9

    申请日:2022-01-29

    IPC分类号: G06Q10/10

    摘要: 本公开提供了一种工作流生成方法、装置、电子设备及存储介质,涉及计算机技术领域,尤其涉及人工智能技术开发领域。具体实现方案为:接收工作流生成请求,其中,工作流生成请求中携带有工作流的描述信息,并根据描述信息,确定工作流节点,再处理工作流节点,并基于处理结果获取工作流元信息,以及根据工作流元信息,生成目标工作流,由于是根据工作流的描述信息确定了工作流节点,并对该工作流节点进行整合处理,以生成目标工作流,使得目标工作流能够有效地适配工作流的描述信息,支持对工作流节点的个性化描述和调整,能够有效地满足不同用户的工作流定制需求,有效地提升工作流生成方法的灵活性和适用性。

    文案生成方法、装置、电子设备以及存储介质

    公开(公告)号:CN117313670A

    公开(公告)日:2023-12-29

    申请号:CN202311266206.4

    申请日:2023-09-27

    发明人: 施恩

    摘要: 本公开提供了文案生成方法、装置、电子设备以及存储介质,涉及人工智能技术领域,尤其涉及深度学习领域、自然语言处理技术领域,可应用于大语言模型和生成式对话场景。具体实现方案为:响应于接收到输入的文案需求信息,根据与文案需求信息相关的文案生成操作,更新文案需求信息中的文案提示信息,得到第一目标文案需求信息,其中,第一目标文案需求信息包括与文案需求信息的语义属性相关的目标文案提示信息;以及基于预训练后的深度学习模型处理第一目标文案需求信息,生成与文案需求信息相对应的第一反馈文案。

    大模型插件调用方法、装置、设备及介质

    公开(公告)号:CN117112064A

    公开(公告)日:2023-11-24

    申请号:CN202311109373.8

    申请日:2023-08-30

    IPC分类号: G06F9/445 G06F9/448 G06F40/30

    摘要: 本公开提供了一种大模型插件调用方法、装置、设备及介质,涉及大模型领域,具体涉及人工智能、大语言模型和人机交互领域。具体实现方案为:获取自然语言内容;对所述自然语言内容进行语义理解,检测所述自然语言内容是否命中插件,得到插件命中结果指向的第一插件;将所述第一插件与当前的会话理解任务对应的第二插件进行比较,确定待执行的会话理解任务,以及所述待执行的会话理解任务对应的第三插件;获取所述待执行的会话理解任务的语言理解内容,并发送至大语言模型中,得到所述第三插件的输入参数;根据所述第三插件的输入参数调用所述第三插件,得到所述待执行的会话理解任务的调用结果。本公开实施例可以提高语言理解任务的执行效率。

    数据处理方法、装置、设备和存储介质

    公开(公告)号:CN116560759A

    公开(公告)日:2023-08-08

    申请号:CN202310454681.8

    申请日:2023-04-25

    IPC分类号: G06F9/448 G06V10/94

    摘要: 本公开提供了一种数据处理方法、装置、设备和存储介质,涉及人工智能技术领域,具体涉及视频处理、服务编排等技术领域。数据处理方法包括:获取数据序列的处理流程图,所述处理流程图包括流程节点;针对所述数据序列中的当前序列单元,启动所述当前序列单元对应的当前执行器;在所述流程节点中确定所述当前执行器待执行的当前节点;若前一执行器的第一执行进度快于所述当前执行器的第二执行进度,采用所述当前执行器,基于所述当前节点对所述当前序列单元进行处理;其中,所述前一执行器是所述当前序列单元的前一序列单元对应的执行器。本公开可以实现针对数据序列的准确处理。

    配置方法、装置、系统、电子设备以及存储介质

    公开(公告)号:CN111783952B

    公开(公告)日:2023-07-14

    申请号:CN202010613892.8

    申请日:2020-06-30

    摘要: 本申请实施例公开了配置方法、装置、系统、电子设备和存储介质,涉及人工智能、深度学习技术领域。具体实现方案为:获取目标模型和目标模型的目标模型配置信息,其中,目标模型配置信息包括硬件列表;根据硬件列表中的多个硬件,对目标模型的进行多条计算路径搜索;其中,计算路径包括基于目标模型拆分的多个计算任务以及运行各个计算任务的硬件;根据多条计算路径的计算速度,确定目标模型的目标计算路径,以基于目标计算路径得到目标优化模型。本申请实施例大幅降低用户部署模型的时间成本和使用门槛。

    音频场景分类模型生成方法、装置、设备以及存储介质

    公开(公告)号:CN111653290B

    公开(公告)日:2023-05-02

    申请号:CN202010479961.0

    申请日:2020-05-29

    摘要: 本申请公开了音频场景分类模型生成方法、装置、设备以及存储介质,涉及深度学习技术领域。方法包括:基于多个音频样本生成多个频谱图集合;基于多个频谱图集合,生成多个样本数据集;基于多个样本数据集,对待训练的音频场景分类模型进行训练,得到训练后的音频场景分类模型;其中,基于多个频谱图集合中的第一频谱图集合,生成第一样本数据集的过程包括:对第一频谱图集合中的每两个相邻的频谱图进行拼接处理,得到多个新的频谱图;将得到的多个新的频谱图加入第一频谱图集合中,并将第一频谱图集合和第一音频场景标签作为第一样本数据集,第一音频场景标签为生成第一频谱图集合的音频样本对应的音频场景标签。本申请提高音频场景预测的准确率。

    资源管理方法、装置、设备和存储介质

    公开(公告)号:CN115061947B

    公开(公告)日:2023-04-07

    申请号:CN202210647892.9

    申请日:2022-06-08

    IPC分类号: G06F12/06 G06F12/0877

    摘要: 本公开提供了一种资源管理方法、装置、设备和存储介质,涉及数据存储技术领域,尤其涉及云存储技术领域。具体实现方案为:在接收到资源处理请求的情况下,获取候选缓存资源的当前状态信息,其中,资源处理请求用于指示期望状态;在当前状态信息与期望状态不一致的情况下,根据候选缓存资源的当前状态信息,对候选缓存资源进行处理;根据处理结果,更新候选缓存资源的当前状态信息。根据本公开的技术,提供了一种对候选缓存资源的自动化管理机制。