一种大模型服务的GPU资源调度方法及系统

    公开(公告)号:CN118796473A

    公开(公告)日:2024-10-18

    申请号:CN202410962916.9

    申请日:2024-07-18

    IPC分类号: G06F9/50

    摘要: 本发明涉及计算机技术领域,具体为一种大模型服务的GPU资源调度方法及系统,包括以下步骤:GPU资源状态转换;GPU资源锁定;GPU资源解锁;GPU资源释放;有益效果为:本发明提出的大模型服务的GPU资源调度方法及系统,通过结合Redis的SET、DEL命令和过期时间设置,实现了一个高效、可靠的GPU资源锁定机制。SET命令确保了资源锁定的原子性,避免了并发冲突;而过期时间的设置则有效防止了因服务异常导致的死锁问题,提高了系统的健壮性和可用性。

    一种交通行业的大模型问答方法、装置、设备及存储介质

    公开(公告)号:CN118585632A

    公开(公告)日:2024-09-03

    申请号:CN202411067085.5

    申请日:2024-08-06

    摘要: 本申请公开了一种交通行业的大模型问答方法、装置、设备及存储介质,涉及人工智能与信息安全的交叉领域,包括:基于预先构建好的安全知识库对待处理的交通相关问题进行检索;当得到的检索结果表明知识库中不存在与交通相关问题对应的答复信息时,基于预设问题安全拦截策略判断当前是否触发问题拦截操作;当得到的第一判断结果表明不触发时,基于预设prompt对交通相关问题进行问题增强;基于预先完成微调的目标交通大模型对得到的增强后问题进行处理,以得到目标答复信息;根据预设回答安全拦截策略判断当前是否触发与目标答复信息对应的答复拦截操作,以基于得到的第二判断结果完成问答操作。能够有效提高问答的安全性及准确性。

    一种云平台的大模型配置管理方法及系统

    公开(公告)号:CN118819618A

    公开(公告)日:2024-10-22

    申请号:CN202410962919.2

    申请日:2024-07-18

    摘要: 本发明涉及大数据处理技术领域,具体为一种云平台的大模型配置管理方法及系统,包括以下方法:配置编写;大模型配置下发;大模型配置脚本生成及执行;采集监控信息及告警;有益效果为:本发明提出的云平台的大模型配置管理方法及系统,利用云平台资源编排管理技术自定义资源实现大模型配置的灵活加载。通过节点标签,提供统一的配置下发方法,并根据资源监控数据实时反馈给用户,方便灵活的根据监控数据指导制定配置文件。同时,在大模型发生异常时及时,通过告警及时通知运维人员。

    一种基于Etcd分布式锁的多节点Kubernetes集群自签根证书高效生成及同步方法以系统

    公开(公告)号:CN118784322A

    公开(公告)日:2024-10-15

    申请号:CN202410962925.8

    申请日:2024-07-18

    摘要: 本发明涉及云原生技术领域,具体为一种基于Etcd分布式锁的多节点Kubernetes集群自签根证书高效生成及同步方法以系统,包括以下步骤:Etcd服务,证书同步组件服务,证书生成及同步,根据配置生成证书内容并加密存储到Etcd数据库,并监听Etcd数据库变化,同步更新证书数据并解密存储到本地;有益效果为:通过引入Etcd分布式锁技术,实现了多节点并发自签根证书的生成及同步。多个节点可以同时进行证书的生成工作,并通过Etcd数据库实时共享和同步生成的证书信息。这种并行化的处理方式极大地缩短了集群部署的等待时间,显著提高了部署效率。

    一种实时聊天方法、装置、设备及存储介质

    公开(公告)号:CN118101615A

    公开(公告)日:2024-05-28

    申请号:CN202410524764.4

    申请日:2024-04-29

    摘要: 本申请公开了一种实时聊天方法、装置、设备及存储介质,涉及数据处理技术领域,应用于客户端,包括:监测客户端与服务器之间的通信连接的状态信息,并判断是否符合预设正常通信条件;客户端与服务器之间基于SSE技术建立通信连接;若符合,则加载聊天页面,并实时获取聊天页面中的聊天消息,并发送至服务器,以便服务器利用预设语言模型对聊天消息进行响应得到处理结果;接收该处理结果以解析得到文本消息,并通过聊天页面显示文本消息,完成本次实时聊天过程;若不符合,则重新建立通信连接,并跳转至监测客户端与服务器之间的通信连接的状态信息的步骤。这样一来,本申请基于SSE技术和机器学习模型可以实时交互消息,降低了开发难度。

    一种数据采集方法、装置、设备及存储介质

    公开(公告)号:CN118861397A

    公开(公告)日:2024-10-29

    申请号:CN202411099176.7

    申请日:2024-08-12

    IPC分类号: G06F16/951

    摘要: 本申请公开了一种数据采集方法、装置、设备及存储介质,涉及数据挖掘技术领域,应用于包含若干数据采集单元的控制节点,包括:将若干数据采集单元分配至若干网站服务器,以便若干数据采集单元从相应网站服务器采集实时数据;获取若干数据采集单元采集到的实时数据,并将实时数据保存至本地数据库,以便基于实时数据更新本地数据库的状态信息;根据预设数据上传周期和状态信息生成针对本地数据库中数据的数据上传任务,并基于预设任务执行策略执行数据上传任务,以完成相应的数据采集过程。这样一来,本申请可以通过不同网站服务器上的数据采集单元采集实时数据,并更新本地数据库的状态信息,以便及时上传数据;能够提高数据采集效率和时效性。

    基于大模型的智能合约生成系统、方法、设备及存储介质

    公开(公告)号:CN118504542A

    公开(公告)日:2024-08-16

    申请号:CN202410793222.7

    申请日:2024-06-19

    发明人: 李林 陈尧 薛娇

    摘要: 本申请公开了基于大模型的智能合约生成系统、方法、设备及存储介质,涉及区块链技术领域,包括:需求输入模块,用于获取用户端发送的用户目标需求;自然语言处理模块,用于从用户目标需求提取结构化数据以生成合约填充内容;大模型合约生成模块,用于将合约填充内容输入至目标智能合约生成模型以得到初始智能合约代码;合约审核模块,用于基于预设验证分析工具判断初始智能合约代码是否满足预设可执行标准;用户交互模块,用于若满足则将初始智能合约代码向用户端进行展示并获取用户端发送的反馈信息,然后对初始智能合约代码进行更新以得到目标智能合约;合约部署模块,用于将目标智能合约部署至目标区块链上。这样一来,可以自动生成智能合约。

    基于混合专家大模型的医疗行业智能问答方法和系统

    公开(公告)号:CN118919059A

    公开(公告)日:2024-11-08

    申请号:CN202411091691.0

    申请日:2024-08-09

    摘要: 本申请公开一种基于混合专家大模型的医疗行业智能问答方法和系统,方法包括,获得待处理的医疗问题信息;通过混合专家大模型分析医疗问题信息与多个细分领域的信息库的匹配情况,医疗问题信息与医疗知识图谱的匹配情况,以确定与医疗问题信息相关联的目标细分领域;调用每一目标细分领域对应的细分领域处理模型处理医疗问题信息,得到医疗问题信息在每一目标细分领域上对应的细分领域答案,细分领域处理模型根据对应细分领域的信息库构建;根据混合专家大模型整合细分领域答案,得到医疗问题信息的医疗答案信息。