确定问答系统的嵌入模型参数的方法、装置及计算设备

    公开(公告)号:CN117556033A

    公开(公告)日:2024-02-13

    申请号:CN202410044423.7

    申请日:2024-01-11

    摘要: 本发明公开了一种确定问答系统的嵌入模型参数的方法、装置及计算设备,属于人工智能技术领域。方法包括:生成测试数据集;为嵌入模型构建多个参数组合:获取测试数据集中的任一测试数据项,通过嵌入模型基于参数组合,从向量库中搜索出与测试数据项中的查询信息相似度最高的一个或多个相似文本块;响应于搜索出的一个或多个相似文本块中包含测试数据项中的预期查询结果,确定查询信息对应的预期查询结果命中;确定测试数据集中的多个查询信息对应的预期查询结果的命中率,作为嵌入模型基于参数组合的搜索命中率;根据嵌入模型基于各个参数组合的搜索命中率,确定嵌入模型的最优参数组合。本发明能实现为嵌入模型选择搜索效果最优的参数组合。

    一种作业调度方法、计算设备及存储介质

    公开(公告)号:CN115951988A

    公开(公告)日:2023-04-11

    申请号:CN202310226241.7

    申请日:2023-03-03

    发明人: 毛登峰

    IPC分类号: G06F9/48 G06F9/50

    摘要: 本发明公开了一种作业调度方法、计算设备及存储介质,涉及计算机技术领域,解决已有的作业调度方法效率低的技术问题,方法包括:接收用户提交的作业及作业信息,作业包括多个作业步,作业信息包括作业中全部作业步的数量;根据作业中全部作业步的数量,确定所需CPU核心数量;对多个计算节点中每个计算节点进行负载检测,以确定当前的调度轮次,每个计算节点包括的CPU核心的数量相同;基于调度轮次和所需CPU核心数量,计算可成功投递作业时所需计算节点的数量为目标节点数量,并获取可成功投递作业时可用的计算节点为待投递节点;根据目标节点数量和调度轮次,将作业投递至对应的待投递节点。

    一种作业调度管理方法、调度中心和系统

    公开(公告)号:CN110795241B

    公开(公告)日:2022-07-19

    申请号:CN201910994082.9

    申请日:2019-10-18

    发明人: 毛登峰 杨昆 陈健

    IPC分类号: G06F9/50 H04L67/60 H04L67/10

    摘要: 本发明公开了一种作业调度管理方法,适于在调度中心中执行,所述调度中心分别与客户端和计算集群相连接,所述计算集群具有至少一个计算节点,每个计算节点具有至少一个GPU显卡,该方法包括步骤:接收由客户端发送的作业提交指令,该指令包含所提交作业的计算要求,具体包括计算节点数m和每个计算节点的GPU显卡数n;获取计算集群的当前空闲资源,并在当前空闲资源中选出与该计算要求相匹配的计算资源;以及将所匹配的计算资源分配给该作业,并在运行作业之前,获取并关联存储该作业的作业标识、所分配的作业计算节点标识、以及作业计算节点中用于运行该作业的GPU显卡序号,以便后续查询使用。本发明还一并公开了相应的调度中心和系统。

    一种作业协同处理方法及系统

    公开(公告)号:CN111309491B

    公开(公告)日:2020-11-06

    申请号:CN202010404798.1

    申请日:2020-05-14

    发明人: 谭天 胡敏杰 陈健

    IPC分类号: G06F9/50

    摘要: 本发明公开了一种作业协同处理方法,适于在第一超级计算中心中执行,该超级计算中心包括多个资源节点,该方法包括步骤:获取提交到第一超级计算中心的作业信息;根据作业信息确定不同于第一超级计算中心的至少一个超级计算中心为第二超级计算中心,并获取第二超级计算中心的可用资源信息,其中,第二超级计算中心包括多个资源节点;根据可用资源信息将作业划分为多个子作业;根据子作业信息生成配置信息,使第二超级计算中心根据配置信息分配可用资源,以处理子作业;获取第二超级计算中心对子作业的处理结果,与第一超级计算中心的处理结果进行合并。本发明还公开了相应的作业协同处理系统。

    一种作业提交方法、系统及服务器

    公开(公告)号:CN106844040B

    公开(公告)日:2020-08-28

    申请号:CN201611187399.4

    申请日:2016-12-20

    IPC分类号: G06F9/50 G06F8/30

    摘要: 本发明公开了一种作业提交方法,该方法在服务器中执行,服务器分别与多个超级计算中心和多个客户端相连,其中,多个超级计算中心上布置不同的作业提交单元,用于运行不同作业,该方法包括步骤:接收由客户端发送的作业提交请求,该请求是客户端响应于用户输入参数生成的,该请求包括待提交作业的作业提交单元参数、脚本参数和运行环境参数;根据作业提交单元参数确定适于提交该作业的超级计算中心;以及将请求提交至该超级计算中心,以便超级计算中心解析脚本参数和运行环境参数、并根据解析出的脚本参数和运行环境参数配置超级计算中心上的作业提交单元的脚本和运行环境,以运行该作业。本发明还公开了相应的作业提交系统和服务器。

    一种运维机房的监控系统、方法和搜索引擎

    公开(公告)号:CN106776235B

    公开(公告)日:2019-12-31

    申请号:CN201710067387.6

    申请日:2017-02-06

    IPC分类号: G06F11/30 G06F11/34

    摘要: 本发明公开了一种布置在运维机房监控系统中的搜索引擎,包括:输入/输出接口,适于接收搜索请求,并将操作命令发送给各节点;数据存储设备,适于存储节点状态信息和运维日志记录,每个节点状态信息包括节点标识和状态特征向量,每条运维日志记录包括节点标识、解决方案、第一状态特征向量和第二状态特征向量;搜索模块,适于查找节点的状态特征向量,并根据该状态特征向量生成关于解决方案的列表;检测模块,适于从解决方案列表中依次选取解决方案、执行该解决方案中定义的检测操作;验证模块,适于将检测结果与该解决方案对应的第二状态特征向量进行对比;若对比一致则认为验证通过,若不一致则由检测模块继续进行检测,直到验证通过为止。

    跨节点应用性能监测方法、装置及高性能计算系统

    公开(公告)号:CN109976989A

    公开(公告)日:2019-07-05

    申请号:CN201910245092.2

    申请日:2016-08-18

    IPC分类号: G06F11/34

    摘要: 本发明公开了监测应用执行性能的方法、装置及高性能计算系统。其中,监测应用执行性能的方法包括下述步骤。获取对应执行应用的计算节点的节点列表。基于该节点列表,获取执行应用的每个计算节点对应的进程列表和函数列表。基于所获取的每个进程列表,提取其中与应用关联的进程项。从每个关联的进程项对应的函数列表中,提取与该进程项关联的函数项。根据所提取与应用关联的进程项和与每个提取的进程项关联的函数项,监测应用的执行性能。

    计算资源的调度方法、调度中心及调度系统

    公开(公告)号:CN106790529B

    公开(公告)日:2019-07-02

    申请号:CN201611187442.7

    申请日:2016-12-20

    IPC分类号: H04L29/08 H04L12/26

    摘要: 本发明公开了一种计算资源的调度系统,包括:超级计算中心,适于运行客户端提交的作业;性能计算中心,适于根据作业运行的性能数据计算作业运行性能特征值,生成作业性能表,其中作业性能表适于关联存储作业标识、作业类型、执行作业的超级计算中心标识、执行作业的集群标识、作业计算规模、计算节点信息和作业运行性能特征值,作为一条作业运行性能记录;客户端,适于响应于用户提交作业的请求,发送提交指令给调度中心,提交指令中包含作业类型和计算规模;调度中心,适于根据所提交作业的作业类型从作业性能表中匹配出至少一条记录,将作业提交至至少一条记录包含的计算节点上。本发明还一并公开了相应的调度中心和调度方法。

    一种超算资源的云调度方法、云调度中心和系统

    公开(公告)号:CN109951558A

    公开(公告)日:2019-06-28

    申请号:CN201910238089.8

    申请日:2019-03-27

    发明人: 吴广辉 杨昆

    IPC分类号: H04L29/08 G06F9/50

    摘要: 本发明公开了一种超算资源的云调度方法,适于在云调度中心中执行,该云调度中心与客户端、超级计算中心和其它云调度中心相相连接,超级计算中心包括至少一个计算节点和一个资源计算节点,该方法包括:接收来自客户端的作业提交指令,该指令包含所提交作业的属性信息和要执行所述作业的性能指标;根据所述性能指标检索出至少一个超级计算中心;从所检索到的各超级计算中心的资源计算节点处获取该超级计算中心的资源使用信息;结合作业的属性信息和所获取的资源使用信息,从所检索到的超级计算中心中匹配出至少一个用于执行该作业的超级计算中心;以及将作业提交至所匹配的超级计算中心。本发明还公开了相应的云调度中心和系统。

    监测应用执行性能的方法、装置及高性能计算系统

    公开(公告)号:CN106354616B

    公开(公告)日:2019-05-03

    申请号:CN201610685041.8

    申请日:2016-08-18

    IPC分类号: G06F11/34

    摘要: 本发明公开了监测应用执行性能的方法、装置及高性能计算系统。其中,监测应用执行性能的方法包括下述步骤。获取对应执行应用的计算节点的节点列表。基于该节点列表,获取执行应用的每个计算节点对应的进程列表和函数列表。基于所获取的每个进程列表,提取其中与应用关联的进程项。从每个关联的进程项对应的函数列表中,提取与该进程项关联的函数项。根据所提取与应用关联的进程项和与每个提取的进程项关联的函数项,监测应用的执行性能。