-
公开(公告)号：CN118519766A
公开(公告)日：2024-08-20
申请号：CN202410597016.9
申请日：2024-05-14
IPC分类号： G06F9/50
摘要： 本公开提出一种面向国产异构算力集群的作业调度方法及系统，方法包括：在一个调度周期中，根据待调度作业的资源量、算力类型请求，及节点的算力类型标签，从异构算力集群中筛选出候选节点；考虑异构算力资源的性能差异，基于加权轮询计算候选节点权重，将权重最高的候选节点作为第一目标节点；根据异构算力集群及候选节点中各类资源占比对候选节点的资源使用空间进行评分，将评分最高的候选节点作为第二目标节点；随机选择最终目标节点，将待调度作业调度到最终目标节点。本公开通过在节点预选阶段添加初次筛选提升节点预选效率，在节点优选阶段，考虑异构算力资源性能差异和集群的整体性，克服了负载不均衡、异构算力不兼容的问题。
-
公开(公告)号：CN118211268A
公开(公告)日：2024-06-18
申请号：CN202410428512.1
申请日：2024-04-10
IPC分类号： G06F21/62 , G06V10/30 , G06V10/774 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/098
摘要： 本公开提供了基于扩散模型的异构联邦学习隐私保护方法及系统，涉及联邦学习隐私保护技术领域，包括建立服务器端与客户端的通信通道；获取客户端类别分布不均匀的数据上传至服务端，将所述类别分布不均匀的数据作为去噪扩散模型的输入，在服务器端生成符合数据分布的图像；利用生成的图像数据进行异构联邦学习的训练，服务器端初始化全局模型参数，并分发给随机选择的客户端，利用知识蒸馏方法，将全局模型看作教师网络，把上一轮的本地模型看作学生网络，进行本地模型的训练和参数上传，服务端利用各个客户端的上传的本地模型参数进行全局模型聚合，完成知识迁移。
-
公开(公告)号：CN117151173A
公开(公告)日：2023-12-01
申请号：CN202311119652.2
申请日：2023-08-31
IPC分类号： G06N3/0495 , G06N3/082 , G06N3/084 , G06N3/045 , G06N3/096 , G06N3/0985 , G06F18/214 , G06F18/21 , G06F40/289 , G06F16/35
摘要： 本发明公开了一种基于元学习的模型压缩方法，包括：获取情感分类数据集并进行数据预处理；将预处理后的数据样本输入至模型压缩模块中，对预训练语言模型压缩，在推理阶段实现情感分类结果的输出，所述模型压缩模块包含微调、剪枝、元学习蒸馏等操作。所述微调阶段，基于数据集训练预训练语言模型得到第一教师模型；剪枝阶段，利用缩放系数剪枝第一教师模型，得到第一学生模型；基于数据集和蒸馏训练方法训练得到第二学生模型，并将第二模型部署于终端，实现情感分类预测。本发明采用模型压缩方法应用于大模型情感分类预测，保证情感分类结果精度的情况下，降低了模型参数量，更利于部署应用。
-
公开(公告)号：CN117633527A
公开(公告)日：2024-03-01
申请号：CN202311549421.5
申请日：2023-11-17
IPC分类号： G06F18/214 , G06N3/126
摘要： 本发明提出了一种面向异构环境的大模型混合并行训练方法及系统，基于异构环境中不同数据中心的算力情况，以及不同数据中心之间的网络延迟情况，以待训练模型的每个训练阶段中数据中心的算力均衡性和每个训练阶段中数据中心所包含节点的计算任务传输的对等性为目标，利用遗传算法进行迭代优化，得到每个训练阶段所对应的数据中心，以及每个训练阶段内不同节点的计算任务，对待训练模型进行训练，从而将资源平衡和跨域带来的计算成本降低，提升大模型训练效率。
-
公开(公告)号：CN117195001A
公开(公告)日：2023-12-08
申请号：CN202311206504.4
申请日：2023-09-18
IPC分类号： G06F18/22 , G06F18/25 , G06F18/2413 , G06F18/241 , G06F18/21
摘要： 本发明涉及高性能计算领域，提供了一种基于功耗曲线和脚本信息的HPC作业功耗预测方法及系统。该方法包括基于历史作业功耗曲线数据，得到第一相似度值；基于历史作业脚本信息数据，得到第二相似度值；依据需求，为第一相似度值和第二相似度值分配权重，计算加权求和，得到综合相似度值，以此构建相似度邻接矩阵；以最大化模块度指标为原则，按照相似度邻接矩阵，将HPC作业划分成不同的类别；基于划分后不同类别中历史数据，分别训练不同的神经网络模型，得到已训练的神经网络模型；匹配与目标HPC作业相似的历史作业类别，采用该历史作业类别的神经网络模型对目标HPC作业的脚本信息数据进行预测，得到预测结果。
-
公开(公告)号：CN118381708A
公开(公告)日：2024-07-23
申请号：CN202410428516.X
申请日：2024-04-10
IPC分类号： H04L41/042 , H04L41/0895 , H04L41/40 , H04L41/16
摘要： 本发明提出了一种跨域异构存储集群的管理调度方法及系统，以总存储成本最小、总吞吐量最大以及待存储数据集与即将存储的存储系统的位置最近为优化目标，采用非支配排序的遗传算法进行约束条件求解，进行最优存储位置的选择，不仅提高了数据访问性能，减少延迟，并降低了对网络带宽和存储资源的不必要消耗。
-
公开(公告)号：CN118297849A
公开(公告)日：2024-07-05
申请号：CN202410343675.X
申请日：2024-03-25
摘要： 本发明公开的一种多特征融合的水下图像增强方法及系统，包括：获取无标签水下图像；通过无标签水下图像对水下图像增强模型进行训练，训练过程中，水下图像增强模型从无标签水下图像中提取亮度特征、语义特征、梯度特征、全局特征和局部特征，将亮度特征、语义特征、梯度特征、全局特征和局部特征合并，获得水下图像增强结果，训练完成，获得训练好的水下图像增强模型；利用训练好的水下图像增强模型对待增强的水下图像进行增强。实现了对水下图像的有效增强。
-
公开(公告)号：CN118245457A
公开(公告)日：2024-06-25
申请号：CN202410441447.6
申请日：2024-04-12
IPC分类号： G06F16/174 , G06F40/194 , G06F40/205 , G06F16/182 , G06N5/04 , G06F16/958
摘要： 本公开提供了基于句群的海量网页并行去重处理方法及系统，涉及网页去重技术领域，获取输入原始文件中的所有网页数据，并提取高评分网页数据；将每个高评分网页数据保存为Json对象，对Json对象的正文内容进行句子组合，对每个句子组合创建HashSig对象，将所有HashSig对象构成签名文件；针对所有签名文件，采用先局部后整体的方式进行重复性检查，将重复的Json对象索引和句子索引保存到重复文件中；利用生成的重复文件查找重复的句子，删除重复项；其中，对原始文件、签名文件以及重复文件的处理为多个处理节点上对同一块磁盘进行并发访问，实现数据的并行处理。
-
公开(公告)号：CN118037599A
公开(公告)日：2024-05-14
申请号：CN202410343235.4
申请日：2024-03-25
摘要： 本发明公开的一种真实水下图像复原方法及系统，包括：获取场景透射图、空气环境中场景图像及水下环境图像；根据场景透射图和空气环境中场景图像，获得场景的雾霾特征和光衰减特征；通过训练后水下图像生成模型对场景的光衰减特征、雾霾特征和水下环境图像进行处理，获得水下场景图像；利用水下场景图像对水下图像复原模型进行训练，训练完成，获得训练好的水下图像复原模型；通过训练好的水下图像复原模型对真实水下图像进行处理，获得修复后水下图像。实现了对水下图像的有效复原。
-
公开(公告)号：CN114385126B
公开(公告)日：2022-06-21
申请号：CN202210291793.1
申请日：2022-03-24
申请人： 山东省计算中心(国家超级计算济南中心)
摘要： 本发明属于资源调度技术领域，提供了一种基于K8s的多租户深度学习模型研发系统及方法，基于Docker、K8s等主流技术，针对不同租户的深度学习模型研发需求，通过微服务总线、微服务控制器和资源服务组件等统一数据、接口、资源标准，建立基于K8s的隔离空间，实现数据存储、模型设计、模型训练、模型评估、模型发布的自动化容器集群环境搭建和参数配置，支持资源管理、用户管理、权限管理、项目管理、数据管理、模型管理等操作，帮助用户快速高效地进行深度学习模型研发，解决了资源监控、自定义模型构建等方面不完善的问题，极大地提高AI应用开发的效率和资源利用率，满足多种业务场景的需求。
-
-
-
-
-
-
-
-
-
搜索结果
22 条记录 (耗时 0.124 秒)
