-
公开(公告)号：CN116643860A
公开(公告)日：2023-08-25
申请号：CN202310462061.9
申请日：2023-04-26
摘要： 本发明公开针对气象机器学习算法运行的优先级调度方法、系统、设备及其计算机程序产品，其中方法包括：根据用户业务特性，将用户配置到相应优先级群组中；当计算任务所需的资源规格大于当前集群的空闲资源时，根据用户所在优先级群组，生成优先级队列；根据优先级队列以及外部沟通情况对资源进行调度和回收；系统包括：优先级信息配置模块，优先级队列生成模块，调度模块和操作模块；电子设备包括存储器、处理器和计算机程序；处理器执行计算机程序时实现上述优先级调度方法；计算机程序产品，被处理器执行时实现上述优先级调度方法的步骤。本发明主要针对气象机器学习训练场景，能够兼顾资源充足时的按需调度以及资源不足时的优先级调度。
-
公开(公告)号：CN115484276A
公开(公告)日：2022-12-16
申请号：CN202211016098.0
申请日：2022-08-24
IPC分类号： H04L67/1097 , H04L67/568 , H04L9/40 , H04L67/133
摘要： 本发明公开了一种基于虚拟数据湖的气象数据文件目录服务生成方法及系统，其中方法包括以下步骤：S1、对虚拟数据湖的节点位置进行布设；S2、管理员对异构文件系统相关信息进行配置；S3、管理员通过虚拟数据湖服务端创建对外虚拟服务目录，将多套异构文件系统中的数据聚合形成统一服务虚拟目录视图，实现数据虚拟入湖；S4、在虚拟数据湖服务端创建用户及用户所属分组，并对所属分组进行授权，授权完成后，用户获得该分组对目录的读写权限；S5、用户挂载文件目录访问客户端，用户可将虚拟数据湖服务端的虚拟文件系统中有权限目录直接作为本地存储进行读写使用。本发明能够解决目前一台存储设备已无法满足容量的需求的技术问题。
-
公开(公告)号：CN116010525B
公开(公告)日：2023-10-13
申请号：CN202310051735.6
申请日：2023-02-02
摘要： 本发明公开一种气象模式数据解码处理方法，包括如下步骤：采用多线程方式，读取模式数据源文件；将所述模式数据源文件拆分成模式单场文件；将拆分的所述模式单场文件进行解析，解析完成后得到模式数据属性和模式数据内容；根据气象服务需求，将解析得到的所述模式数据属性和所述模式数据内容，重新存储入分布式表格数据库，和/或重组生成模式产品文件后入分布式文件库+索引表；待数据处理和入库完成后，将入库数据的DI信息发送至“天镜”监控系统。本发明能处理和接入几乎所有现有业务中的GRIB格式的模式数据，以支撑不同的模式数据服务需求。本发明采用java语言开发，可扩展性强，平台移植性高，能同时在不同平台运行。
-
公开(公告)号：CN116010525A
公开(公告)日：2023-04-25
申请号：CN202310051735.6
申请日：2023-02-02
摘要： 本发明公开一种气象模式数据解码处理方法，包括如下步骤：采用多线程方式，读取模式数据源文件；将所述模式数据源文件拆分成模式单场文件；将拆分的所述模式单场文件进行解析，解析完成后得到模式数据属性和模式数据内容；根据气象服务需求，将解析得到的所述模式数据属性和所述模式数据内容，重新存储入分布式表格数据库，和/或重组生成模式产品文件后入分布式文件库+索引表；待数据处理和入库完成后，将入库数据的DI信息发送至“天镜”监控系统。本发明能处理和接入几乎所有现有业务中的GRIB格式的模式数据，以支撑不同的模式数据服务需求。本发明采用java语言开发，可扩展性强，平台移植性高，能同时在不同平台运行。
-
-
-
搜索结果
4 条记录 (耗时 0.051 秒)
