-
公开(公告)号：CN115809149B
公开(公告)日：2023-04-28
申请号：CN202310083078.3
申请日：2023-02-08
申请人： 北京邮电大学 , 四方联盟(北京)科技发展有限公司 , 姚钦锋
摘要： 本发明提出一种利用云原生资源的数据湖构建方法，包括，构建数据源及数据源表、数据湖数据目录；配置入湖任务，根据数据源表以及数据湖数据目录生成入湖任务参数，将入湖任务以及入湖任务参数提交至服务应用中心；通过服务应用中心将所述入湖任务以及入湖任务参数转发至任务调度中心入湖队列，在计算资源状态处于空闲时，将入湖任务以及入湖任务参数转发至资源调度中心；通过资源调度中心解析入湖任务参数，获取数据源及数据源表，对数据源及数据源表做映射获取数据源元数据信息和中间表元数据信息，生成抽象语法树，并基于抽象语法树生成任务计划，根据任务计划调度计算资源在对应数据湖数据目录执行数据写入任务，完成数据湖的构建。
-
公开(公告)号：CN115809149A
公开(公告)日：2023-03-17
申请号：CN202310083078.3
申请日：2023-02-08
申请人： 北京邮电大学 , 四方联盟(北京)科技发展有限公司 , 姚钦锋
摘要： 本发明提出一种利用云原生资源的数据湖构建方法，包括，构建数据源及数据源表、数据湖数据目录；配置入湖任务，根据数据源表以及数据湖数据目录生成入湖任务参数，将入湖任务以及入湖任务参数提交至服务应用中心；通过服务应用中心将所述入湖任务以及入湖任务参数转发至任务调度中心入湖队列，在计算资源状态处于空闲时，将入湖任务以及入湖任务参数转发至资源调度中心；通过资源调度中心解析入湖任务参数，获取数据源及数据源表，对数据源及数据源表做映射获取数据源元数据信息和中间表元数据信息，生成抽象语法树，并基于抽象语法树生成任务计划，根据任务计划调度计算资源在对应数据湖数据目录执行数据写入任务，完成数据湖的构建。
-
公开(公告)号：CN115827008B
公开(公告)日：2023-05-12
申请号：CN202310108301.5
申请日：2023-02-14
申请人： 北京邮电大学 , 四方联盟(北京)科技发展有限公司 , 联洋国融(北京)科技有限公司 , 施力
摘要： 本发明提出一种基于云原生平台Kubernetes的云原生大数据组件管理系统，其特征在于，包括：镜像管理模块，用于从公共镜像仓库中拉取所需的大数据组件镜像以及将构建好的镜像存入私有镜像仓库；容器部署模块，用于根据用户配置生成临时镜像和自动化部署脚本，通过所述临时镜像和所述自动化部署脚本完成大数据组件的容器化部署；集群监控模块，用于管理Kubernetes集群中的资源以及对已部署的容器化大数据组件进行状态监控；网络管理模块，用于对使用Service资源实现Kubernetes集群内组件的网络配置管理以及使用Ingress资源实现服务的对外暴露。
-
公开(公告)号：CN115827008A
公开(公告)日：2023-03-21
申请号：CN202310108301.5
申请日：2023-02-14
申请人： 北京邮电大学 , 四方联盟(北京)科技发展有限公司 , 联洋国融(北京)科技有限公司 , 施力
摘要： 本发明提出一种基于云原生平台Kubernetes的云原生大数据组件管理系统，其特征在于，包括：镜像管理模块，用于从公共镜像仓库中拉取所需的大数据组件镜像以及将构建好的镜像存入私有镜像仓库；容器部署模块，用于根据用户配置生成临时镜像和自动化部署脚本，通过所述临时镜像和所述自动化部署脚本完成大数据组件的容器化部署；集群监控模块，用于管理Kubernetes集群中的资源以及对已部署的容器化大数据组件进行状态监控；网络管理模块，用于对使用Service资源实现Kubernetes集群内组件的网络配置管理以及使用Ingress资源实现服务的对外暴露。
-
公开(公告)号：CN115834669B
公开(公告)日：2023-05-09
申请号：CN202310108302.X
申请日：2023-02-14
申请人： 北京邮电大学 , 四方联盟(北京)科技发展有限公司 , 中网数安(北京)科技有限公司
摘要： 本发明提出了一种分布式AI服务引擎系统，包括原子服务层、引擎中控层和应用层，其中，原子服务层包括负载均衡器和多个AI服务实例，用于实现AI模型的推理能力；引擎中控层包括一个Leader节点和与Leader节点对应的多个Worker节点，用于创建表达式服务、调用表达式服务和更新缓存；其中Leader节点与Worker节点的内部包括功能决策模块、缓存模块、归并优化器、状态控制器、逻辑运算器、排序模块、存储服务模块、溢写模块；应用层，用于调用中控层提供的表达式构建和服务调用的功能。通过本发明提出的分布式AI服务引擎系统，有效的提高了服务开发效率、服务响应速度和减少了系统资源的浪费。
-
公开(公告)号：CN115834669A
公开(公告)日：2023-03-21
申请号：CN202310108302.X
申请日：2023-02-14
申请人： 北京邮电大学 , 四方联盟(北京)科技发展有限公司 , 中网数安(北京)科技有限公司
摘要： 本发明提出了一种分布式AI服务引擎系统，包括原子服务层、引擎中控层和应用层，其中，原子服务层包括负载均衡器和多个AI服务实例，用于实现AI模型的推理能力；引擎中控层包括一个Leader节点和与Leader节点对应的多个Worker节点，用于创建表达式服务、调用表达式服务和更新缓存；其中Leader节点与Worker节点的内部包括功能决策模块、缓存模块、归并优化器、状态控制器、逻辑运算器、排序模块、存储服务模块、溢写模块；应用层，用于调用中控层提供的表达式构建和服务调用的功能。通过本发明提出的分布式AI服务引擎系统，有效的提高了服务开发效率、服务响应速度和减少了系统资源的浪费。
-
公开(公告)号：CN114115857B
公开(公告)日：2024-04-05
申请号：CN202111268941.X
申请日：2021-10-29
申请人： 北京邮电大学
摘要： 本发明提供了一种机器学习模型自动化生产线构建方法及系统，其中，该方法包括：根据算子组件配置构建出算子组件，并将算子组件存入算子仓库；可视化编排读取算子仓库中的算子结构数据，将算子组件通过业务处理逻辑组合生成模型任务流；将模型任务流转换为云原生工作流引擎执行计划，并提交给容器集群执行以输出模型文件；基于模型打包，进行模型文件转换和模型推理容器镜像构建操作，将操作对应数据存入模型仓库；读取模型仓库中的模型数据并解析生成三种算子，将三种算子组件组合形成模型发布任务流以提交给容器集群执行模型发布流程。本发明提高模型生产线的构建效率，同时构建而成的模型生产线能够快速训练出新的模型，提高模型生产能力。
-
公开(公告)号：CN114115857A
公开(公告)日：2022-03-01
申请号：CN202111268941.X
申请日：2021-10-29
申请人： 北京邮电大学
摘要： 本发明提供了一种机器学习模型自动化生产线构建方法及系统，其中，该方法包括：根据算子组件配置构建出算子组件，并将算子组件存入算子仓库；可视化编排读取算子仓库中的算子结构数据，将算子组件通过业务处理逻辑组合生成模型任务流；将模型任务流转换为云原生工作流引擎执行计划，并提交给容器集群执行以输出模型文件；基于模型打包，进行模型文件转换和模型推理容器镜像构建操作，将操作对应数据存入模型仓库；读取模型仓库中的模型数据并解析生成三种算子，将三种算子组件组合形成模型发布任务流以提交给容器集群执行模型发布流程。本发明提高模型生产线的构建效率，同时构建而成的模型生产线能够快速训练出新的模型，提高模型生产能力。
-
-
-
-
-
-
-
搜索结果
8 条记录 (耗时 0.044 秒)
