-
公开(公告)号:CN115809149B
公开(公告)日:2023-04-28
申请号:CN202310083078.3
申请日:2023-02-08
申请人: 北京邮电大学 , 四方联盟(北京)科技发展有限公司 , 姚钦锋
摘要: 本发明提出一种利用云原生资源的数据湖构建方法,包括,构建数据源及数据源表、数据湖数据目录;配置入湖任务,根据数据源表以及数据湖数据目录生成入湖任务参数,将入湖任务以及入湖任务参数提交至服务应用中心;通过服务应用中心将所述入湖任务以及入湖任务参数转发至任务调度中心入湖队列,在计算资源状态处于空闲时,将入湖任务以及入湖任务参数转发至资源调度中心;通过资源调度中心解析入湖任务参数,获取数据源及数据源表,对数据源及数据源表做映射获取数据源元数据信息和中间表元数据信息,生成抽象语法树,并基于抽象语法树生成任务计划,根据任务计划调度计算资源在对应数据湖数据目录执行数据写入任务,完成数据湖的构建。
-
公开(公告)号:CN116362287A
公开(公告)日:2023-06-30
申请号:CN202310102989.6
申请日:2023-01-29
申请人: 北京邮电大学 , 四方联盟(北京)科技发展有限公司 , 联洋国融(北京)科技有限公司
摘要: 本发明提出一种支持多种硬件平台的神经网络模型量化部署方法,包括,获取待量化神经网络模型;针对待部署硬件平台配置网络量化参数;根据待部署硬件平台使用基准量化方法对待量化神经网络模型进行预量化;使用跨层权重均衡与偏差吸收相结合的思想对预量化神经网络模型参数进行均匀分布调整,获取调整后神经网络模型;根据待部署硬件平台使用自适应图调度策略找到调整后神经网络模型精度和速度间的最佳平衡点,根据最佳平衡点计算并导出量化后神经网络模型和量化后神经网络模型参数;将量化后神经网络模型参数写入到待部署硬件平台。通过本发明提出的方法,用于提升模型在端侧的推理速度,使模型可以部署在计算资源受限设备或时延敏感的应用中。
-
公开(公告)号:CN115827008B
公开(公告)日:2023-05-12
申请号:CN202310108301.5
申请日:2023-02-14
申请人: 北京邮电大学 , 四方联盟(北京)科技发展有限公司 , 联洋国融(北京)科技有限公司 , 施力
摘要: 本发明提出一种基于云原生平台Kubernetes的云原生大数据组件管理系统,其特征在于,包括:镜像管理模块,用于从公共镜像仓库中拉取所需的大数据组件镜像以及将构建好的镜像存入私有镜像仓库;容器部署模块,用于根据用户配置生成临时镜像和自动化部署脚本,通过所述临时镜像和所述自动化部署脚本完成大数据组件的容器化部署;集群监控模块,用于管理Kubernetes集群中的资源以及对已部署的容器化大数据组件进行状态监控;网络管理模块,用于对使用Service资源实现Kubernetes集群内组件的网络配置管理以及使用Ingress资源实现服务的对外暴露。
-
公开(公告)号:CN115809149A
公开(公告)日:2023-03-17
申请号:CN202310083078.3
申请日:2023-02-08
申请人: 北京邮电大学 , 四方联盟(北京)科技发展有限公司 , 姚钦锋
摘要: 本发明提出一种利用云原生资源的数据湖构建方法,包括,构建数据源及数据源表、数据湖数据目录;配置入湖任务,根据数据源表以及数据湖数据目录生成入湖任务参数,将入湖任务以及入湖任务参数提交至服务应用中心;通过服务应用中心将所述入湖任务以及入湖任务参数转发至任务调度中心入湖队列,在计算资源状态处于空闲时,将入湖任务以及入湖任务参数转发至资源调度中心;通过资源调度中心解析入湖任务参数,获取数据源及数据源表,对数据源及数据源表做映射获取数据源元数据信息和中间表元数据信息,生成抽象语法树,并基于抽象语法树生成任务计划,根据任务计划调度计算资源在对应数据湖数据目录执行数据写入任务,完成数据湖的构建。
-
公开(公告)号:CN115834669B
公开(公告)日:2023-05-09
申请号:CN202310108302.X
申请日:2023-02-14
申请人: 北京邮电大学 , 四方联盟(北京)科技发展有限公司 , 中网数安(北京)科技有限公司
摘要: 本发明提出了一种分布式AI服务引擎系统,包括原子服务层、引擎中控层和应用层,其中,原子服务层包括负载均衡器和多个AI服务实例,用于实现AI模型的推理能力;引擎中控层包括一个Leader节点和与Leader节点对应的多个Worker节点,用于创建表达式服务、调用表达式服务和更新缓存;其中Leader节点与Worker节点的内部包括功能决策模块、缓存模块、归并优化器、状态控制器、逻辑运算器、排序模块、存储服务模块、溢写模块;应用层,用于调用中控层提供的表达式构建和服务调用的功能。通过本发明提出的分布式AI服务引擎系统,有效的提高了服务开发效率、服务响应速度和减少了系统资源的浪费。
-
公开(公告)号:CN115834669A
公开(公告)日:2023-03-21
申请号:CN202310108302.X
申请日:2023-02-14
申请人: 北京邮电大学 , 四方联盟(北京)科技发展有限公司 , 中网数安(北京)科技有限公司
摘要: 本发明提出了一种分布式AI服务引擎系统,包括原子服务层、引擎中控层和应用层,其中,原子服务层包括负载均衡器和多个AI服务实例,用于实现AI模型的推理能力;引擎中控层包括一个Leader节点和与Leader节点对应的多个Worker节点,用于创建表达式服务、调用表达式服务和更新缓存;其中Leader节点与Worker节点的内部包括功能决策模块、缓存模块、归并优化器、状态控制器、逻辑运算器、排序模块、存储服务模块、溢写模块;应用层,用于调用中控层提供的表达式构建和服务调用的功能。通过本发明提出的分布式AI服务引擎系统,有效的提高了服务开发效率、服务响应速度和减少了系统资源的浪费。
-
公开(公告)号:CN115827008A
公开(公告)日:2023-03-21
申请号:CN202310108301.5
申请日:2023-02-14
申请人: 北京邮电大学 , 四方联盟(北京)科技发展有限公司 , 联洋国融(北京)科技有限公司 , 施力
摘要: 本发明提出一种基于云原生平台Kubernetes的云原生大数据组件管理系统,其特征在于,包括:镜像管理模块,用于从公共镜像仓库中拉取所需的大数据组件镜像以及将构建好的镜像存入私有镜像仓库;容器部署模块,用于根据用户配置生成临时镜像和自动化部署脚本,通过所述临时镜像和所述自动化部署脚本完成大数据组件的容器化部署;集群监控模块,用于管理Kubernetes集群中的资源以及对已部署的容器化大数据组件进行状态监控;网络管理模块,用于对使用Service资源实现Kubernetes集群内组件的网络配置管理以及使用Ingress资源实现服务的对外暴露。
-
-
-
-
-
-