一种训练数据集版本管理方法及系统

    公开(公告)号:CN118964335A

    公开(公告)日:2024-11-15

    申请号:CN202411441169.0

    申请日:2024-10-16

    摘要: 本发明公开一种训练数据集版本管理方法及系统,涉及数据管理技术领域;包括:步骤1:建立用于模型训练的数据集,为数据集生成唯一标识,步骤2:管理数据集版本:步骤21:建立数据集版本,步骤22:利用公式V=D+T+S,生成数据集版本标识,步骤23:根据数据集版本,创建所选数据集的静态快照;步骤24:根据静态快照,检查数据集中将发生内容变动的文件对象是否包含在静态快照中,是则将文件对象的当前版本拷贝到静态快照的对应存储中,并更新静态快照的元数据的对象索引,再进行数据集的变动操作,步骤25:校验数据集完整性;本发明降低数据管理复杂度,保障模型训练的质量和可靠性。

    一种迁移虚拟机时探测节点存储连通性的方法及系统

    公开(公告)号:CN118897716A

    公开(公告)日:2024-11-05

    申请号:CN202411397042.3

    申请日:2024-10-09

    IPC分类号: G06F9/455

    摘要: 本发明公开一种迁移虚拟机时探测节点存储连通性的方法及系统,涉及云计算技术领域;包括:步骤1:基于OpenStack架构,获取需要迁移的虚拟机上挂载的所有卷,获取卷所属的卷类型,调用Cinder组件查询卷类型的存储后端名称,并查询后端存储池获取后端存储列表,在后端存储列表中根据存储后端名称获取匹配的所有存储协议,步骤2:根据所有存储协议,分别探测计算节点的存储连通性,筛选迁移目标节点;本发明在迁移虚拟机时增加对计算节点存储连通性的探测,过滤掉无法正常迁移的计算节点,有效提升了迁移虚拟机的成功率,保障服务品质。

    一种分布式云资源调度方法及装置、分布式云

    公开(公告)号:CN114710489B

    公开(公告)日:2024-10-25

    申请号:CN202210329988.0

    申请日:2022-03-31

    IPC分类号: H04L67/10 H04L67/60

    摘要: 本发明公开了一种分布式云资源调度方法及装置,分布式云,当指定资源需要跨云运行时,获取各个云中心集群的状态,进而根据指定资源、各个云中心集群的状态以及预设调度策略,确定出指定云中心集群,以将指定资源调度至指定云中心集群,由指定云中心集群的节点运行指定资源。本发明对于需要跨云运行的资源,根据各个云中心集群的状态确定出指定云中心集群,从而将该资源调度至指定云中心集群,实现了对分布式云全域资源的跨云调度。

    一种基于容器操作系统的边缘智能软件平台的实现方法

    公开(公告)号:CN117009981A

    公开(公告)日:2023-11-07

    申请号:CN202311086750.0

    申请日:2023-08-28

    IPC分类号: G06F21/57 G06F9/50

    摘要: 本发明提供一种基于容器操作系统的边缘智能软件平台的实现方法,属于边缘计算领域,本发明提出了构成边缘智能软件平台的基础组件,并通过容器化技术封装各平台组件,通过容器操作系统的机制加载运行,利用云边协同技术进行运维升级。本发明实现的边缘智能软件平台具有轻量化资源消耗小、启动快捷、安全性高、升级方便、边缘应用灵活等有益效果。

    一种云计算环境下物理内存自适应方法及系统

    公开(公告)号:CN115292030A

    公开(公告)日:2022-11-04

    申请号:CN202210747907.9

    申请日:2022-06-29

    IPC分类号: G06F9/50 G06F9/455

    摘要: 本发明涉及云计算IAAS领域,具体提供了一种云计算环境下物理内存自适应方法,虚机镜像内安装虚机负载分析服务,写入包含标记虚机活跃状态阈值的配置文件,安装虚机负载分析服务随虚机启动后,分析虚机CPU和内存的使用情况,对比阈值确定虚机活跃状态;发起带有内存限制参数的元数据服务请求;更新云平台元数据服务组件,添加请求API,所述API接收带有虚机内存强限制和软限制的参数,在接收到虚机内存限制参数,检查所述虚机是否满足可调节内存大小的限制,如果满足要求则发起RPC调用设置虚机内存占用大小。与现有技术相比,本发明以云平台计算节点配置的交换分区大小为物理内存比例0.75(即内存超配比为1.75)为例,理想情况下,每台虚机最高可节省约42.86%的物理内存占用。

    容器云集群节点异常检测方法及系统

    公开(公告)号:CN114942875A

    公开(公告)日:2022-08-26

    申请号:CN202210506971.8

    申请日:2022-05-11

    IPC分类号: G06F11/30 G06F9/455

    摘要: 本发明公开了容器云集群节点异常检测方法及系统,属于容器云技术领域,要解决的技术问题为如何实现容器云集群节点的异常检测和修复。包括如下步骤:在容器云集群的每个节点上部署节点异常检测组件,通过异常检测服务对节点进行异常数据监控;定义节点异常检测组件的检测内容;对于容器云集群中每个节点,通过异常检测服务进行异常数据监控,并将检测的异常信息作为异常事件推送至容器云API服务器;通过容器云事件中心存储异常事件;通过自动化运维模块订阅容器云事件中心中的异常事件,并通过自动化运维模块内置的自动修复逻辑对节点的异常事件进行自动修复。

    一种有限状态自动机在Java下的实现方法

    公开(公告)号:CN114880050A

    公开(公告)日:2022-08-09

    申请号:CN202210251541.6

    申请日:2022-03-15

    IPC分类号: G06F9/448

    摘要: 本发明公开一种有限状态自动机在Java下的实现方法,涉及软件开发技术领域,包括:分析业务逻辑,提取业务中包含的State、Transition条件、触发Event及Action,定义State、Event;定义StateMachineImpl,基于Trasition类和Target类实现有限状态机StateMachine接口;定义TransitionBuilderImpl,实现TransitionBuilder接口,构建Transition对象;定义StateMachineBuilderImpl,实现StateMachineBuilder接口,构建StateMachine对象;在触发Event的业务代码中,调用StateMachine的sendEvent方法,StateMachine根据已构造的State关系,执行Action,并返回Transition后的State。本发明可以将状态的维护与业务代码解耦,提高代码的健壮性、可维护性。

    一种实现流式数据写入对象存储的方法

    公开(公告)号:CN112965950A

    公开(公告)日:2021-06-15

    申请号:CN202110253584.3

    申请日:2021-03-09

    摘要: 本发明公开一种实现流式数据写入对象存储的方法,涉及流式数据存储技术领域;将流式数据写入hdfs临时文件,并启动相应定时任务,定时修改临时文件的文件名并标记文件名为可读状态,定时读取可读临时文件的数据,根据存储桶预设值对数据进行处理,将处理后的数据下发至对象存储,并标记文件名为处理完状态,定时删除处理完状态的临时文件,释放资源。

    基于Docker的快捷集成式ElasticMapReduce服务系统及实现方法

    公开(公告)号:CN112241312A

    公开(公告)日:2021-01-19

    申请号:CN202011160167.6

    申请日:2020-10-27

    IPC分类号: G06F9/455

    摘要: 本发明公开了基于Docker的快捷集成式Elastic MapReduce服务系统及实现方法,属于大数据开发领域,本发明要解决的技术问题为如何能够快速部署、服务高度集成、组件随意插拔的EMR服务,满足各项业务场景的需求,并有效的降低成本,采用的技术方案为:该Elastic MapReduce服务系统包括用户管理与认证模块、前端页面与后端代理模块、请求处理与分发模块、集群资源分配与操作模块、数据存储模块以及集群可视化交互模块;用户管理与认证模块用于用户管理、用户认证及创建主子账;前端页面与后端代理模块用于使用Nginx服务实现反向代理,并使用Angular框架编写Web前端服务页面,使得用户请求处理的更有效率。本发明还公开了一种基于Docker的快捷集成式Elastic MapReduce服务系统的实现方法。