一种基于k8s的机器学习模型训练方法及系统

    公开(公告)号:CN114676850A

    公开(公告)日:2022-06-28

    申请号:CN202210296057.5

    申请日:2022-03-24

    Abstract: 本发明公开了一种基于k8s的机器学习模型训练方法及系统,包括以下步骤:依次构建模型训练所需的镜像、算法和数据集;添加模型信息,并创建模型训练输出和训练任务日志输出的文件夹;将模型训练所需的信息保存到数据库;扫描数据库中的任务训练数据表,查看可执行任务,如果有,执行下一步,没有则等待下一次调度;查看K8S机器当前的资源是否满足任务执行需求,如果满足,执行下一步,不满足,则等待下一次调度;构建任务所需的yaml文件;调用k8s创建执行模型训练的job和相关的pv和pvc,开始模型训练。可以有效降低模型训练的难度,可以有效的降低系统的资源使用率,降低模型开发成本,解决了现有技术中维护成本高,模型支撑改进中支持的种类少的问题。

    一种PM10浓度预测方法、系统、设备及存储介质

    公开(公告)号:CN115238595A

    公开(公告)日:2022-10-25

    申请号:CN202211020007.0

    申请日:2022-08-24

    Abstract: 本发明公开了一种PM10浓度预测方法、系统、设备及存储介质,首先对获取的空气质量历史数据进行清洗,对数据中的缺失值进行填充;基于填充后的数据选择出与PM10浓度数据存在相关性的数据;对相关性数据进行数据集划分,得到归一化处理后的数据;将归一化处理后的数据输送至Encoder‑Decoder WaveNet网络,提取时间依赖特征,并将时间依赖特征构建为输入矩阵,引入特征注意力机制,得到输入矩阵的加权特征矩阵;提取加权特征矩阵中的时序信息和特征信息,得到包含各历史时刻时序信息和特征信息的隐藏层状态;将隐藏状态发送至全链接层,得到预测结果,本发明公开的方法不仅考虑了时间的依赖性同时将相关性数据同时分析,提高了预测结果的精确性,保证了预测效果。

    一种神经网络架构搜索方法、系统、设备及可读存储介质

    公开(公告)号:CN114429197A

    公开(公告)日:2022-05-03

    申请号:CN202210085746.1

    申请日:2022-01-25

    Abstract: 本发明公开了种神经网络架构搜索方法、系统、设备及可读存储介质,初始化DARTS网络的相关参数,将图像训练集输入至初始化后的DARTS网络中,根据目标函数计算损失值,根据梯度信息使用二阶泰勒展开式计算出网络损失变化,使用基于突触显著性的评分指标计算指标显著性,采用连接敏感性指标到神经网络架构搜索,用来指示操作的重要性,将可微架构结构搜索定义为初始化时的网络剪枝,在网络剪枝的初始化中采用称为操作显著性度量,实验结果表明,该框架是一种有前景的、可靠的可微神经结构搜索解决方案,在不同基准数据集和DARTS搜索空间上都取得了良好的性能。本发明方法非常高效,可以在几秒钟内完成架构搜索。

    一种神经网络架构搜索方法、系统、设备及可读存储介质

    公开(公告)号:CN114429197B

    公开(公告)日:2024-05-28

    申请号:CN202210085746.1

    申请日:2022-01-25

    Abstract: 本发明公开了种神经网络架构搜索方法、系统、设备及可读存储介质,初始化DARTS网络的相关参数,将图像训练集输入至初始化后的DARTS网络中,根据目标函数计算损失值,根据梯度信息使用二阶泰勒展开式计算出网络损失变化,使用基于突触显著性的评分指标计算指标显著性,采用连接敏感性指标到神经网络架构搜索,用来指示操作的重要性,将可微架构结构搜索定义为初始化时的网络剪枝,在网络剪枝的初始化中采用称为操作显著性度量,实验结果表明,该框架是一种有前景的、可靠的可微神经结构搜索解决方案,在不同基准数据集和DARTS搜索空间上都取得了良好的性能。本发明方法非常高效,可以在几秒钟内完成架构搜索。

    一种基于负载预测的容器动态伸缩方法及系统

    公开(公告)号:CN115412449A

    公开(公告)日:2022-11-29

    申请号:CN202211058420.6

    申请日:2022-08-31

    Abstract: 本发明公开了一种基于负载预测的容器动态伸缩方法及系统,包括以下步骤:实时获取容器当前应用负载和预测负载,设定容器伸缩的阈值;比较容器当前应用负载和预测负载与设定的阈值之间的大小关系:若当前应用负载或预测负载大于设定的阈值,进行扩容;若当前应用负载和预测负载均小于设定的阈值,进行缩容。可以针对平台运行的多种情况进行合理分配,保证平台处于合理和理想的状态,避免扩容延迟或抖动,响应时间缩短,提高了容器运行的稳定性,避免了资源的浪费,提高了运行效率,解决现有技术中伸缩扩容方法针对不同情况无法合理进行扩容和缩容,且容器伸缩时容易出现扩容延迟或抖动的问题。

    一种面向应用集群的队列任务调度方法及系统

    公开(公告)号:CN114489942A

    公开(公告)日:2022-05-13

    申请号:CN202210062739.X

    申请日:2022-01-19

    Abstract: 本发明公开了一种面向应用集群的队列任务调度方法及系统,将线上和线下任务并存在Kubernetes集群中,基于打分策略对线下任务进行打分,并对线下任务进行优先级排定,保证优先级高的训练任务有着更少的等待时间的同时,考虑多方面因素来调整任务执行队列,对任务的动态变化进行实时监控,调整线上和线下任务的资源分配,保证线上任务的服务质量,同时可以根据不同维度手动暂停线下一个或者一批训练任务,和手动开启暂停的一个和一批训练任务,可应对突发事件或者特殊时期,提高了任务的分配效率,便于资源的管理和控制,解决了现有技术中,资源分配率低,服务质量低的问题。

    一种征信报告解析方法、系统、终端设备和存储介质

    公开(公告)号:CN114357970A

    公开(公告)日:2022-04-15

    申请号:CN202210010909.X

    申请日:2022-01-05

    Abstract: 本发明提出了一种征信报告解析方法、系统、终端设备和存储介质,构建征信报告特征和征信报告特征组,并报告数据库中的征信报告标识,取出对应的征信报告,根据取出的征信报告,对征信报告特征进行计算;对征信报告所在文件夹内所有征信报告进行过滤、标记和计算,创建模型数据集,并将模型数据集保存至数据库。实现了同一个特征可以从不同格式的征信报告中,获取用户信息,并支持根据特定要求对用户信息的过滤,转化和函数计算,特征可以根据业务在线开发和计算,使征信报告的解析更加灵活,自动化和智能化,加快了征信报告的解析效率。解决了现有技术中针对不同样式的征信报告文件解析困难的问题。

    一种基于负载预测的容器动态伸缩方法及系统

    公开(公告)号:CN115412449B

    公开(公告)日:2024-02-27

    申请号:CN202211058420.6

    申请日:2022-08-31

    Abstract: 本发明公开了一种基于负载预测的容器动态伸缩方法及系统,包括以下步骤:实时获取容器当前应用负载和预测负载,设定容器伸缩的阈值;比较容器当前应用负载和预测负载与设定的阈值之间的大小关系:若当前应用负载或预测负载大于设定的阈值,进行扩容;若当前应用负载和预测负载均小于设定的阈值,进行缩容。可以针对平台运行的多种情况进行合理分配,保证平台处于合理和理想的状态,避免扩容延迟或抖动,响应时间缩短,提高了容器运行的稳定性,避免了资源的浪费,提高了运行效率,解决现有技术中伸缩扩容方法针对不同情况无法合理进行扩容和缩容,且容器伸缩时容易出现扩容延迟或

    一种金相图像去噪方法及系统

    公开(公告)号:CN112435175A

    公开(公告)日:2021-03-02

    申请号:CN202011197261.9

    申请日:2020-10-30

    Abstract: 本发明公开了一种金相图像去噪方法及系统,以完全鲁棒的RPCA中的正则化方法为基础,在低秩稀疏矩阵分解算法上,对去除噪声后的低秩清晰数据矩阵分块进行L2范数的约束,在实现图像块特征局部正则化的基础上,对高斯噪声进行约束处理得到改进后的低秩稀疏矩阵分解模型,用图像的局部特征表示图像的结构信息,将该噪声作为实际噪声处理,改善了传统低秩稀疏矩阵分解算法去噪时将图像噪声信息默认为稀疏矩阵的问题,减少了传统RPCA处理后导致的重点内容模糊、纹理细节及边缘不清晰的情况,且解决了传统RPCA只对脉冲噪声去噪处理时效果显著的问题,将实际图像数据采样过程中因周边环境及硬件设备干扰而出现的大量高斯噪声考虑在内,处理混合噪声。

    一种面向应用集群的队列任务调度方法及系统

    公开(公告)号:CN114489942B

    公开(公告)日:2024-02-23

    申请号:CN202210062739.X

    申请日:2022-01-19

    Abstract: 本发明公开了一种面向应用集群的队列任务调度方法及系统,将线上和线下任务并存在Kubernetes集群中,基于打分策略对线下任务进行打分,并对线下任务进行优先级排定,保证优先级高的训练任务有着更少的等待时间的同时,考虑多方面因素来调整任务执行队列,对任务的动态变化进行实时监控,调整线上和线下任务的资源分配,保证线上任务的服务质量,同时可以根据不同维度手动暂停线下一个或者一批训练任务,和手动开启暂停的一个和一批训练任务,可应对突发事件或者特殊时期,提高了任务的分配效率,便于资源的管理和控制,解决了现有技术中,资源分配率低,服务质量低的问题。

Patent Agency Ranking