-
公开(公告)号：CN117609955A
公开(公告)日：2024-02-27
申请号：CN202311413406.8
申请日：2023-10-27
申请人： 新华三大数据技术有限公司
IPC分类号： G06F18/27 , G06F18/214 , G06N20/00 , H04L67/1095
摘要： 本发明提供一种同步参数动态调整方法、装置和设备，用于解决不能根据执行环境动态适配CDC同步作业任务同步参数的技术问题。本发明采集历史CDC同步作业的端点信息、同步参数、节点资源信息及任务性能指标等作业信息作为训练样本数据，训练针对批量大小的机器学习预测模型，在进行CDC同步作业任务调度时，基于当前指定时间区间内的作业信息，使用训练好的预测模型预测最优批量大小参数，动态设置CDC同步作业任务的批量大小参数，使得批量大小的同步参数更加适配实际业务场景，提高同步配置的智能化和同步的效率。
-
公开(公告)号：CN112130997B
公开(公告)日：2022-09-20
申请号：CN202011004507.6
申请日：2020-09-22
申请人： 新华三大数据技术有限公司
发明人： 白晨
IPC分类号： G06F9/50
摘要： 本发明实施例提供了一种资源分配方法及装置，涉及云服务技术领域，其中，上述方法包括：获得处于运行状态的各数据处理进程的已分配资源量及最大资源使用率。根据各数据处理进程的已分配资源量及最大资源使用率，确定各数据处理进程的消耗资源量。以各个数据处理进程的消耗资源量为基准，根据计算资源的总资源量，为各数据处理进程模拟分配计算资源，得到各数据处理进程的模拟资源量。根据各数据处理进程的模拟资源量，确定进行计算资源分配的资源量阈值。在存在新的数据处理进程的情况下，基于资源量阈值为新的数据处理进程分配计算资源。应用本发明实施例提供的方案分配资源，可以减小计算资源的浪费。
-
公开(公告)号：CN111694633A
公开(公告)日：2020-09-22
申请号：CN202010289167.X
申请日：2020-04-14
申请人： 新华三大数据技术有限公司
发明人： 白晨
摘要： 本发明公开了一种集群节点负载均衡方法、装置及计算机存储介质，用于解决集群中资源优化调度实时性差、各节点资源利用不均衡等技术问题。本发明在Kubernetes集群中配置有周期运行的负载均衡任务，基于预先配置的综合考虑单一副本、节点均衡和条件重适配三个方面负载均衡策略初步确定出节点上待驱逐的Pod，再根据Pod驱逐规则筛选出符合调度条件的待驱逐Pod，最后调用Pod调度器将确定要驱逐的待驱逐Pod调度到最优节点上。通过本发明能够使集群各节点的资源利用更加均衡，提高集群资源使用率，持续保证Pod的最佳运行环境，降低Pod驱逐等资源回收操作的发生频率，维护集群稳定性。
-
公开(公告)号：CN110781005A
公开(公告)日：2020-02-11
申请号：CN201911025182.7
申请日：2019-10-25
申请人： 新华三大数据技术有限公司
发明人： 白晨
摘要： 本申请提供一种资源回收方法、装置及节点，应用于容器集群管理系统包括的节点。节点检测已使用资源达到预设的资源阈值时，确定至少一个第一镜像文件，所述第一镜像文件为当前未被使用的镜像文件；从所述至少一个第一镜像文件中，确定第二镜像文件，所述第二镜像文件为预设时间段内被使用次数达到预设次数阈值的第一镜像文件；删除第三镜像文件，所述第三镜像文件为不属于第二镜像文件的第一镜像文件。以使节点的资源回收更加合理。
-
公开(公告)号：CN109409412A
公开(公告)日：2019-03-01
申请号：CN201811139007.6
申请日：2018-09-28
申请人： 新华三大数据技术有限公司
摘要： 本公开涉及一种图片处理方法及装置，所述图片处理方法包括将待处理图片进行哈希处理，获取对应的哈希值；将所述哈希值分别存入多个第一任务队列中的每个第一任务队列；针对每个第一任务队列，获取与该第一任务队列对应的所述待处理图片的第一审核结果；在多个第一审核结果不一致时，将所述哈希值送入第二任务队列；获取所述第二任务队列中所述待处理图片的第二审核结果；利用所述多个第一审核结果一致时的审核结果或所述第二审核结果对所述待处理图片进行分类。本公开的图片处理方法，可以对待处理图片进行简单、快速、有效的分类，为深度学习中模型的训练积累大量、真实、可靠的数据，从而提高深度学习的性能。
-
公开(公告)号：CN110531988B
公开(公告)日：2023-06-06
申请号：CN201910722370.9
申请日：2019-08-06
申请人： 新华三大数据技术有限公司
发明人： 白晨
摘要： 本发明涉及大数据技术领域，涉及一种应用程序的状态预测方法及相关装置，所述方法包括：获取应用程序的每一服务分别对应的性能状态监控信息和服务状态监控信息；将每一服务对应的性能状态监控信息分别与该服务对应的服务状态监控信息进行合并，得到该服务的当前运行状态信息；采用预先训练完成的状态预测模型对应用程序的所有服务的当前运行状态信息进行处理，得到应用程序的运行状态预测结果。本发明采用预先训练后的状态预测模型对应用程序的当前状态进行预测，以便及时发现应用程序的异常，防患于未然。
-
公开(公告)号：CN110958138A
公开(公告)日：2020-04-03
申请号：CN201911113791.8
申请日：2019-11-14
申请人： 新华三大数据技术有限公司
发明人： 白晨
摘要： 本申请提供一种容器扩容方法及装置，该方法包括：获取待扩容的容器对应的特征信息；将所述特征信息的特征值输入估计模型，得到所述容器的镜像文件下载到目标工作节点的预计时长；其中，预计时长通过估计模型获得，估计模型的输入为特征信息的特征值，输出为预计时长，估计模型是通过历史数据训练得到；根据所述容器的扩容时间和所述预计时长确定所述镜像文件的加载时间，所述加载时间与所述预计时长之和不大于所述扩容时间；在所述加载时间，将所述镜像文件下载到所述目标工作节点；在所述扩容时间，根据所述镜像文件将所述容器部署到所述目标工作节点。通过本申请的技术方案，能够提前将镜像文件下载到目标工作节点，能够快速实现容器的扩容。
-
公开(公告)号：CN110531988A
公开(公告)日：2019-12-03
申请号：CN201910722370.9
申请日：2019-08-06
申请人： 新华三大数据技术有限公司
发明人： 白晨
摘要： 本发明涉及大数据技术领域，涉及一种应用程序的状态预测方法及相关装置，所述方法包括：获取应用程序的每一服务分别对应的性能状态监控信息和服务状态监控信息；将每一服务对应的性能状态监控信息分别与该服务对应的服务状态监控信息进行合并，得到该服务的当前运行状态信息；采用预先训练完成的状态预测模型对应用程序的所有服务的当前运行状态信息进行处理，得到应用程序的运行状态预测结果。本发明采用预先训练后的状态预测模型对应用程序的当前状态进行预测，以便及时发现应用程序的异常，防患于未然。
-
公开(公告)号：CN109471725A
公开(公告)日：2019-03-15
申请号：CN201811247681.6
申请日：2018-10-24
申请人： 新华三大数据技术有限公司
发明人： 白晨
摘要： 本公开提供了一种资源分配方法、装置和服务器，其中，该方法包括：确定容器管理集群中的资源总量；确定容器管理集群中每个应用的已分配资源量和资源总量的比值；确定比值最小的应用；为该比值最小的应用分配预设数量Pod的资源量，更新该比值最小的应用的已分配资源量；判断所有应用的已分配资源量之和是否大于资源总量；若判断结果为否，继续通过上述步骤分配资源；若判断结果为是，根据每个应用的已分配资源量为每个应用分配相应量的资源，其中，比值最小的应用的已分配资源量为更新后的该比值最小的应用的已分配资源量减去预设数量Pod的资源量。本公开可以公平地为集群中的多个应用分配资源，同时保证被分配的资源能够被有效合理地利用。
-
公开(公告)号：CN110958138B
公开(公告)日：2022-03-25
申请号：CN201911113791.8
申请日：2019-11-14
申请人： 新华三大数据技术有限公司
发明人： 白晨
IPC分类号： H04L67/06 , H04L67/1095 , H04L41/147 , H04L41/14 , H04L41/0894 , H04L67/51
摘要： 本申请提供一种容器扩容方法及装置，该方法包括：获取待扩容的容器对应的特征信息；将所述特征信息的特征值输入估计模型，得到所述容器的镜像文件下载到目标工作节点的预计时长；其中，预计时长通过估计模型获得，估计模型的输入为特征信息的特征值，输出为预计时长，估计模型是通过历史数据训练得到；根据所述容器的扩容时间和所述预计时长确定所述镜像文件的加载时间，所述加载时间与所述预计时长之和不大于所述扩容时间；在所述加载时间，将所述镜像文件下载到所述目标工作节点；在所述扩容时间，根据所述镜像文件将所述容器部署到所述目标工作节点。通过本申请的技术方案，能够提前将镜像文件下载到目标工作节点，能够快速实现容器的扩容。
-
-
-
-
-
-
-
-
-
搜索结果
13 条记录 (耗时 0.04 秒)
