基于负载预测的能耗均衡作业调度方法及系统

    公开(公告)号:CN117707742A

    公开(公告)日:2024-03-15

    申请号:CN202410159991.1

    申请日:2024-02-05

    IPC分类号: G06F9/48 G06F9/50 G06F1/329

    摘要: 本发明涉及高性能计算的作业调度技术领域,公开了基于负载预测的能耗均衡作业调度方法及系统,方法包括:获取历史时间段内,集群中节点的负载指标数据和功耗数据;对负载指标数据进行预处理并提取每个节点的历史负载特征变量;将每个节点的历史负载特征变量,输入到训练后的负载预测模型中,输出每个节点在未来时间点的负载预测值;根据每个节点在未来时间点的负载预测值,将集群中的每个节点划分为不同的负载类别;在每个负载类别中,按照功耗值由低到高的顺序对节点进行排序,优先选取低负载类别节点中的低功耗节点进行作业调度;调度后对高负载类别节点上运行的作业,实施作业迁移。本发明能够避免负载不均衡导致的热点问题和系统性能下降。

    一种基于湖仓一体的高校关系数据处理方法和系统

    公开(公告)号:CN117112667A

    公开(公告)日:2023-11-24

    申请号:CN202311071030.7

    申请日:2023-08-24

    摘要: 本发明涉及一种基于湖仓一体的高校关系数据处理方法和系统,包括:将高校各业务系统原始数据抽取入湖仓及分割初始元数据入仓,并将有标签的元数据存入湖仓;构建初版高校数据标准映射字典,并将其数据标准中的中文简称同化成模型语义类别标签;对抽取入湖仓的未含有标注的元数据进行语义识别,基于模型语义类别标签对元数据标注进行纠错,并更新回填至湖仓的元数据标注中;基于数据仓库中的高校元数据标准映射字典,映射整合并构建分级分类的高校数据资产目录;实现数据资产目录发布及查询搜索。本发明构建了统一的高校元数据标准映射数据字典,实现业务系统与实现不同业务系统与高校统一元数据标准之间的关联映射,构建统一的数据资产目录。

    基于信誉评估的抗拜占庭攻击的去中心化学习方法及系统

    公开(公告)号:CN116862021A

    公开(公告)日:2023-10-10

    申请号:CN202310953891.1

    申请日:2023-07-31

    IPC分类号: G06N20/00

    摘要: 本发明公开了一种基于信誉评估的抗拜占庭攻击的去中心化学习方法及系统,涉及人工智能与信息安全交叉技术领域,该方法包括:基于获取的分布式网络中各个节点的训练数据,通过不断迭代训练实现去中心化学习,其训练过程中:分布式网络中的每一节点获取自节点的邻居节点当前轮次的局部参数,以此计算每一邻居节点当前轮次的信誉贡献值和信誉损失值,确定信誉有效值,进而确定自节点及其每一邻居节点的全局历史信誉值;基于全局历史信誉值为自节点及其每一邻居节点分配权重,进而更新自节点的局部参数并发送至邻居节点。本发明构建信誉评估机制,建立全局历史信誉值模型,通过权重分配,降低拜占庭攻击的影响,达到保护学习模型的目的。