一种基于Spark的并行强化学习方法
    21.
    发明公开

    公开(公告)号:CN116611498A

    公开(公告)日:2023-08-18

    申请号:CN202310389368.0

    申请日:2023-04-12

    申请人: 河海大学

    IPC分类号: G06N3/092

    摘要: 本发明公开了一种基于Spark的并行强化学习方法,包括分析应用场景,确定环境状态空间和强化学习的奖励函数,分别对多个智能体各自建立相同的模拟环境,将多个智能体与各自的Q值表在Spark中一一绑定,将多张Q值表拷贝并一一放在同一个RDD相应的一个或多个分区,在Spark中利用RDD自身带有的函数接口进行不同智能体间信息的交互融合,在信息融合时取表项最优的值赋给下一轮需要被拷贝的新表,循环迭代直至Q值表收敛。本发明可有效利用CPU多核心数的物理优势,在应用环境的计算复杂度增加时,能够显著地加快强化学习算法的学习速度。

    一种基于改进残差卷积网络inception块结构的人脸情绪识别方法

    公开(公告)号:CN116386102A

    公开(公告)日:2023-07-04

    申请号:CN202310149159.9

    申请日:2023-02-22

    申请人: 河海大学

    摘要: 本发明公开了一种基于改进残差卷积网络inception块结构的人脸情绪识别方法,包括步骤:收集FER2013数据集并对FER2013数据集进行数据预处理,划分为80%训练集和20%测试集,得到用于模型训练与测试的图像集:搭建改进inception块结构的轻量级残差卷积网络,使用预处理后的训练集进行训练,使用恒等映射增强网络训练效果,拓展网络宽度与卷积深度;选取Softmax特征分类器作为模型特征分类器;使用改进inception块结构的轻量级残差卷积网络进行人脸情绪识别,输出人脸情绪识别结果。本发明可解决网络退化、网络参数量大和网络过拟合等问题,人脸情绪识别精度高。

    一种基于深度强化学习的水文预报模型参数率定方法

    公开(公告)号:CN113255206B

    公开(公告)日:2023-05-12

    申请号:CN202110361225.X

    申请日:2021-04-02

    申请人: 河海大学

    摘要: 本发明公开了一种基于深度强化学习的水文预报模型参数率定方法,包括:根据流域特性选取合适的水文预报模型,确定模型率定的参数及参数取值范围;建立水文预报模型参数率定的强化学习模型,确定强化学习三要素即状态空间、动作空间及奖励函数;应用深度强化学习方法DQN,优化水文预报模型的率定参数。本发明可通过设置深度强化学习模型动作值的步幅,自由控制率定参数最终优化的精确度,并采用DQN算法在率定参数的整个空间进行搜索,以确保率定参数优化的最优性,从而避免现代智能算法早熟、易陷入局部最优解的问题。

    一种基于时间卷积网络的防洪调度方案优选方法

    公开(公告)号:CN112966954B

    公开(公告)日:2022-10-18

    申请号:CN202110289848.0

    申请日:2021-03-15

    申请人: 河海大学

    IPC分类号: G06Q10/06 G06N3/04 G06N3/08

    摘要: 本发明公开了一种基于时间卷积网络的防洪调度方案优选方法,包括:建立水库群防洪调度方案的评价指标体系;构建综合评价指标与时间序列的时序评价指标矩阵,该矩阵作为时间卷积网络的输入,基于模糊集理论和改进熵权法计算防洪调度方案训练样本的综合评分;确定时间卷积网络的结构;采用均方误差与纳什效率系数相结合的损失函数训练时间卷积网络;将防洪调度方案的时序评价指标矩阵输入到时间卷积网络中得到方案的综合评判值,综合评判值最优的即为水库群防洪调度的最优方案。本发明能够充分考虑时间变化下的防洪调度方案优选过程,极大的减少复杂模型参数的数量,为水库群防洪调度方案决策及优选提供了有力工具。

    一种基于深度学习与飞行时间的电梯门空间异物检测方法

    公开(公告)号:CN114863155A

    公开(公告)日:2022-08-05

    申请号:CN202210369878.7

    申请日:2022-04-08

    申请人: 河海大学

    摘要: 本发明公开了一种基于深度学习与飞行时间的电梯门空间异物检测方法,包括:创建电梯门空间异物图像数据集并进行数据增强;搭建基于SMU激活函数与新型注意力卷积CoT的改进YOLOv5s目标检测模型,并用数据集对模型训练;利用飞行时间技术相机产生电梯门空间深度图像,用K‑means聚类阈值分割法将电梯门空间的深度图像进行阈值分割;在分割后的图像上利用条形分割定位检测算法进行异物的检测;最后将改进YOLOv5目标检测模型在普通相机上检测结果与条形分割定位检测算法在飞行时间技术相机上检测结果进行综合判断。本发明可对电梯门空间异物进行高精度检测,从而有效保障电梯的安全运行。

    一种基于深度学习的人脸状态识别方法及其装置

    公开(公告)号:CN110472512B

    公开(公告)日:2022-08-05

    申请号:CN201910653685.2

    申请日:2019-07-19

    申请人: 河海大学

    摘要: 本发明公开了一种基于深度学习的人脸状态识别方法及其装置,其方法包括:采集被识别人的脸部图像并记录采集时间,使用人脸识别算法对被识别人的图像进行处理,输出人脸识别结果。将人脸识别结果输入到预训练的深度神经网络和人脸特征点模型进行处理,得到表情识别结果和疲劳识别结果;其表情识别结果包括表情类型及其预测值。将表情识别结果和对应的采集时间作为表情数据,依序记录到表情数据库中;将疲劳数据也按照时间记录到疲劳数据库中。从表情和疲劳数据库中获取多个数据并进行分析,从而得到对被识别人的状态识别结果。本发明能够高效地感知和分析被识别人的情绪和疲劳程度,可广泛应用于疲劳驾驶检测、机器人等自动化领域。

    一种基于集成学习的洪水敏感性风险评估方法

    公开(公告)号:CN112966926B

    公开(公告)日:2022-04-22

    申请号:CN202110231150.3

    申请日:2021-03-02

    申请人: 河海大学

    摘要: 本发明公开了一种基于集成学习的洪水敏感性风险评估方法,包括:收集研究区的地形地貌、水文气象、土壤植被等数据作为特征数据,并将特征数据进行标准化处理;根据历史水位数据和遥感数据提取研究流域历史淹没点与非淹没点;利用拉普拉斯得分选择最优的特征子集;将样本点分为训练集和测试集并对集成学习模型进行训练;利用训练好的模型对整个流域进行洪水风险敏感性计算,生成流域洪水敏感性风险等级分布图。本发明使用研究区各特征数据作为输入,采用了新颖的集成学习模型,提高了流域洪水风险评估的准确性,最后生成流域洪水风险映射图,可直观地展现研究区的洪水风险状况。

    一种基于深度强化学习的水文预报模型参数率定方法

    公开(公告)号:CN113255206A

    公开(公告)日:2021-08-13

    申请号:CN202110361225.X

    申请日:2021-04-02

    申请人: 河海大学

    摘要: 本发明公开了一种基于深度强化学习的水文预报模型参数率定方法,包括:根据流域特性选取合适的水文预报模型,确定模型率定的参数及参数取值范围;建立水文预报模型参数率定的强化学习模型,确定强化学习三要素即状态空间、动作空间及奖励函数;应用深度强化学习方法DQN,优化水文预报模型的率定参数。本发明可通过设置深度强化学习模型动作值的步幅,自由控制率定参数最终优化的精确度,并采用DQN算法在率定参数的整个空间进行搜索,以确保率定参数优化的最优性,从而避免现代智能算法早熟、易陷入局部最优解的问题。