公开(公告)号：CN117933349B

公开(公告)日：2024-07-26

申请号：CN202410106823.6

申请日：2024-01-25

Applicant: 中国矿业大学

Inventor： 王雪松 ,  王荣荣 ,  程玉虎 ,  王浩宇 ,  李会军 ,  赵忠祥

IPC: G06N3/092

Abstract: 本发明公开了一种基于安全互模拟度量的视觉强化学习方法，首先，建立序列条件变分推断模型、安全互模拟度量模型与安全强化学习模型，并初始化模型参数；对于每个环境步，收集经验样本，构建拉格朗日损失函数，并更新拉格朗日乘子；对于每个梯度步，从经验回放池中采样数据序列，构建序列条件变分推断模型损失函数与安全互模拟度量模型损失函数并更新模型参数，构建安全强化学习模型并更新模型参数；最后，重复上述步骤直到获得最优模型参数。本发明能够学习到紧凑且富含信息的视觉状态表征，同时满足预设的安全约束要求。

公开(公告)号：CN117933349A

公开(公告)日：2024-04-26

申请号：CN202410106823.6

申请日：2024-01-25

Applicant: 中国矿业大学

Inventor： 王雪松 ,  王荣荣 ,  程玉虎 ,  王浩宇 ,  李会军 ,  赵忠祥

IPC: G06N3/092

Abstract: 本发明公开了一种基于安全互模拟度量的视觉强化学习方法，首先，建立序列条件变分推断模型、安全互模拟度量模型与安全强化学习模型，并初始化模型参数；对于每个环境步，收集经验样本，构建拉格朗日损失函数，并更新拉格朗日乘子；对于每个梯度步，从经验回放池中采样数据序列，构建序列条件变分推断模型损失函数与安全互模拟度量模型损失函数并更新模型参数，构建安全强化学习模型并更新模型参数；最后，重复上述步骤直到获得最优模型参数。本发明能够学习到紧凑且富含信息的视觉状态表征，同时满足预设的安全约束要求。

公开(公告)号：CN116912620B

公开(公告)日：2024-03-19

申请号：CN202310823311.7

申请日：2023-07-06

Applicant: 中国矿业大学

Inventor： 王雪松 ,  王荣荣 ,  程玉虎

IPC: G06V10/774 ,  G06V10/762

Abstract: 本发明公开了一种具有抗视觉干扰的表征强化学习方法，首先，从经验回放池中采样当前时刻与下一时刻智能体在环境中的图像观测样本、当前时刻采取的动作与获得的奖励；其次，利用随机漂移对获取的图像观测样本进行数据增广并将其编码为隐空间状态表征；然后，引入基于对比学习的潜在动力学模型与基于t分布的嵌入式聚类模型来联合学习隐空间状态表征；最后，将隐空间状态表征作为强化学习的输入并训练深度强化学习网络生成模型，最终用于智能体的控制决策任务。本发明能够在存在视觉干扰的环境下提高智能体的鲁棒性与样本效率。

公开(公告)号：CN116912620A

公开(公告)日：2023-10-20

申请号：CN202310823311.7

申请日：2023-07-06

Applicant: 中国矿业大学

Inventor： 王雪松 ,  王荣荣 ,  程玉虎

IPC: G06V10/774 ,  G06V10/762

Abstract: 本发明公开了一种具有抗视觉干扰的表征强化学习方法，首先，从经验回放池中采样当前时刻与下一时刻智能体在环境中的图像观测样本、当前时刻采取的动作与获得的奖励；其次，利用随机漂移对获取的图像观测样本进行数据增广并将其编码为隐空间状态表征；然后，引入基于对比学习的潜在动力学模型与基于t分布的嵌入式聚类模型来联合学习隐空间状态表征；最后，将隐空间状态表征作为强化学习的输入并训练深度强化学习网络生成模型，最终用于智能体的控制决策任务。本发明能够在存在视觉干扰的环境下提高智能体的鲁棒性与样本效率。