公开(公告)号：CN117001673B

公开(公告)日：2024-06-04

申请号：CN202311172535.2

申请日：2023-09-11

申请人： 中广核工程有限公司

发明人： 宫爱成 ,  吕加飞 ,  杨瑞 ,  杨宇 ,  李秀 ,  孔凯贺 ,  李东原 ,  金鑫 ,  徐教珅 ,  马廷伟 ,  王鑫

IPC分类号： B25J9/16

摘要： 本申请涉及一种机器人控制模型的训练方法、装置和计算机设备。所述方法包括：针对每一样本时刻，通过策略模型、样本时刻时机器人的状态和运动目标，获得样本时刻时的待执行动作，获取机器人执行待执行动作后在样本时刻的下一时刻时的状态和初始奖励值，并组成样本时刻对应的转移样本；针对每一样本时刻对应的转移样本，获取执行完转移样本中的待执行动作后机器人的实际运动结果、以及根据转移样本中样本时刻相应的状态所映射确定的映射运动结果；根据实际运动结果与映射运动结果间的差异程度，对初始奖励值进行调整，将运动目标更新为实际运动结果；基于转移样本，对包含策略模型的机器人控制模型进行训练。采用本方法能够改善机器人控制效果。

公开(公告)号：CN117001673A

公开(公告)日：2023-11-07

申请号：CN202311172535.2

申请日：2023-09-11

申请人： 中广核工程有限公司

发明人： 宫爱成 ,  吕加飞 ,  杨瑞 ,  杨宇 ,  李秀 ,  孔凯贺 ,  李东原 ,  金鑫 ,  徐教珅 ,  马廷伟 ,  王鑫

IPC分类号： B25J9/16

摘要： 本申请涉及一种机器人控制模型的训练方法、装置和计算机设备。所述方法包括：针对每一样本时刻，通过策略模型、样本时刻时机器人的状态和运动目标，获得样本时刻时的待执行动作，获取机器人执行待执行动作后在样本时刻的下一时刻时的状态和初始奖励值，并组成样本时刻对应的转移样本；针对每一样本时刻对应的转移样本，获取执行完转移样本中的待执行动作后机器人的实际运动结果、以及根据转移样本中样本时刻相应的状态所映射确定的映射运动结果；根据实际运动结果与映射运动结果间的差异程度，对初始奖励值进行调整，将运动目标更新为实际运动结果；基于转移样本，对包含策略模型的机器人控制模型进行训练。采用本方法能够改善机器人控制效果。

公开(公告)号：CN116307714A

公开(公告)日：2023-06-23

申请号：CN202310255421.8

申请日：2023-03-10

申请人： 中广核工程有限公司 ,  深圳中广核工程设计有限公司 ,  中国广核集团有限公司 ,  中国广核电力股份有限公司

发明人： 宫爱成 ,  徐教珅 ,  马廷伟 ,  王鑫 ,  唐辉 ,  金鑫 ,  杨宇 ,  吕加飞 ,  陈翰墨 ,  李秀

IPC分类号： G06Q10/0635 ,  G21D3/00 ,  G06Q50/06 ,  G06N3/045 ,  G06N3/08

摘要： 本申请涉及一种核电站的控制方法、装置、计算机设备和存储介质。该方法包括：在核电站运行过程中，获取核电站的当前运行状态值；基于预先训练好的目标奖励网络和目标代价网络，根据当前运行状态值，确定对核电站内核电设备的目标控制动作；基于目标控制动作，对核电设备进行控制。上述方案，通过引入目标奖励网络和目标代价网络，基于当前运行状态值，即可确定出对核电设备进行控制的控制动作；相比于相关技术中采用人工控制核电站的方式而言，实现了核电站的自动控制。此外，由于引入了目标代价网络，进一步的实现了在保证核电站安全的情况下，对核电站进行自动控制的效果。

公开(公告)号：CN115482949A

公开(公告)日：2022-12-16

申请号：CN202211102944.0

申请日：2022-09-09

申请人： 中广核工程有限公司 ,  深圳中广核工程设计有限公司 ,  中国广核集团有限公司 ,  中国广核电力股份有限公司

发明人： 宫爱成 ,  马廷伟 ,  徐教珅 ,  王鑫 ,  李东原 ,  孔凯贺 ,  吕加飞 ,  杨宇 ,  陈翰墨 ,  李秀

IPC分类号： G21D3/06 ,  G21D3/00

摘要： 本发明涉及一种核电站紧急事故自动控制方法和系统，包括以下步骤：收集核电站在紧急事故工况下的数据，并形成专家数据集；对专家数据集进行训练，形成行为克隆策略；在核电站发生紧急事故时，根据行为克隆策略对紧急事故进行自动控制。本发明通过模仿专家的操作轨迹，使得在核电紧急事故控制中可以依托于系统智能化完成，显著提升了控制系统的智能化水平，同时也可以使核电站操作员与现场工作人员尽可能少地对核电站系统与设备进行干预，极大减轻了操作员与工作人员的工作压力与心理压力，而且还可以提升核电站系统的运行效率、安全性与可靠性。

公开(公告)号：CN116189945A

公开(公告)日：2023-05-30

申请号：CN202211103729.2

申请日：2022-09-09

申请人： 中广核工程有限公司 ,  深圳中广核工程设计有限公司 ,  中国广核集团有限公司 ,  中国广核电力股份有限公司

发明人： 宫爱成 ,  马廷伟 ,  徐教珅 ,  王鑫 ,  李东原 ,  孔凯贺 ,  吕加飞 ,  杨宇 ,  陈翰墨 ,  李秀

IPC分类号： G21D3/00 ,  G06N20/00 ,  G21D3/06

摘要： 本发明涉及一种核电站事故智能化控制方法和系统，包括：获取核电站紧急事故的动作数据；对动作数据进行分解获得多个动作子空间；将多个动作子空间分配给各个智能体，获得每个智能体对应的动作子空间；获取各个智能体对应的动作子空间的奖励函数；各个智能体根据对应的奖励函数进行学习，获得各个智能体的子策略；对各个智能体的子策略进行汇总，获得总控制策略；基于总控制策略对核电站紧急事故进行智能化控制。本发明基于多智能体强化学习，实现核电站事故的智能化控制，极大减轻人工工作量和压力，显著提升核电站操作系统、控制系统的智能化水平与自动化水平，同时也提升了核电站运行的效率。