公开(公告)号：CN115709809B

公开(公告)日：2025-02-07

申请号：CN202211351476.0

申请日：2022-10-31

Applicant: 北京控制工程研究所

Inventor： 袁利 ,  李敏 ,  刘磊 ,  张聪 ,  汤亮 ,  耿远卓 ,  王英杰 ,  李佳兴

IPC: B64G1/24

Abstract: 本发明提供了一种航天器自主绕飞与碰撞威胁规避的智能协同控制方法，包括以下步骤：利用混合状态机建立自主绕飞与碰撞威胁规避控制系统的混杂模型，给出各个状态对应的控制目标，基于状态机模型对绕飞航天器的行为状态进行监控和管理；设计运动规划器，给出绕飞航天器的参考运动轨迹，以保障航天器各个行为状态转换的柔顺性；针对目标航天器的机动参数不确定性，设计降阶观测器对未知机动参数进行估计，用于控制器设计；根据不同状态的控制目标，设计了多模态运动规划与控制策略，实现多模态自适应跟踪控制。本发明解决了航天器实现自主绕飞的同时能够有效规避空间目标的碰撞威胁事件，提高航天器的任务遂行能力和空间运行安全性。

公开(公告)号：CN116339360A

公开(公告)日：2023-06-27

申请号：CN202211104976.4

申请日：2022-09-09

Applicant: 北京控制工程研究所

Inventor： 黄煌 ,  袁利 ,  汤亮 ,  刘磊 ,  张聪 ,  耿远卓 ,  马亮 ,  王英杰

IPC: G05D1/08

Abstract: 本发明公开了一种航天器姿态轨道协同下的智能决策方法，通过建立航天器姿轨耦合决策模型，合理设计奖励机制，根据目标与自身的相对位置、相对速度、相对姿态、相对角速度，在线实时采集数据并训练航天器的决策网络权值，网络输出速度增量和控制力矩，驱动航天器轨道和姿态运动。经过多次迭代，决策网络权值收敛到最优值，输出最优决策策略，使得航天器更好地完成轨道抵近任务。

公开(公告)号：CN119805944A

公开(公告)日：2025-04-11

申请号：CN202510292997.0

申请日：2025-03-13

Applicant: 北京控制工程研究所

Inventor： 耿远卓 ,  袁利 ,  魏春岭 ,  张海博 ,  王英杰 ,  吴健发 ,  郝智伟

IPC: G05B13/04

Abstract: 本发明提供了一种面向多星轨道交互的机动策略分层训练方法，涉及航天器控制，其中方法包括：根据预设的CW坐标系建立三星的轨道追逃交互模型；根据轨道追逃交互模型确定追踪星和逃逸星交互时的第一交互数据和第一奖励函数，以及追踪星和防御星交互时的第二交互数据和第二奖励函数并对预设的初始神经网络进行训练，依次得到追踪星的第一追踪网络模型和逃逸星的第一逃逸网络模型，以及追踪星的第二逃逸网络模型和防御星的第二追踪网络模型；根据轨道追逃交互模型、第一逃逸网络模型和第二追踪网络模型确定三星交互时第三交互数据和第三奖励函数，并对追踪星的初始决策网络进行训练，得到机动策略选择模型。本方案实现了追踪星在追踪和逃逸行为之间的智能切换。

公开(公告)号：CN119539018A

公开(公告)日：2025-02-28

申请号：CN202411531416.6

申请日：2024-10-30

Applicant: 北京控制工程研究所

Inventor： 刘磊 ,  耿远卓 ,  袁利 ,  马亮 ,  张聪 ,  黄煌 ,  汤亮 ,  王英杰

IPC: G06N3/092 ,  G06N3/0499 ,  G06N3/084

Abstract: 一种双航天器在轨交互的双优化高效学习训练方法，针对进入指定目标区域的任务，充分考虑任务的时空特性，建立追踪星和目标星的相对轨道动力学以及目标区域数学模型，设计约束条件，建立追踪星和目标星的输赢条件。为了提升训练效率，设计两次优化的高效学习训练方法，首先另追踪星和目标星分别采用基于零控脱靶量的决策方法进行追逃交互，收集和分析双方交互过程的轨迹数据，采用神经网络对追踪星的动作进行拟合，用于指导后续训练；然后，利用强化学习对追踪星的决策网络进行二次训练，本发明能避免从零开始训练导致难以收敛的不足，训练得到的神经网络可以输出追踪星最优推力，实现在指定时刻进入指定区域。

公开(公告)号：CN115892514A

公开(公告)日：2023-04-04

申请号：CN202211321292.X

申请日：2022-10-26

Applicant: 北京控制工程研究所

Inventor： 袁利 ,  王英杰 ,  汤亮 ,  刘磊 ,  黄煌 ,  张聪 ,  耿远卓 ,  马亮

IPC: B64G1/24 ,  G06N3/048 ,  G06N3/092

Abstract: 一种面向空间轨道博弈的阶梯化智能生成方法，包括：根据空间轨道博弈任务，为红方航天器设置即时奖励函数；为红方航天器设置策略网络及价值网络；设置强化学习算法的超参数；依据科目一的设计准则，搭建第一数字仿真环境；开展航天器智能决策模型的学习训练，得到第一航天器决策模型；搭建第二数字仿真环境；加载第一航天器决策模型，开展学习训练，得到第二航天器决策模型；依据科目三的设计准则，搭建第三数字仿真环境；加载第二航天器决策模型，得到第三航天器决策模型；利用第三航天器决策模型，根据从环境中获得的观测量，生成航天器速度增量进行轨道控制，进而开展空间轨道博弈任务。

公开(公告)号：CN115712305A

公开(公告)日：2023-02-24

申请号：CN202211321605.1

申请日：2022-10-26

Applicant: 北京控制工程研究所

Inventor： 袁利 ,  王英杰 ,  汤亮 ,  刘磊 ,  张聪 ,  黄煌 ,  马亮 ,  耿远卓

IPC: G05D1/08

Abstract: 一种静默协同下多航天器协同轨道博弈控制方法，包括：(1)选取被护卫航天器为参考点，建立CW轨道相对运动学模型及坐标系；(2)初始化并预设2Q颗在轨博弈航天器的参数；红方航天器和蓝方航天器数量相等；(3)为红蓝双方航天器设置即时奖励函数；(4)为红蓝双方航天器设置策略网络及价值网络；(5)设置多智能体强化学习算法的超参数；(6)对红蓝双方策略网络及价值网络进行左右互搏学习训练，根据红蓝双方策略网络给出的速度增量分别对红蓝双方航天器进行轨道控制，完成左右互搏学习训练后获得自主变轨博弈策略；(7)在静默状态下，多航天器利用自主变轨博弈策略对被护卫航天器进行护卫。

公开(公告)号：CN116860310A

公开(公告)日：2023-10-10

申请号：CN202310753072.2

申请日：2023-06-25

Applicant: 北京控制工程研究所

Inventor： 袁利 ,  黄煌 ,  马亮 ,  刘磊 ,  汤亮 ,  张聪 ,  耿远卓 ,  王英杰

IPC: G06F8/70 ,  G06N3/0985 ,  G06N3/092

Abstract: 一种航天器在轨博弈智能生成开发平台，包括太空博弈场景环境开发组件、动力学模型组件、网络模型生成组件和可视化与效能评估组件，太空博弈场景环境开发组件生成环境模型，与网络模型生成组件交互，完成学习训练；动力学模型组件能够根据博弈任务和学习训练的需要，在决策层或执行层对真实场景进行模拟；网络模型生成组件对神经网络中神经元之间连接的权值进行调整，生成最优化的网络模型；可视化与效能评估组件对博弈过程进行可视化，供用户对任务的执行效能进行直观评价。本发明通过统一的接口建立标准化的任务场景与标准化的学习算法之间的桥梁，为新场景、新任务下航天器智能控制的研究提供一个标准化的开发平台，提升了研制效率。

公开(公告)号：CN115709809A

公开(公告)日：2023-02-24

申请号：CN202211351476.0

申请日：2022-10-31

Applicant: 北京控制工程研究所

Inventor： 袁利 ,  李敏 ,  刘磊 ,  张聪 ,  汤亮 ,  耿远卓 ,  王英杰 ,  李佳兴

IPC: B64G1/24

Abstract: 本发明提供了一种航天器自主绕飞与碰撞威胁规避的智能协同控制方法，包括以下步骤：利用混合状态机建立自主绕飞与碰撞威胁规避控制系统的混杂模型，给出各个状态对应的控制目标，基于状态机模型对绕飞航天器的行为状态进行监控和管理；设计运动规划器，给出绕飞航天器的参考运动轨迹，以保障航天器各个行为状态转换的柔顺性；针对目标航天器的机动参数不确定性，设计降阶观测器对未知机动参数进行估计，用于控制器设计；根据不同状态的控制目标，设计了多模态运动规划与控制策略，实现多模态自适应跟踪控制。本发明解决了航天器实现自主绕飞的同时能够有效规避空间目标的碰撞威胁事件，提高航天器的任务遂行能力和空间运行安全性。