强化学习模型的训练方法、装置、电子设备及存储介质

    公开(公告)号:CN117993473A

    公开(公告)日:2024-05-07

    申请号:CN202410237664.3

    申请日:2024-03-01

    IPC分类号: G06N3/092

    摘要: 本申请提出一种强化学习模型的训练方法、装置、电子设备及存储介质,其中,方法包括:将第一时刻下的样本状态数据输入至PID控制器,由PID控制器输出样本第一动作;获取样本第一动作的样本奖励数据;对第一时刻下的样本状态数据、样本第一动作和样本第一动作的样本奖励数据进行关联,得到第一训练样本;将第一训练样本添加到智能体的强化学习模型的经验池;从经验池中筛选出目标训练样本,并基于目标训练样本,对强化学习模型进行训练。由此,可基于PID控制器生成第一训练样本,并将第一训练样本添加到经验池,以对强化学习模型进行训练,加快了强化学习模型的收敛速度,可自动生成大量的第一训练样本,提高了强化学习模型的鲁棒性。

    一种易脱模的筒形复合材料结构件整体成型方法

    公开(公告)号:CN105690791A

    公开(公告)日:2016-06-22

    申请号:CN201610040526.1

    申请日:2016-01-21

    IPC分类号: B29C70/34 B29C33/00

    CPC分类号: B29C70/342 B29C33/00

    摘要: 本发明属于复合材料成型技术领域,提供了一种易脱模的筒形复合材料结构件整体成型方法。包括如下步骤:按照待成型的筒形复合材料结构件的尺寸制备耐高温高压材料的密封气囊;将密封气囊充满压缩气体后密封,作为筒形复合材料结构件的模具;在密封气囊表面涂脱模剂或铺贴脱模布;采用缠绕成型方法完成筒形复合材料结构件的纤维铺放;将纤维铺放完成的筒形复合材料结构件采用热压罐-真空袋法固化;将密封气囊放气减压,使筒形复合材料结构件与气囊脱离,完成脱模过程,获得整体筒形复合材料结构件。本发明方法工艺简单,不仅能够实现各种复杂筒形复合材料结构件的整体成型,而且脱模方便,可以明显降低成本。

    智能流动收款系统
    4.
    发明公开

    公开(公告)号:CN103839341A

    公开(公告)日:2014-06-04

    申请号:CN201410103080.3

    申请日:2014-03-19

    IPC分类号: G07G1/14

    摘要: 本发明公开了一种智能流动收款系统,包括:中央控制单元、移动终端系统和客户信息通信单元;使用过程中,顾客通过所述的客户信息通信单元,向中央控制单元发送结账请求;所述的客户通信单元将请求和客户所在位置发送到所述的中央控制单元;中央控制单元根据客户所在位置和移动终端系统所在位置,实时计算并发送路径和调度指令至所述的移动终端系统;移动终端系统按所述路径到达顾客附近;将传统的固定柜台式收银方式转变为购物者自助进行结算的柔性管理方式。该系统具有设置灵活、可移植性强、可有效节省人工成本等优点,属于一种集实用性与科技创新性于一体的新型超市/商场流动收款系统。

    防侧倾装置
    5.
    发明授权

    公开(公告)号:CN103832384B

    公开(公告)日:2017-06-27

    申请号:CN201410103190.X

    申请日:2014-03-19

    IPC分类号: B60R21/13

    摘要: 本发明公开了一种防侧倾装置,设置在车辆底部,结构主要包括:由电机驱动旋转的中央旋转轴和多个围绕中央旋转轴公转的配重块,所述的多个配重块的公转轨道不重合,即配重块在公转的过程中不会与其它的配重块发生碰撞和摩擦。在所安装车辆处于平衡状态或描述为正常行驶状态下,所述的多个配重块的重心位于所述旋转轴的中轴线上,即所述的多个配重块处于力平衡状态。侧倾发生时,所述的旋转轴带动所述的多个配重块的重心旋转至侧倾的相反方向,防止侧倾;侧倾状态结束,中央旋转轴带动所述的多个配重块的重心重新回到所述的中轴线上,多个配重块重新回到力平衡状态。

    智能流动收款系统
    6.
    发明授权

    公开(公告)号:CN103839341B

    公开(公告)日:2016-03-09

    申请号:CN201410103080.3

    申请日:2014-03-19

    IPC分类号: G07G1/14

    摘要: 本发明公开了一种智能流动收款系统,包括:中央控制单元、移动终端系统和客户信息通信单元;使用过程中,顾客通过所述的客户信息通信单元,向中央控制单元发送结账请求;所述的客户通信单元将请求和客户所在位置发送到所述的中央控制单元;中央控制单元根据客户所在位置和移动终端系统所在位置,实时计算并发送路径和调度指令至所述的移动终端系统;移动终端系统按所述路径到达顾客附近;将传统的固定柜台式收银方式转变为购物者自助进行结算的柔性管理方式。该系统具有设置灵活、可移植性强、可有效节省人工成本等优点,属于一种集实用性与科技创新性于一体的新型超市/商场流动收款系统。

    防侧倾装置
    7.
    发明公开

    公开(公告)号:CN103832384A

    公开(公告)日:2014-06-04

    申请号:CN201410103190.X

    申请日:2014-03-19

    IPC分类号: B60R21/13

    摘要: 本发明公开了一种防侧倾装置,设置在车辆底部,结构主要包括:由电机驱动旋转的中央旋转轴和多个围绕中央旋转轴公转的配重块,所述的多个配重块的公转轨道不重合,即配重块在公转的过程中不会与其它的配重块发生碰撞和摩擦。在所安装车辆处于平衡状态或描述为正常行驶状态下,所述的多个配重块的重心位于所述旋转轴的中轴线上,即所述的多个配重块处于力平衡状态。侧倾发生时,所述的旋转轴带动所述的多个配重块的重心旋转至侧倾的相反方向,防止侧倾;侧倾状态结束,中央旋转轴带动所述的多个配重块的重心重新回到所述的中轴线上,多个配重块重新回到力平衡状态。

    一种用于CFRP-AL单搭接接头湿热老化性能研究的有限元分析方法

    公开(公告)号:CN114372391A

    公开(公告)日:2022-04-19

    申请号:CN202111516638.7

    申请日:2021-12-13

    摘要: 一种用于CFRP‑AL单搭接接头湿热老化性能研究的有限元分析方法,包括:1)根据Fickian第二定律和各向同性材料传热过程确定水分扩散系数D;2)建立单搭接接头胶层水分扩散有限元模型,得到搭接接头胶层水分浓度分布情况;3)根据接头中水分浓度分布对经历不同老化时间的胶层内聚力参数进行退化,得到和吸湿浓度相关的退化内聚力模型;4)利用退化内聚力模型对经历湿热老化的CFRP‑AL单搭接接头准静态拉伸有限元模型进行断裂过程的分析,模拟接头的失效过程。本发明可模拟接头的失效过程,实现对粘接结构服役寿命的有效预测。本发明操作简单、开发成本低、满足工艺需求;可解决CFRP‑AL单搭接接头在湿热老化环境中寿命难以预测、开发周期长等问题。

    一种基于动作粒度分组结构的体育视频动作识别方法

    公开(公告)号:CN116524596A

    公开(公告)日:2023-08-01

    申请号:CN202310507915.0

    申请日:2023-05-08

    摘要: 本发明属于计算机视觉与视频动作识别领域,公开了一种基于动作粒度分组结构的体育视频动作识别方法,提出了一种基于动作粒度的层次化分组结构,设计了一种轻量级的多尺度时空建模与信息融合机制。步骤如下:视频抽帧,分段随机帧采样,视频帧预处理,选取骨干网络,在骨干网络中插入动作粒度分组模块实现多尺度时空特征聚合,使用全连接层和softmax层进行类别预测,使用交叉熵损失对动作类别进行训练,训练及验证。通过使用本发明可有效的提取多粒度动作信息,适用于包含多层次类别的体育视频动作识别,并显著提高体育视频动作识别的精度。本发明作为一种基于动作粒度分组结构的体育视频动作识别方法,可广泛应用于体育视频动作识别领域。

    一种易脱模的复合材料储罐整体成型方法

    公开(公告)号:CN105415702A

    公开(公告)日:2016-03-23

    申请号:CN201610041902.9

    申请日:2016-01-21

    IPC分类号: B29C70/34

    CPC分类号: B29C70/342

    摘要: 本发明公开了一种易脱模的复合材料储罐整体成型方法,复合材料成型技术领域。包括如下步骤:按照待成型的复合材料储罐的尺寸制备耐高温高压材料的密封气囊;将密封气囊充满压缩气体后密封,作为复合材料储罐的模具;在密封气囊表面涂脱模剂或铺贴脱模布;采用缠绕成型方法完成复合材料储罐的纤维铺放;将纤维铺放完成的复合材料储罐采用热压罐-真空袋法固化;将密封气囊放气减压,使复合材料储罐与气囊脱离,完成脱模过程,获得整体复合材料储罐。本发明方法工艺简单,不仅能够使复合材料储罐整体性能明显提高,而且脱模方便,可以明显降低成本。