一种机器人视觉语言导航的动作自适应方法和系统

    公开(公告)号:CN118832572A

    公开(公告)日:2024-10-25

    申请号:CN202410784417.5

    申请日:2024-06-18

    申请人: 同济大学

    摘要: 本发明涉及一种机器人视觉语言导航的动作自适应方法和系统,包括:确定机器人可行动作空间数值范围,并生成随机动作;基于随机动作与环境交互所得变化,利用机器人动作影响自编码模块得到动作嵌入向量;基于动作嵌入向量,对比数据集中特定动作并计算差异,确定当前执行动作及对应的语义含义;基于确定性的动作与环境交互所得,利用交叉模态注意力特征提取模块,得到机器人视觉语言多模态特征;基于机器人视觉语言多模态特征,作为扩散策略决策模块条件,迭代推理出机器人下一步执行动作;对机器人状态进行更新,直至到达目标结束本次导航任务。与现有技术相比,本发明具有增强机器人动作自适应的鲁棒性和准确性等优点。

    一种人形机器人步态分析与识别及机器人控制方法

    公开(公告)号:CN118415626A

    公开(公告)日:2024-08-02

    申请号:CN202410506147.1

    申请日:2024-04-25

    申请人: 同济大学

    摘要: 本发明公开了一种人形机器人步态分析及机器人控制方法,涉及机器人控制技术领域。利用采集到的步态数据预训练步态分析与识别模型,用于评估人形机器人的步态参数,所述的步态参数包括:步态对称性、步态一致性、动作、步态相位以及步态健康程度;基于预训练的步态分析与识别模型实时估计出的步态参数。之后将预训练的步态分析与识别模型部署到人形机器人控制策略中;将步态分析与识别模型实时估计出的步态参数加入人形机器人控制策略的状态空间,由控制策略生成并执行相应的行为动作。本发明通过评估人形机器人在运动时的对称性、一致性,同时识别机器人的动作及其步态相位,以量化机器人的步态参数,以提高机器人在学习过程中的表现。

    基于运动重建的跌倒检测的仿真IMU训练数据生成方法、跌倒检测方法及装置

    公开(公告)号:CN118298255A

    公开(公告)日:2024-07-05

    申请号:CN202410169455.X

    申请日:2024-02-06

    申请人: 同济大学

    摘要: 本发明涉及一种基于运动重建的跌倒检测的仿真IMU训练数据生成方法、跌倒检测方法及装置,其中生成方法包括:步骤S1:对视频片段进行跌倒状态标注;步骤S2:得到各人体关键点的二维坐标;步骤S3:得到各关键点的三维坐标;步骤S4:基于存在先验角度的关节生成先验角度值序列;步骤S5:将对应于所述关节的模拟角度的仿真骨骼模型作为当前时刻的姿态识别结果;步骤S6:计算各测量部位的三轴加速度和速度,连同对应的跌倒状态标注结果,作为仿真IMU训练数据。与现有技术相比,本发明实现了跨模态数据生成,从视频到惯性测量单元,从而有效地解决了传统IMU数据集受限和实验范式不一致的问题。

    一种基于单视角RGBD融合网络的手物交互重建方法

    公开(公告)号:CN118071934A

    公开(公告)日:2024-05-24

    申请号:CN202410368408.8

    申请日:2024-03-28

    申请人: 同济大学

    摘要: 本发明涉及一种基于单视角RGBD融合网络的手物交互重建方法,步骤包括:将手物交互的对齐RGBD图像的深度图转化为点云,并应用特征编码器从中提取RGB特征和点特征;融合所提取的RGB特征和点特征,生成密集RGBD特征;采用SDF特征编码器将密集RGBD特征生成手物形状编码,通过手物几何特征估计模块预测手物的姿态参数和物体位置;通过几何傅里叶特征编码模块处理基于每个三维查询点相对于手腕的旋转和平移以及物体的平移,获得手物几何编码;采用手和物体SDF解码器利用手物形状编码和手物几何编码估计每个三维查询点的SDF重建手和物体形状。与现有技术相比,本发明更充分融合了RGB和深度信息,实现了几何精细的手物交互重建。

    一种基于多维赛博空间的移动智能体数字孪生系统

    公开(公告)号:CN112115607B

    公开(公告)日:2024-04-26

    申请号:CN202010970455.1

    申请日:2020-09-16

    申请人: 同济大学

    摘要: 本发明涉及一种基于多维赛博空间的移动智能体数字孪生系统,具体包括以下结构:物理空间试验场,为移动智能体测试提供运动空间作为简易物理测试环境;赛博空间运维系统,根据物理空间试验场,进行数据采集融合处理,利用VR技术、集合实体建模技术和多学科联合仿真技术构建的多维映射赛博空间的运行载体;高通量数据传输信道,为赛博空间运维系统与物理空间试验场的信息流交互提供多输入多输出数据传输通道;虚实多维空间可视化系统,提供移动智能体试验测试过程的可视化推演及人机交互。与现有技术相比,本发明具有多对一的虚实交互孪生测试能力,提升了移动智能体试验的泛化能力、强化了试验测试结果的同时降低了试验研发成本等优点。

    一种基于平行对称视触觉传感器的触觉特征提取方法及装置

    公开(公告)号:CN117788837A

    公开(公告)日:2024-03-29

    申请号:CN202311708794.2

    申请日:2023-12-13

    申请人: 同济大学

    摘要: 本发明涉及一种基于平行对称视触觉传感器的触觉特征提取方法及装置,其中,该方法包括:获取视触觉传感器输出的一对触觉图像;对所述一对触觉图像进行空畸变校正和空间一致性标定;分别采用高效滤波算法、采用分层Canny边缘检测算法、采用Poisson法对校正后的触觉图像进行特征提取,分别得到触觉特征光流场、得到触觉特征边缘场、得到触觉特征深度场;根据接触表面压力与触觉特征深度场间的非线性对应关系曲线,建立触觉特征接触力场;将触觉特征光流场、边缘场、深度场以及接触力场线性叠加,构建四维度的触觉特征。与现有技术相比,本发明的方法具有计算速度快,满足快速实时性的需要,还能够解决超分辨率、高精度、多维度触觉特征提取,提取的触觉特征具有更全面的触觉特征表示,本发明的装置采用了一体式模块化,具有体积小等优点。