一种基于多模态大模型与AirSim的无人机具身数据生成方法、系统及装置

    公开(公告)号:CN119048717A

    公开(公告)日:2024-11-29

    申请号:CN202411138013.5

    申请日:2024-08-19

    Abstract: 本发明属于具身智能领域,公开一种基于多模态大模型与AirSim的无人机具身数据生成方法、系统及装置;所述方法包括:基于AirSim模拟器搭建仿真飞行环境;在仿真飞行环境中,构建虚拟无人机、目标电力设备以及障碍模型;通过多模态大模型生成虚拟无人机的控制指令集合;虚拟无人机根据控制指令集合在仿真飞行环境中飞行至目标电力设备处进行巡检,实时获取多视角数据、无人机姿态信息、巡检视频和相应的控制指令,来构建多模态具身数据。上述技术方案在提高数据采集效率的同时,避免了无人机进行数据采集的安全风险,以实现对多模态具身数据的获取,在为自然语言模型提供可靠数据集进行训练测试的同时,实现了根据自然语言模型对无人机飞行路线的智能规划。

Patent Agency Ranking