大模型控制电子设备的方法和装置

    公开(公告)号:CN118245111A

    公开(公告)日:2024-06-25

    申请号:CN202410173153.X

    申请日:2024-02-07

    Applicant: 吉林大学

    Abstract: 本申请提供了一种大模型控制电子设备的方法和装置,涉及计算机技术领域。该方法包括:确定电子设备当前需要完成的第一任务,以及获取电子设备当前的第一状态信息和显示屏当前的第一屏幕截图,将第一任务、第一状态信息和第一屏幕截图输入预先训练得到的多模态大模型得到多模态大模型输出的第一结果,之后控制电子设备执行第一结果中包括的至少一个第一指令。本申请实施例中,通过多模态大模型将任务分解为至少一个指令,然后控制电子设备执行每个指令,不需要用户手动向电子设备输入指令控制电子设备动作,可以降低用户的工作难度和工作量。

Patent Agency Ranking