-
公开(公告)号:CN117762257A
公开(公告)日:2024-03-26
申请号:CN202311845319.X
申请日:2023-12-28
申请人: 华中科技大学
IPC分类号: G06F3/01 , G10L15/22 , G10L15/18 , H04N23/63 , H04N23/55 , G10L15/26 , G10L13/02 , G10L15/06 , G10L17/04 , G06F3/16 , G06V20/50 , G06V10/44 , G06N5/04
摘要: 本发明属于人工智能相关技术领域,并公开了一种基于多模态大语言模型的人机交互系统及方法。该系统包括智能视觉交互模块和智能语音助手模块,智能视觉交互模块包括图像采集单元、图像处理单元和图像显示单元,图像采集单元用于采集图像和预处理,图像处理单元将采集的图像进行特征提取,显示单元用于提取的特征以文本的形式显示在显示屏上;智能语音助手模块包括声音采集单元、语音处理单元和语音输出单元,声音采集单元用于采集声音和预处理,语音处理单元用于接受来自语音并进行处理获得相应的输出答案,语音输出单元用于进行语音输出,实现与用户的实时沟通。通过本发明,解决智能系统不能进行语音和视觉等多模态的智能人机交互的问题。
-
公开(公告)号:CN117492560A
公开(公告)日:2024-02-02
申请号:CN202311416843.5
申请日:2023-10-27
申请人: 华中科技大学
IPC分类号: G06F3/01 , G06F3/04886
摘要: 本发明属于虚拟键盘输入相关技术领域,其公开了一种基于增强现实的输入法的实现方法及其应用和实现系统,实现方法包括S1:实时拍摄包含用户手部的实景画面;S2:基于实景画面中采集到的用户手部关节数据构建虚拟手部模型,在AR应用内部利用关节运动数据驱动虚拟手部模型还原用户动作;S3:将所述虚拟键盘与所述实景画面中除大拇指外的手指叠加,采用大拇指触发虚拟键盘,获取触发过程中关节运动驱动虚拟手部模型,在虚拟模型中检测大拇指触发区域实现输入法指令输入。本申请可以实现实体触感和虚拟键盘的结合,解决了现有技术在AR环境中文字输入的问题,极大的提升了用户体验,提升了准确性。
-
公开(公告)号:CN116495386A
公开(公告)日:2023-07-28
申请号:CN202310428025.0
申请日:2023-04-20
申请人: 华中科技大学
IPC分类号: B65G1/04
摘要: 本发明属于自动化设备技术领域,公开了一种用于固定式棒料仓库的自动化系统,包括位于固定式棒料仓库内的固定式货架(12)、自动叉车(11)和棒料组件出库工位(4);该系统还包括棒料上部部件自动拆除装置和棒料上部部件自动安装装置,分别用于对棒料上方已有的部件进行拆除,用于对已拆除上方部件的棒料重新安装预先选取的其它部件。本发明通过对系统内的各组件及它们的工作方式进行改进,能够实现自动化的棒料的搬运、部件装配的流程,并可进一步优选实现自动检测自动安装,自动化程度高、能大幅度提升工作效率,并且能够减小整个流程中棒料搬运的人为因素导致的不确定性。
-
公开(公告)号:CN118544346A
公开(公告)日:2024-08-27
申请号:CN202410668723.2
申请日:2024-05-28
申请人: 华中科技大学无锡研究院
IPC分类号: B25J9/16
摘要: 本发明属于机器人控制与状态监测技术领域,具体公开了一种数字孪生重载机械臂实时控制与在线监测系统,包括真实重载机械臂、机器人操作系统、虚拟仿真引擎和数据库,机器人操作系统包括传感器数据采集模块、控制器模块和通信模块,虚拟仿真引擎包括可视化模块和仿真重载机械臂,数据库包括数据存储模块,传感器数据采集模块、控制器模块、可视化模块和数据存储模块均与通信模块连接,真实重载机械臂分别与传感器数据采集模块和控制器模块连接,仿真重载机械臂分别与可视化模块和传感器数据采集模块连接。本发明能够在测试过程中帮助使用者更加全面地了解重载机械臂的工作状态和性能特点,发现潜在问题并进行优化,从而提高其在实际生产中的稳定性和可靠性。
-
公开(公告)号:CN117601121A
公开(公告)日:2024-02-27
申请号:CN202311571519.0
申请日:2023-11-21
申请人: 华中科技大学
IPC分类号: B25J9/16
摘要: 本发明属于机器人控制相关技术领域,其公开了一种基于人体关节姿态的机器人遥操作方法及系统,方法包括:采集操作人员的彩色图像和深度图像;提取彩色图像中的人体轮廓图像并进行平滑处理,获得人体轮廓骨架,提取人体关节点第一数据;并采用随机森林算法通过深度图像获得人体部位的像素分布,生成人体关节点第二数据;将人体关节点第一数据和人体关节点第二数据进行互信息和加权融合,获取目标关节数据,其中,目标关节包括三关节,其中两关节距离可调节;采用四元数标定法对目标关节数据进行旋转标定获得目标关节的位姿变化。本申请可以实现三关节控制末端执行器,极大的降低了机器人的远程操作难度,提升了用户体验。
-
-
-
-