发明公开
- 专利标题: 多模态语言模型的部署方法、装置、设备、介质和产品
-
申请号: CN202410766522.6申请日: 2024-06-14
-
公开(公告)号: CN118708339A公开(公告)日: 2024-09-27
- 发明人: 林坚 , 周正寅 , 陈建忠 , 余立 , 严昱超 , 金炜众 , 侯一曼 , 梅敬武 , 葛子贤 , 刘世博 , 蒋健
- 申请人: 中国移动通信集团浙江有限公司 , 中国移动通信集团有限公司 , 中国移动(浙江)创新研究院有限公司 , 浙江移动信息系统集成有限公司
- 申请人地址: 浙江省杭州市解放东路19号; ; ;
- 专利权人: 中国移动通信集团浙江有限公司,中国移动通信集团有限公司,中国移动(浙江)创新研究院有限公司,浙江移动信息系统集成有限公司
- 当前专利权人: 中国移动通信集团浙江有限公司,中国移动通信集团有限公司,中国移动(浙江)创新研究院有限公司,浙江移动信息系统集成有限公司
- 当前专利权人地址: 浙江省杭州市解放东路19号; ; ;
- 代理机构: 北京路浩知识产权代理有限公司
- 代理商 幸盼
- 主分类号: G06F9/50
- IPC分类号: G06F9/50 ; G06F8/36 ; G06N5/04
摘要:
本发明提供一种多模态语言模型的部署方法、装置、设备、介质和产品,属于人工智能技术领域,该方法包括:对编码器簇集合中的任一编码器簇、映射器簇集合中的任一映射器簇以及生成式语言模型集合中的任一生成式语言模型进行动态组合;对于任一多模态推理任务,从所有组合中选择任一符合需求约束的组合构成多模态语言模型,对多模态语言模型进行部署,以执行多模态推理任务。本发明通过编码器簇、映射器簇和生成式语言模型的动态组合构建多模态语言模型执行多模态推理任务,且编码器簇之间可复用部分编码器,映射器簇之间可复用部分映射器,使得各个计算性能高的模块被充分复用,以节约计算性能高的模块所占用的冗余算力、内存等资源。