发明公开
- 专利标题： 一种云端多预训练语言模型管理和推断方法、电子设备
-
申请号： CN202310379689.2申请日： 2023-04-11
-
公开(公告)号： CN116737864A公开(公告)日： 2023-09-12
- 发明人: 寿黎但 , 胡鹏飞 , 陈珂 , 王珏 , 李环 , 骆歆远
- 申请人： 浙江大学
- 申请人地址： 浙江省杭州市西湖区余杭塘路866号
- 专利权人： 浙江大学
- 当前专利权人： 浙江大学
- 当前专利权人地址： 浙江省杭州市西湖区余杭塘路866号
- 代理机构： 杭州求是专利事务所有限公司
- 代理商 邱启旺
- 主分类号： G06F16/31
- IPC分类号： G06F16/31 ; G06N3/048 ; G06N3/08
摘要：
本发明公开了一种云端多预训练语言模型管理和推断方法、电子设备，包括通过分发器接收租户发出的模型管理请求和推断请求；其中，模型管理请求具体为租户发起一模型管理请求以改变vBert模型实例树的内容和结构；通过管理器构建并维护浅层特征查找表，更新vBert模型实例树；通过调度器采用流水线的方式调度并且处理模型管理请求和推断请求。
