公开(公告)号：CN119204137A

公开(公告)日：2024-12-27

申请号：CN202411264192.7

申请日：2024-09-10

Applicant: 厦门大学

Inventor： 周奕毅 ,  叶伟豪 ,  纪荣嵘 ,  吴穹

IPC: G06N3/082 ,  G06N3/045 ,  G06V10/82 ,  G06V20/70 ,  G06F40/279 ,  G06F18/25

Abstract: 本发明公开了一种基于多模态大模型的自适应视觉标记剪枝方法及装置，方法包括：计算视觉标记的两个初始分布；根据二分查找算法初始化误差阈值；使用贪心算法删除对两个初始分布影响最小的视觉标记直到两个初始分布的误差均达到误差阈值，得到两组候选删除标记并取交集，基于交集对视觉标记进行删除；根据删除完视觉标记的模型运算量与目标计算量更新误差阈值边界；重复删除与更新步骤直到达到停止条件，计算一批数据平均每层视觉标记删除的数量作为删除策略；对待删除的视觉标记进行排序后再记按照删除策略进行删除。本发明通过自动识别和移除冗余视觉标记来优化计算资源的使用，在不牺牲模型性能的前提下降低运行成本、加速模型的推理速度。

公开(公告)号：CN118153645B

公开(公告)日：2024-11-12

申请号：CN202410569057.7

申请日：2024-05-09

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  周毅奕 ,  吴穹 ,  叶伟豪

IPC: G06N3/0499 ,  G06N3/096

Abstract: 本发明提供一种基于多头注意力冗余评估的大规模预训练模型迁移方法，所述方法包括：获取大规模预训练模型，在每个多头注意力模块前插入一个传播信息适配器；计算每一个多头注意力模块的偏好得分；将偏好得分按照从高到低排序，筛选出偏好得分最低的一定数量的多头注意力模块作为被跳过的模块；对于每一个被跳过的模块，用其同层的传播信息适配器替代，执行信息交换和模态路由，得到紧凑的网络模型；对所述紧凑的网络模型进行训练；训练完成后，将传播信息适配器与网络进行重参数化，得到训练后的模型。本发明方法可在保持或提高模型性能的同时显著减少模型的参数数量和推理时间，从而提高模型迁移效率。

公开(公告)号：CN118153645A

公开(公告)日：2024-06-07

申请号：CN202410569057.7

申请日：2024-05-09

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  周毅奕 ,  吴穹 ,  叶伟豪

IPC: G06N3/0499 ,  G06N3/096

Abstract: 本发明提供一种基于多头注意力冗余评估的大规模预训练模型迁移方法，所述方法包括：获取大规模预训练模型，在每个多头注意力模块前插入一个传播信息适配器；计算每一个多头注意力模块的偏好得分；将偏好得分按照从高到低排序，筛选出偏好得分最低的一定数量的多头注意力模块作为被跳过的模块；对于每一个被跳过的模块，用其同层的传播信息适配器替代，执行信息交换和模态路由，得到紧凑的网络模型；对所述紧凑的网络模型进行训练；训练完成后，将传播信息适配器与网络进行重参数化，得到训练后的模型。本发明方法可在保持或提高模型性能的同时显著减少模型的参数数量和推理时间，从而提高模型迁移效率。