公开(公告)号：CN117390409A

公开(公告)日：2024-01-12

申请号：CN202311195452.5

申请日：2023-09-17

Applicant: 复旦大学

Inventor： 陈昱妍 ,  李直旭 ,  梁家卿 ,  肖仰华 ,  郭放

IPC: G06F18/21 ,  G06N5/04 ,  G06F18/27 ,  G06F18/2431 ,  G06F18/2415

Abstract: 本发明属于大规模语言模型技术领域，具体为一种大规模语言模型生成答案可靠性检测方法。本发明通过构建一个鲁棒的判别器RelD来检测大规模语言模型生成答案的可靠性，包括构建训练数据集RelQA，该数据集包括现有多个数据集的问题、上下文和大规模语言模型生成的答案以及多种评估指标；将RelQA作为输入，结合预训练语言模型，使用加权平均概率方法拟合生成答案的人工标注，来训练判别器RelD；判别器RelD对大规模语言模型生成的答案进行二分类，以此判断生成的答案的可靠性。本发明能够提供更全面、准确的评估结果，更好地反映出生成答案的质量；可以适用于不同的大型语言模型和应用场景，具有较强的可扩展性。

公开(公告)号：CN118800219A

公开(公告)日：2024-10-18

申请号：CN202310400899.5

申请日：2023-04-14

Applicant: 复旦大学

Inventor： 陈昱妍 ,  李直旭 ,  肖仰华 ,  樊哿

IPC: G10L15/06 ,  G10L15/16

Abstract: 本发明提供了一种面向预训练语言模型微调的参数高效型适配器微调方法，具有这样的特征，包括以下步骤：步骤S1，将预训练语言模型中除分类器模块外的其他参数进行冻结；步骤S2，根据训练数据集和给定下游任务对分类器模块进行反向传播和梯度更新，得到训练好的分类器模块；步骤S3，在预训练语言模型的每层自注意力的后面分别插入适配器；步骤S4，将预训练语言模型的各个适配器和归一化模块解冻，并将其他参数冻结；步骤S5，根据训练数据集对各个适配器和归一化模块进行微调，得到微调好的预训练语言模型；步骤S6，将待分类数据输入预训练语言模型得到分类结果。总之，本方法能够提高预训练语言模型微调的参数效率。

公开(公告)号：CN118484505A

公开(公告)日：2024-08-13

申请号：CN202310098163.7

申请日：2023-02-10

Applicant: 复旦大学

Inventor： 陈昱妍 ,  李直旭 ,  梁家卿 ,  肖仰华

IPC: G06F16/33 ,  G06F16/35 ,  G06F18/214

Abstract: 本发明提供一种探索预训练语言模型幽默理解能力的方法，能够系统性地指导幽默生成任务。该方法采用人机结合的幽默理解评估机制，对预训练语言模型进行幽默识别、幽默类型分类、幽默等级分类和笑点检测四个维度的幽默评估。在该方法中，基于幽默理解评估机制不仅探测了原始预训练语言模型的幽默理解能力，以此评估该原始预训练语言模型是否能够在微调之前或之后理解幽默。还探测了知识增强下预训练语言模型的幽默理解能力，从而评估外部知识是否有助于提高预训练语言模型的幽默理解能力。同时，还对预训练语言模型的幽默理解能力评估结果进行解释，以预训练语言模型是否能够检测出可解释的线索词来理解幽默三个角度来探测语言模型的幽默理解能力。

公开(公告)号：CN117727413A

公开(公告)日：2024-03-19

申请号：CN202311856146.1

申请日：2023-12-29

Applicant: 复旦大学

Inventor： 陈昱妍 ,  肖仰华 ,  李直旭

IPC: G16H10/60 ,  G06N20/00 ,  G06N3/096 ,  G06F40/295

Abstract: 本发明提供了一种面向医疗领域的跨表数据生成方法，具有这样的特征，包括以下步骤：步骤S1，根据现有的非结构化的包含少量文档的医学数据集构建结构化的包含大量数据的合成医学数据集；步骤S2，根据合成医学数据集对现有的医学大语言模型依次进行联邦学习和特定训练，得到特定医学大语言模型；步骤S3，将目标疾病基础信息输入特定医学大语言模型，得到目标疾病生化指标。总之，本方法能够对跨表的目标疾病基础信息进行有效处理，生成与真实特征相一致的目标疾病生化指标。

公开(公告)号：CN117668201A

公开(公告)日：2024-03-08

申请号：CN202311856151.2

申请日：2023-12-29

Applicant: 复旦大学

Inventor： 陈昱妍 ,  肖仰华 ,  李直旭

IPC: G06F16/332 ,  G06N20/00 ,  G06N3/092 ,  G06N3/09

Abstract: 本发明提供了一种大语言模型高语境共情增强回复生成方法及装置，具有这样的特征，包括以下步骤：步骤S1，根据现有的共情对话数据构建共情对话数据集，共情对话数据集包括不同难易度的多个任务子集；步骤S2，根据共情对话数据集对现有的大语言模型进行训练，得到共情回复模型和强化学习模型；步骤S3，将指定对话输入共情回复模型，得到初始回复；步骤S4，将初始回复输入强化学习模型，得到共情回复。总之，本方法能够在高语境文化中生成更符合情感、角色和性格的共情回复。

公开(公告)号：CN118467725A

公开(公告)日：2024-08-09

申请号：CN202310090342.6

申请日：2023-02-09

Applicant: 复旦大学

Inventor： 陈昱妍 ,  肖仰华 ,  李直旭

IPC: G06F16/35 ,  G06F18/24 ,  G06N3/0442 ,  G06N3/047 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明提供一种面向多标签文本分类的知识增强型文档‑标签注意力方法，首先创新性地挖掘并选择多标签文档的外部知识，以丰富文档内容，并将文档与知识联合进行编码和训练，提高文档和知识之间潜在语义的交互性。同时还对构建的标签集进行嵌入，从而捕获每个文档对应标签集之间的上下文关系。之后，基于文档‑知识‑标签的全局注意力机制，即为文档‑标签对和知识‑标签对采用加权注意力机制来融合文档、知识和标签之间的全局信息，分配权重以获得依赖和独立的标签表示，从而捕获文档、知识分别与标签集之间的交互特征。最后基于文档、知识和标签的全局表示来预测每个文档的所有标签。该方法解决了多标签文本分类中文档不丰富和标签依赖性的问题。

公开(公告)号：CN117708318A

公开(公告)日：2024-03-15

申请号：CN202311856147.6

申请日：2023-12-29

Applicant: 复旦大学

Inventor： 陈昱妍 ,  肖仰华 ,  李直旭 ,  郭放

IPC: G06F16/34 ,  G06F16/33 ,  G06F40/289 ,  G06N20/00 ,  G06N3/092

Abstract: 本发明提供了一种具有图像子图数量适应性的模因图配文生成方法及装置，具有这样的特征，包括：步骤S1，根据现有的多个模因图构建中文模因数据集，中文模因数据集包括多个图片和配文；步骤S2，根据中文模因数据集对现有的大语言模型进行训练，得到最终大语言模型和强化学习模型；步骤S3，将指定图像输入现有的多模态大模型，得到指定幽默链和指定图像特征；步骤S4，将指定幽默链和指定图像特征输入最终大语言模型，得到初始配文；步骤S5，将初始配文输入强化学习模型，得到最终配文。总之，本方法能够生成更匹配模因图的幽默配文。