一种基于大语言模型的语义日志解析系统

    公开(公告)号:CN118606286A

    公开(公告)日:2024-09-06

    申请号:CN202410559790.0

    申请日:2024-05-08

    Applicant: 复旦大学

    Abstract: 本发明属于自然语言处理技术领域,具体为基于大语言模型的语义日志解析系统。本发明系统包括:子词特征提取模块,通过删除因果掩码使LLAMA2的结构适应解析任务,利用大语言模型的丰富知识为每个子词提取准确的特征表示;语义识别模块,基于多头交叉注意力机制,整合每个子词的特征,进而提取日志模板并预测日志参数的语义类别;解析树模块,以树形结构存储解析得到的模板,与解析过程同步构建和更新,用于加速大规模实时日志的推理过程。本发明在常规解析和语义解析数据集上均取得了满意的效果。本发明有较强的泛化性,能捕获日志的语义特征,并有效缓解了大规模日志数据下解析效率低的问题,能够为日志相关的下游任务提供有力支持。

    一种基于超球几何结构的持续学习方法

    公开(公告)号:CN117114128A

    公开(公告)日:2023-11-24

    申请号:CN202310972905.4

    申请日:2023-08-03

    Applicant: 复旦大学

    Abstract: 本发明属于机器学习技术领域,具体为一种基于超球几何结构的持续学习方法。本发明方法包括:将视觉特征投影到超球空间中,在这个较低维的嵌入空间中构建类别原型,并进行持续学习;基于超球结构,设计了基础训练方案,包括实例原型紧性损失函数来减少类间距离,以及类间原型分离损失函数来最大化类间的分离性;设计了增量学习方案,包括原型的构建和适应策略,以有效地适应新的类;以及实例原型关系保持蒸馏方案来克服灾难性遗忘的问题。以上方法在多个图像数据集上进行了实验验证,证明方法的优越性。本发明能够帮助深度学习模型在增量学习场景下的具有对未来数据更强的适应能力并且有助于克服对旧数据的灾难性遗忘问题。

    一种高效的隐私保护子图查询处理方法

    公开(公告)号:CN109614521B

    公开(公告)日:2023-06-27

    申请号:CN201811329958.X

    申请日:2018-11-09

    Applicant: 复旦大学

    Abstract: 本发明属于隐私保护技术领域,具体为一种高效的隐私保护子图查询处理方法。本发明利用k‑automorphism模型来保护属性图的结构隐私,并通过综合考虑属性的t‑closeness约束以及子图查询在图上的搜索空间来保护属性图的属性隐私,针对结构和属性隐私处理后的图,进一步提出高效的子图查询处理算法。本发明方法框架清晰、使用方便、可扩展性强,并在三个图数据集上的隐私保护和子图查询处理两大任务的结果上,都远远超过了现有方法。本发明能够为隐私保护图数据查询,图数据分析等涉及到隐私保护和图数据处理的领域,提供基础框架和算法的支持。

    一种基于条件概率分布的隐私保护数据发布方法

    公开(公告)号:CN109543445B

    公开(公告)日:2022-12-20

    申请号:CN201811265074.2

    申请日:2018-10-29

    Applicant: 复旦大学

    Abstract: 本发明属于信息安全隐私保护技术领域,是一种基于条件概率分布的隐私保护数据发布方法。根据条件概率分布对攻击者的先验知识进行建模,让攻击者在不同事务中具有不同的先验知识;然后利用构建的模型和准标识符属性值,对每条记录的敏感属性值进行预测,并用预测值替换原始值后进行发布。发布的敏感属性预测值与原始值没有直接相关性,有效保护了用户数据隐私;预测的敏感属性值分布与真实的分布近似,有效控制了分布误差,确保其发布数据集比泛化及随机应答方法发布的数据集可用性更好。本发明能为医疗、金融、生信、交通等各个社会领域的数据发布提供隐私保护机制,在保护用户数据隐私的同时,为数据在科学研究和社会服务中的应用提供支撑。

    一种基于多解码器的数据标注错误检测方法与装置

    公开(公告)号:CN114239751A

    公开(公告)日:2022-03-25

    申请号:CN202111654954.0

    申请日:2021-12-31

    Abstract: 本发明公开了一种基于多解码器的数据标注错误检测方法与装置,通过建立图像数据集,利用图像数据集对半监督异常检测神经网络进行训练;将训练过程中由编码器产生的隐层特征通过多个解码器对样本数据进行重构,得到隐层特征重构层;其中,正样本解码器为一般的单解码器,负样本解码器则为特殊的多通道解码器,这样的设计有利于刻画与区别正样本和负样本的不同性质;通过比较两个解码器对数据样本的重构效果对待检测图像数据进行异常检测。本发明能够提高负样本解码器对异常样本的拟合能力,从而扩大正常样本与异常样本之间的异常得分差距,提高异常检测性能。

    视频质量增强方法和系统
    18.
    发明授权

    公开(公告)号:CN112584158B

    公开(公告)日:2021-10-15

    申请号:CN201910945672.2

    申请日:2019-09-30

    Abstract: 本申请实施例提供了一种视频质量增强方法,该方法包括:获取待处理的帧序列,所述帧序列包括目标帧以及与所述目标帧邻近的多个邻近帧;提取所述帧序列中各个帧的特征信息;根据所述各个帧的特征信息获取用于增强所述目标帧的参考特征信息;根据所述参考特征信息和所述目标帧,获取对应于所述目标帧的目标增强帧。本申请实施例可以有效地将有损视频恢复为高质量视频。

    视频质量增强方法和系统
    19.
    发明公开

    公开(公告)号:CN112584158A

    公开(公告)日:2021-03-30

    申请号:CN201910945672.2

    申请日:2019-09-30

    Abstract: 本申请实施例提供了一种视频质量增强方法,该方法包括:获取待处理的帧序列,所述帧序列包括目标帧以及与所述目标帧邻近的多个邻近帧;提取所述帧序列中各个帧的特征信息;根据所述各个帧的特征信息获取用于增强所述目标帧的参考特征信息;根据所述参考特征信息和所述目标帧,获取对应于所述目标帧的目标增强帧。本申请实施例可以有效地将有损视频恢复为高质量视频。

    零样本目标检测系统及可学习语义和固定语义融合方法

    公开(公告)号:CN112036447A

    公开(公告)日:2020-12-04

    申请号:CN202010802487.0

    申请日:2020-08-11

    Applicant: 复旦大学

    Abstract: 本申请公开了一种零样本目标检测系统及可学习语义和固定语义融合方法,将零样本学习机制引入到深度目标检测框架,建立一套基于具有强判别能力的零样本目标检测系统LAT-Net,通过LAT-Net实现端到端的零样本目标检测任务。使用了可学习的语义特征和固定语义特征相结合的方法,使得网络在源域训练时,既可以充分利用类别的词向量信息,又可以利用到端到端学习,发现更加具有鉴别能力的类别原型,取得了最好的检测准确率。本发明系统框架简单、使用方便、可扩展性强、可解释性强,并在两个主流视觉属性数据集的零样本检测和泛化零样本检测两大任务的结果上,均超过了现有方法。为目标检测技术在军事和工业应用领域,提供基础框架和方法的支持。

Patent Agency Ranking