一种基于大模型和注意力机制的多模态数据融合分类方法

    公开(公告)号:CN118823528A

    公开(公告)日:2024-10-22

    申请号:CN202410791163.X

    申请日:2024-06-19

    摘要: 本发明属于计算机技术领域,涉及一种基于大模型和注意力机制的多模态数据融合分类方法;将第一图像特征向量和第二图像特征向量输入至分类模型中的滑动窗口交叉注意力融合模块,输出第一目标图像特征向量和第二目标图像特征向量;将第一目标图像特征向量、第二目标图像特征向量和文本特征向量输入至分类模型中的异构数据交叉注意力融合模块,输出目标对象的目标特征向量;将目标对象的目标特征向量输入至分类模型中的全连接层,输出目标对象的分类结果。本申请直接对不同图像特征进行融合,既融合了不同图像之间的特征信息,又避免了过度融合导致的过拟合风险,减少了信息冗余和噪声,可以更好地平衡文本模态和图像模态,提高了分类结果的准确性。

    一种基于大模型的知识图谱补全方法

    公开(公告)号:CN118820484A

    公开(公告)日:2024-10-22

    申请号:CN202410804900.5

    申请日:2024-06-21

    摘要: 本发明涉及知识图谱补全任务技术领域,具体指一种基于大模型的知识图谱补全方法、设备及可读存储介质,包括:基于各个实体嵌入特征,构建各个实体的节点中心度函数、节点指示函数,确定所有实体的中心度数之和、节点指示函数值之和;基于各个待预测三元组的实体分布概率,构建各个待预测三元组的焦点损失函数,并结合所有实体的中心度数之和、节点指示函数值之和,构建各个待预测三元组的基于节点中心度的焦点平衡损失函数;根据预设的批次大小,构建当前批次的目标损失函数。本发明提高了大模型收敛速度、精度,提高了二阶段补全框架的推理速度、预测准确度,提高了知识图谱最终补全结果的准确率以及补全过程的处理效率。

    一种知识图谱链路预测方法

    公开(公告)号:CN117952206A

    公开(公告)日:2024-04-30

    申请号:CN202410358013.X

    申请日:2024-03-27

    申请人: 江南大学

    摘要: 本发明涉及知识图谱补全任务技术领域,具体指一种知识图谱链路预测方法,包括:利用预编码模型得到嵌入层向量,并构建对应掩码三元组;对掩码三元组中各元素加上对应位置编码,得到对应输入序列,并将其输入至训练好的主掩码模型中,输出对应实体分类概率;根据实体分类概率,预测潜在可能实体;还包括:将嵌入层向量对应语义信息与嵌入模型对应结构信息拼接,得到融合后的头实体与关系表达,并构建对应融合掩码三元组;对融合掩码三元组中各元素加上对应位置编码,得到对应融合输入序列;本发明使用预编码方法,有效减轻模型的训练压力,提高模型的推理速度;并在输入主掩码模型前使用融合模块,保证了文本描述信息的完整性,提高了预测精确度。

    在线笔迹认证中一种书写节奏特征的提取及认证方法

    公开(公告)号:CN111310546B

    公开(公告)日:2023-08-08

    申请号:CN201911224888.6

    申请日:2019-12-04

    申请人: 江南大学

    摘要: 本发明涉及信息安全领域,公开了在线笔迹认证中一种书写节奏特征的提取及认证方法,包括如下步骤:书写节奏特征预学习,取得书写节奏特征概率密度函数,书写节奏特征注册,计算注册手写笔迹样本在书写节奏特征每个分量上的最大最小值,书写节奏特征认证,计算观测到测试手写笔迹样本与注册手写笔迹样本所有稳定且一致的书写节奏特征分量的概率,依此概率值作为进一步判别的依据。本发明在线笔迹认证中一种书写节奏特征的提取及认证方法,有效提取书写节奏特征,并估算稳定且一致书写节奏特征在人群中出现的概率,通过有效识别不易被察觉的书写方式,极大地增加摹仿者的攻击难度和攻击成本,从而提升笔迹认证性能。

    一种具备鲁棒性的半监督图像聚类方法

    公开(公告)号:CN109711456B

    公开(公告)日:2023-04-28

    申请号:CN201811572902.7

    申请日:2018-12-21

    摘要: 本发明公开了一种具备鲁棒性的半监督图像聚类方法,它涉及图像处理及应用领域。该方法针对一般图像聚类技术里面专注于对图像数据预处理和特征筛选上,而在聚类方法上并未有所突破,提出了一种具备鲁棒性的半监督图像聚类方法。该图像聚类方法首先考虑了实际情况下图像数据中存在的噪声和离群值,通过鲁棒性的正则化来减少噪声和离群值的影响,再从有标记图像和无标记图像两个方面着手挖掘图像数据知识;同时,在图像数据的预处理和特征筛选上,采取了具有适用性的归一化来事先处理图像数据,充分保证图像数据信息的完整性。

    基于深层3D网络与迁移学习的医学图像生成方法

    公开(公告)号:CN112967240A

    公开(公告)日:2021-06-15

    申请号:CN202110215672.4

    申请日:2021-02-26

    申请人: 江南大学

    摘要: 本发明公开了基于深层3D网络与迁移学习的医学图像生成方法,本发明利用图像预处理、制作数据集、数据增强、模型训练、观测模型、网格寻优、再次训练、再次核对、数据测试、评价指标、结果讨论的方式进行模型的训练,并最终利用该模型进行医学图像的生成,涉及医学图像处理技术领域,本发明科学合理,使用安全方便,在本模型中,是将原始图像分成若干个区域,计算各个域的Softmax数值求取平均值,本发明的模型仅仅需要两类医学图像即可,并没有过多的要求,这对于临床实践而言是有意义的;本发明的模型是两个域之间的转换,可以同时进行两种图像的转换,从转换效率而言,本发明的模型转化效率更高。

    用于对糖尿病肾病进行无线智能诊断的装置及计算机可读存储介质

    公开(公告)号:CN110136823B

    公开(公告)日:2020-05-19

    申请号:CN201910371703.8

    申请日:2019-05-06

    申请人: 江南大学

    IPC分类号: G16H40/67

    摘要: 本发明公开了一种用于对糖尿病肾病进行无线智能诊断的装置,包括:用于由无线终端收集患者的糖尿病肾病相关参数的单元;用于由无线终端接收由第一糖尿病肾病数据接收装置发送的第一系统消息,并接收由第二糖尿病肾病数据接收装置发送的第二系统消息的单元;用于由无线终端判断第一系统消息和第二系统消息中是否包括最低接收功率门限的单元;用于由无线终端接收由第一糖尿病肾病数据接收装置发送的第一参考信号,并接收由第二糖尿病肾病数据接收装置发送的第二参考信号的单元;用于由无线终端基于第一参考信号,得到第一参考信号接收功率数值的单元;用于由无线终端基于第二参考信号,得到第二参考信号接收功率数值的单元。