公开(公告)号：CN118673401A

公开(公告)日：2024-09-20

申请号：CN202410694269.8

申请日：2024-05-30

Applicant: 新疆大学

Inventor： 禹龙 ,  何晓宇 ,  田生伟 ,  王婧 ,  杨启萌 ,  宋金淼 ,  范鑫

IPC: G06F18/2415 ,  G06F18/214 ,  G06F18/25 ,  G06N3/098 ,  G06F16/35 ,  G06F17/16

Abstract: 用于多模态隐喻检测的模态表征分解方法，属于自然语言处理的技术领域。该方法通过不同的Projector将每个模态表征分解为一致性特征和差异性特征。然后，利用设计的对比学习框架为模态的一致性特征和差异性特征学习提供更为全面的视角。同时，为了保留与隐喻检测任务相关模态特异性信息，设计了多任务学习框架，该任务依赖于每个模态的分解表征，使模型能够从单模态预测中进行学习，减少特异性隐喻信息丢失。通过精心设计的对比学习和多任务学习联合框架，确保所有模态中的特征都能够在多个训练路径中得到充分的调整和优化。

公开(公告)号：CN118735794A

公开(公告)日：2024-10-01

申请号：CN202410694283.8

申请日：2024-05-30

Applicant: 新疆大学

Inventor： 禹龙 ,  王婧 ,  田生伟 ,  何晓宇 ,  杨启萌 ,  宋金淼 ,  范鑫

IPC: G06T5/50 ,  G06T5/60 ,  G06T7/40 ,  G06T7/11 ,  G06V10/44 ,  G06F17/16 ,  G06N3/0455 ,  G06N3/088

Abstract: 基于Transformer的无监督多源图像融合方法，属于图像处理的技术领域。该方法中编码器网络包括两个Transformer块和一个细节块。Transformer块利用远程注意力来处理低频全局信息，而细节块则侧重于提取高频局部特征。该方法不仅解决了网络中间层信息利用不足的问题，还能兼顾高频特征和低频信息的捕获。另该方法还在鉴别器中加入了压缩和激励网络，以迫使模型聚焦于源图像中最显著的区域。在多个数据集上进行大量仿真实验的结果表明，与现有融合框架相比，该方法具有竞争力的融合结果。

公开(公告)号：CN118278415A

公开(公告)日：2024-07-02

申请号：CN202410380594.7

申请日：2024-03-30

Applicant: 新疆大学

Inventor： 杨启萌 ,  闫远播 ,  何晓宇 ,  郭世松

IPC: G06F40/30 ,  G06F18/22 ,  G06F18/25 ,  G06V10/40 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0499

Abstract: 基于跨模态多层信息融合的隐喻识别方法，其属于自然语言处理领域。该方法提出了适用于多模态隐喻检测的融合框架，通过前馈引导融合模块和相似度感知聚合器对不同模态的特征进行多层融合。通过生成图片的文本描述来扩充数据的文本量，并将该文本描述作为第三种模态信息加入到多模态隐喻检测任务中。该模型结构并不复杂，因此在多模态隐喻检测性能表现较好的情况下有着较高的运行效率，节约时间，减少成本。