公开(公告)号：CN118210383A

公开(公告)日：2024-06-18

申请号：CN202410632391.2

申请日：2024-05-21

Applicant: 南通亚森信息科技有限公司

Inventor： 张晓晶

IPC: G06F3/01 ,  G06F18/25 ,  G06F40/205 ,  G06F40/279 ,  G06F18/22 ,  G10L15/18 ,  G06F18/214

Abstract: 本发明公开了一种信息输入系统，具体涉及信息输入技术领域，包括多模态信息融合模块，提取转化文本、输入文本和输入图片的关键词，根据不同模态的重要性，动态调整各模态特征的权重，输出融合后的多模态特征；多模态信息融合模块包括融合模型选择单元，将多模态信息的数值特征向量和融合模型的基本信息输入融合模型选择单元，输出待选融合模型集合A；通过融合模型选择单元，根据多模态信息的数值特征向量和响应性能要求动态地调整或选择最佳的融合模型，解决现有技术问题中存在的多模态信息融合所需的时间过长，影响下游任务的问题。

公开(公告)号：CN118210383B

公开(公告)日：2024-09-10

申请号：CN202410632391.2

申请日：2024-05-21

Applicant: 南通亚森信息科技有限公司

Inventor： 张晓晶

IPC: G06F3/01 ,  G06F18/25 ,  G06F40/205 ,  G06F40/279 ,  G06F18/22 ,  G10L15/18 ,  G06F18/214

Abstract: 本发明公开了一种信息输入系统，具体涉及信息输入技术领域，包括多模态信息融合模块，提取转化文本、输入文本和输入图片的关键词，根据不同模态的重要性，动态调整各模态特征的权重，输出融合后的多模态特征；多模态信息融合模块包括融合模型选择单元，将多模态信息的数值特征向量和融合模型的基本信息输入融合模型选择单元，输出待选融合模型集合A；通过融合模型选择单元，根据多模态信息的数值特征向量和响应性能要求动态地调整或选择最佳的融合模型，解决现有技术问题中存在的多模态信息融合所需的时间过长，影响下游任务的问题。