公开(公告)号：CN117390151B

公开(公告)日：2024-07-12

申请号：CN202311303326.7

申请日：2023-10-10

Applicant: 哈尔滨工业大学

Inventor： 徐阳 ,  李惠 ,  黄世舰

IPC: G06F16/332 ,  G06F18/241 ,  G06F18/214

Abstract: 本发明提出结构健康诊断视觉‑语言基础模型和多模态交互系统的建立方法。所述方法包括如下步骤：步骤一：建立土木工程结构健康诊断领域知识多模态数据集；步骤二：建立土木工程结构健康诊断领域的基础语言模型；步骤三：建立接受人类反馈的结构健康诊断半自动数据优化标注模型；步骤四：建立结构健康诊断多模态基础模型，设计结构健康诊断跨模态提示学习策略；步骤五：建立结构健康诊断视觉‑语言多模态交互系统。本发明提供了一种面向多任务的结构健康诊断多模态学习基础模型，可根据图像和问题指令生成回答，具有识别结构构件、描述构件损伤和运维处理方法等通用结构健康诊断能力。

公开(公告)号：CN117390151A

公开(公告)日：2024-01-12

申请号：CN202311303326.7

申请日：2023-10-10

Applicant: 哈尔滨工业大学

Inventor： 徐阳 ,  李惠 ,  黄世舰

IPC: G06F16/332 ,  G06F18/241 ,  G06F18/214

Abstract: 本发明提出结构健康诊断视觉‑语言基础模型和多模态交互系统的建立方法。所述方法包括如下步骤：步骤一：建立土木工程结构健康诊断领域知识多模态数据集；步骤二：建立土木工程结构健康诊断领域的基础语言模型；步骤三：建立接受人类反馈的结构健康诊断半自动数据优化标注模型；步骤四：建立结构健康诊断多模态基础模型，设计结构健康诊断跨模态提示学习策略；步骤五：建立结构健康诊断视觉‑语言多模态交互系统。本发明提供了一种面向多任务的结构健康诊断多模态学习基础模型，可根据图像和问题指令生成回答，具有识别结构构件、描述构件损伤和运维处理方法等通用结构健康诊断能力。