公开(公告)号：CN117637096A

公开(公告)日：2024-03-01

申请号：CN202311589982.8

申请日：2023-11-27

申请人： 上海交通大学医学院附属瑞金医院

发明人： 黄飞跃 ,  徐宇辰 ,  柏志安 ,  陈永杰

IPC分类号： G16H15/00 ,  G16H30/20 ,  G06T9/00 ,  G06V10/80 ,  G06V10/26 ,  G06V10/82 ,  G06V10/46 ,  G06N3/045 ,  G06N3/08

摘要： 本发明公开了给定医学图像自动生成医学报告的交互式方法和系统，本系统主要分为图像编码器模块、专家提示学习模块、报告生成模块这三个模块，将专家的提示融合到图像特征中，可以快速输出影像学报告，并针对医生特别关注的区域生成专门的报告。本方法分为步骤S1，构建图像编码器模块；步骤S2，注入专家提示词；步骤3，生成报告。本发明提出的自适应医生提示的报告生成方法在提高个性化以及灵活性方面具有显著的有益效果，基于本专利的跨模态影像‑文本报告生成模型，可以直接对图像以及提示进行处理，以一种端到端的方式生成文本。使用本方法可以生成与临床疾病表型一致的报告文本，满足临床医生的需求。