基于多模态融合的医学影像报告生成方法及装置

    公开(公告)号:CN115331769A

    公开(公告)日:2022-11-11

    申请号:CN202210836966.3

    申请日:2022-07-15

    Abstract: 本发明提供一种基于多模态融合的医学影像报告生成方法及装置,所述方法包括:构建医学先验知识图谱,并获取所述医学先验知识图谱中每个节点的初始特征向量;将所述医学先验知识图谱和所述医学先验知识图谱中每个节点的初始特征向量输入到图编码器中,得到图嵌入向量;将医学影像输入到不包括线性层的图像编码器中,得到视觉特征序列;采取协同注意力机制,对所述图嵌入向量和所述视觉特征序列进行多模态融合,得到经过注意力重新赋权的图像序列;将所述经过注意力重新赋权的图像序列输入到记忆驱动Transformer模型中,生成医学影像报告。本发明可以提高医学影像报告生成的准确性和可靠性。

    基于多模态融合的医学影像报告生成方法及装置

    公开(公告)号:CN115331769B

    公开(公告)日:2023-05-09

    申请号:CN202210836966.3

    申请日:2022-07-15

    Abstract: 本发明提供一种基于多模态融合的医学影像报告生成方法及装置,所述方法包括:构建医学先验知识图谱,并获取所述医学先验知识图谱中每个节点的初始特征向量;将所述医学先验知识图谱和所述医学先验知识图谱中每个节点的初始特征向量输入到图编码器中,得到图嵌入向量;将医学影像输入到不包括线性层的图像编码器中,得到视觉特征序列;采取协同注意力机制,对所述图嵌入向量和所述视觉特征序列进行多模态融合,得到经过注意力重新赋权的图像序列;将所述经过注意力重新赋权的图像序列输入到记忆驱动Transformer模型中,生成医学影像报告。本发明可以提高医学影像报告生成的准确性和可靠性。

    信息检索知识图谱嵌入方法、装置和计算机设备

    公开(公告)号:CN116842109B

    公开(公告)日:2024-09-13

    申请号:CN202310766394.0

    申请日:2023-06-27

    Applicant: 北京大学

    Abstract: 本申请涉及一种信息检索知识图谱嵌入方法、装置和计算机设备。方法包括:获取信息检索知识图谱,并采集信息检索知识图谱的各子图信息;将各子图信息,转换为每个子图信息对应的文本序列,并对各文本序列进行编码转换处理,得到每个文本序列对应的掩盖实体向量、以及每个文本序列的掩盖关系向量;针对每个文本序列,基于文本序列对应的子图信息的图结构信息,更新文本序列的掩盖实体向量、以及文本序列的掩盖关系向量,并重建上述各向量得到信息检索知识图谱对应的各实体向量、以及信息检索知识图谱对应的各关系向量。采用本方法能够提升生成该信息检索知识图谱的实体向量和关系向量的精准度。

    医学知识图谱的质控方法、装置、计算机设备和存储介质

    公开(公告)号:CN115358235A

    公开(公告)日:2022-11-18

    申请号:CN202210875752.7

    申请日:2022-07-25

    Applicant: 北京大学

    Abstract: 本申请涉及一种医学知识图谱的质控方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括:将医学数据输入至目标医学命名实体识别模型,得到医学数据对应的识别结果数据集;在识别结果数据集的容量大于预设第一阈值的情况下,对识别结果数据集中相同的识别数据进行汇总,得到目标数据;在目标数据的计数值大于预设第二阈值的情况下,根据目标数据,在医学知识图谱中进行检索,得到目标数据对应的目标检索结果,并确定目标数据与目标检索结果的相似度;根据预设的质控策略、以及相似度,对医学知识图谱进行质控处理。提高医学知识图谱的质控效果。

    一种中子无损检测系统
    7.
    发明授权

    公开(公告)号:CN102419335B

    公开(公告)日:2013-09-04

    申请号:CN201010294769.0

    申请日:2010-09-28

    Applicant: 北京大学

    Abstract: 本发明公开了一种中子无损检测系统,属于射线无损检测领域。本系统包括一中子源、测试样品放置装置、成像装置、图像处理单元;所述中子源与所述成像装置位于所述测试样品放置装置的同一侧或所述测试样品放置装置相对的两侧;其中所述成像装置包括光阑和热中子位置灵敏探测器,所述光阑位于所述测试样品放置装置与所述热中子位置灵敏探测器之间,所述热中子位置灵敏探测器经数据线与所述图像处理单元连接。与现有技术相比,本发明可以实现厚样品高分辨率高反差灵敏度的无损检测,成像系统位置灵活可调,能实现单次照射大范围检测,并且方便实际应用。

    一种中子无损检测系统
    8.
    发明公开

    公开(公告)号:CN102419335A

    公开(公告)日:2012-04-18

    申请号:CN201010294769.0

    申请日:2010-09-28

    Applicant: 北京大学

    Abstract: 本发明公开了一种中子无损检测系统,属于射线无损检测领域。本系统包括一中子源、测试样品放置装置、成像装置、图像处理单元;所述中子源与所述成像装置位于所述测试样品放置装置的同一侧或所述测试样品放置装置相对的两侧;其中所述成像装置包括光阑和热中子位置灵敏探测器,所述光阑位于所述测试样品放置装置与所述热中子位置灵敏探测器之间,所述热中子位置灵敏探测器经数据线与所述图像处理单元连接。与现有技术相比,本发明可以实现厚样品高分辨率高反差灵敏度的无损检测,成像系统位置灵活可调,能实现单次照射大范围检测,并且方便实际应用。

    图像数据处理方法、装置、计算机设备和存储介质

    公开(公告)号:CN118038080A

    公开(公告)日:2024-05-14

    申请号:CN202410125078.X

    申请日:2024-01-30

    Applicant: 北京大学

    Abstract: 本申请涉及一种图像数据处理方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括:获取图像训练集,并基于编码器提取图像训练集中的图像结构特征和图像纹理特征;对图像结构特征和图像纹理特征进行重构,得到重构图像特征,并通过共享解码器对重构图像特征进行解码处理,得到重构损失值集;通过分类器对图像结构特征进行分类处理,得到分类损失值集,并基于重构损失值集和分类损失集更新编码器和共享解码器的参数;在更新后的编码器满足训练停止条件的情况下,将编码器中的共享编码器确定为特征提取模型;特征提取模型用于提取图像中的图像结构特征。采用本方法能够提高特征提取模型的准确性。

    医学数据汇交共享方法、平台、装置和计算机设备

    公开(公告)号:CN117909330A

    公开(公告)日:2024-04-19

    申请号:CN202410093555.9

    申请日:2024-01-23

    Applicant: 北京大学

    Abstract: 本申请涉及一种医学数据汇交共享方法、平台、装置、计算机设备、存储介质和计算机程序产品。方法应用于医学数据汇交共享平台,方法包括:当满足预设的共享价值预测条件时,获取医学数据汇交共享平台上目标医学数据的数据集大小、下载量和各项价值指标对应的指标值;根据目标医学数据的数据类型和预设的医学数据质量检测模型,对目标医学数据进行质量检测,得到目标医学数据的质量检测结果;根据数据集大小对应的指标值、下载量对应的指标值、各项价值指标对应的指标值、质量检测结果和预设的医学数据共享价值预测模型,确定目标医学数据的共享价值预测结果。采用本方法能够提高确定医学数据的共享价值的效率。

Patent Agency Ranking