一种基于人因工程的人机交互认知模型构建方法和装置

    公开(公告)号:CN116501437B

    公开(公告)日:2023-09-22

    申请号:CN202310789148.7

    申请日:2023-06-30

    申请人: 之江实验室

    发明人: 郭蕊 胡丹青 王瑾

    IPC分类号: G06F9/451 G06F3/01 G06F30/12

    摘要: 本发明公开了一种基于人因工程的人机交互认知模型构建方法和装置,属于人因工程技术领域,包括:基于认知过程机制构建人因失误集合,每个人因失误集合包含影响失误的失误因子;对收集的人因失误事件数据进行挖掘分析,提取影响飞行员认知的设计特征,组成设计特征集合;对人因失误事件数据进行统计分析,建立人因失误集合中失误因子与设计特征集合中设计特征之间的映射关系作为认知模型。该方法和装置基于分析认知过程机制和大数据分析建立认知模型,该认知模型可用于人因失误事件分析和人机交互仪界面设计。

    一种集成自适应相似患者图的疾病预测装置

    公开(公告)号:CN116631641A

    公开(公告)日:2023-08-22

    申请号:CN202310898736.4

    申请日:2023-07-21

    申请人: 之江实验室

    摘要: 本发明公开了一种集成自适应相似患者图的疾病预测装置,先构建多个平衡的训练子集,然后训练相似患者图构建学习器,自动生成每个训练子集的最佳患者关联关系,再利用图神经网络算法共享关联患者之间的信息生成群体深度隐藏特征,在得到的群体深度隐藏特征上再进行一次患者关联关系和群体深度隐藏特征学习,最后针对新的患者,利用训练好的模型自动将其添加到多个训练子集中并自动生成与其他样本的关联关系和深度隐藏特征,用于疾病预测,可解决现有疾病预测装置处理不平衡数据时性能下降和无法有效共享患者之间信息的问题。

    一种层级聚类约束的多标签细粒度术后并发症预测装置

    公开(公告)号:CN116434968A

    公开(公告)日:2023-07-14

    申请号:CN202310699832.6

    申请日:2023-06-14

    摘要: 本发明公开了一种层级聚类约束的多标签细粒度术后并发症预测装置,属于医疗数据挖掘领域,包括:根据医学先验知识将多种细粒度术后并发症分类成不同系统并发症,并构建每个系统并发症的层次聚类图;构建预测模型,包括底层网络、次层网络、中间网络、预测网络;构建损失函数,包括基于次层隐藏特征预测的整体并发症概率和各细粒度术后并发症概率构建的预测损失、自下而上的层级约束损失和自上而下的层级约束损失;基于损失函数对预测模型进行参数优化;利用优化的预测模型进行术后并发症预测。该装置通过引入层级聚类图构建网络架构,进而预测精准度。

    弱监督语义分割方法、装置、设备和存储介质

    公开(公告)号:CN116363372A

    公开(公告)日:2023-06-30

    申请号:CN202310636751.1

    申请日:2023-06-01

    申请人: 之江实验室

    摘要: 本申请涉及一种弱监督语义分割方法、装置、设备和存储介质,通过根据图像的编码特征生成类别概率,通过类别概率与类别标签构建第一损失函数;通过编码特征以及图像像素的颜色距离与空间距离,获得图像的不确定性分布数据与伪标签,根据不确定性分布数据构建第二损失函数;根据图像中对应于不同伪标签的多个像素集合,构建第三损失函数。根据第一损失函数、第二损失函数以及第三损失函数,生成总损失,根据总损失调节分类网络模型与分割网络模型的模型参数,并根据分类结果得到语义分割结果,针对伪标签的不确定性问题进行了优化,从而解决了图像语义分割的准确率较低的问题,提高了图像语义分割的准确率。

    基于时空增强三维注意力重参数化的视频分类方法及装置

    公开(公告)号:CN117292209B

    公开(公告)日:2024-04-05

    申请号:CN202311585233.8

    申请日:2023-11-27

    申请人: 之江实验室

    IPC分类号: G06V10/764 G06V20/40

    摘要: 本发明公开了基于时空增强三维注意力重参数化的视频分类方法及装置,将待分类视频的各视频帧在空间上均匀划分为不重叠的块,将各块经过拉伸、线性映射和叠加位置嵌入向量,得到第一视频特征;将第一视频特征经过Transformer网络进行处理,得到第二视频特征;每层网络均包含时空增强三维注意力模块和多层感知机;时空增强三维注意力模块在训练时包含三维注意力、空间注意力和时间注意力三个分支,自适应地增强具有时空关联的令牌之间的依赖关系,推理时计算等价地退化为三维注意力操作,以降低推理开销;将第二视频特征中的类别令牌利用全连接层进行分类,得到各视频帧的分类结果,再经过时域平均池化操作,得到视频的类别预测结果。

    一种基于人因工程的人机交互认知模型构建方法和装置

    公开(公告)号:CN116501437A

    公开(公告)日:2023-07-28

    申请号:CN202310789148.7

    申请日:2023-06-30

    申请人: 之江实验室

    发明人: 郭蕊 胡丹青 王瑾

    IPC分类号: G06F9/451 G06F3/01 G06F30/12

    摘要: 本发明公开了一种基于人因工程的人机交互认知模型构建方法和装置,属于人因工程技术领域,包括:基于认知过程机制构建人因失误集合,每个人因失误集合包含影响失误的失误因子;对收集的人因失误事件数据进行挖掘分析,提取影响飞行员认知的设计特征,组成设计特征集合;对人因失误事件数据进行统计分析,建立人因失误集合中失误因子与设计特征集合中设计特征之间的映射关系作为认知模型。该方法和装置基于分析认知过程机制和大数据分析建立认知模型,该认知模型可用于人因失误事件分析和人机交互仪界面设计。

    一种多模态图森林的肺癌淋巴结转移辅助诊断系统

    公开(公告)号:CN115424724A

    公开(公告)日:2022-12-02

    申请号:CN202211375015.7

    申请日:2022-11-04

    申请人: 之江实验室

    发明人: 胡丹青 程乐超

    摘要: 本发明公开了一种多模态图森林的肺癌淋巴结转移辅助诊断系统,包括:CT深度特征获取模块:获取CT深度特征;多模态数据异构图构建模块:用于根据多模态特征类型定义表示不同特征类型的多模态节点;并根据医学先验知识,定义节点与节点之间的关系构建多模态数据异构图;异构图森林构建模块:构建异构图森林;淋巴转移诊断结果模块:获取所述异构图森林中每个子图的图表征,将每个子图的图表征通过全连接层的输出得到对应的患者淋巴转移概率,对每个子图对应的患者淋巴转移概率进行平均得到最终的患者淋巴转移预测结果。本发明可有效考虑不同种类特征之间的相关关系,提取的深度特征在预测淋巴结转移时有更好的泛化能力。

    一种集成自适应相似患者图的疾病预测装置

    公开(公告)号:CN116631641B

    公开(公告)日:2023-12-22

    申请号:CN202310898736.4

    申请日:2023-07-21

    申请人: 之江实验室

    摘要: 本发明公开了一种集成自适应相似患者图的疾病预测装置,先构建多个平衡的训练子集,然后训练相似患者图构建学习器,自动生成每个训练子集的最佳患者关联关系,再利用图神经网络算法共享关联患者之间的信息生成群体深度隐藏特征,在得到的群体深度隐藏特征上再进行一次患者关联关系和群体深度隐藏特征学习,最后针对新的患者,利用训练好的模型自动将其添加到多个训练子集中并自动生成与其他样本的关联关系和深度隐藏特征,用于疾病预测,可解决现有疾病预测装置处理不平衡数据时性能下降和无法有效共享患者之间信息的问题。

    一种层级聚类约束的多标签细粒度术后并发症预测装置

    公开(公告)号:CN116434968B

    公开(公告)日:2023-08-25

    申请号:CN202310699832.6

    申请日:2023-06-14

    摘要: 本发明公开了一种层级聚类约束的多标签细粒度术后并发症预测装置,属于医疗数据挖掘领域,包括:根据医学先验知识将多种细粒度术后并发症分类成不同系统并发症,并构建每个系统并发症的层次聚类图;构建预测模型,包括底层网络、次层网络、中间网络、预测网络;构建损失函数,包括基于次层隐藏特征预测的整体并发症概率和各细粒度术后并发症概率构建的预测损失、自下而上的层级约束损失和自上而下的层级约束损失;基于损失函数对预测模型进行参数优化;利用优化的预测模型进行术后并发症预测。该装置通过引入层级聚类图构建网络架构,进而预测精准度。

    基于时空增强三维注意力重参数化的视频分类方法及装置

    公开(公告)号:CN117292209A

    公开(公告)日:2023-12-26

    申请号:CN202311585233.8

    申请日:2023-11-27

    申请人: 之江实验室

    IPC分类号: G06V10/764 G06V20/40

    摘要: 本发明公开了基于时空增强三维注意力重参数化的视频分类方法及装置,将待分类视频的各视频帧在空间上均匀划分为不重叠的块,将各块经过拉伸、线性映射和叠加位置嵌入向量,得到第一视频特征;将第一视频特征经过Transformer网络进行处理,得到第二视频特征;每层网络均包含时空增强三维注意力模块和多层感知机;时空增强三维注意力模块在训练时包含三维注意力、空间注意力和时间注意力三个分支,自适应地增强具有时空关联的令牌之间的依赖关系,推理时计算等价地退化为三维注意力操作,以降低推理开销;将第二视频特征中的类别令牌利用全连接层进行分类,得到各视频帧的分类结果,再经过时域平均池化操作,得到视频的类别预测结果。