一种多模态数据处理方法、装置、设备及存储介质

    公开(公告)号:CN114330488A

    公开(公告)日:2022-04-12

    申请号:CN202111400866.8

    申请日:2021-11-19

    Abstract: 本申请公开了一种多模态数据处理方法、装置、设备及存储介质,该方法包括:获取目标物体的不同光学模态信息,制作多模态数据集;构建多模态融合网络模型;多模态融合网络模型包括用于提取各模态特征的模态特征提取网络,用于将各模态特征进行合并的模态特征融合网络,以及用于将合并后的目标特征进行分类任务或回归任务的决策网络;利用多模态数据集训练多模态融合网络模型;获取待测物体的不同光学模态信息,并输入至训练完成的多模态融合网络模型中,输出分类结果或回归结果。这样可以获取物体的各光学模态的丰富特征以及不同光学模态之间的内在关系,高效完成分类或回归任务,进而促进多模态人工智能信息提取和融合的发展,提升竞争力。

    一种神经网络加速处理方法及相关装置

    公开(公告)号:CN114219080A

    公开(公告)日:2022-03-22

    申请号:CN202111682484.9

    申请日:2021-12-31

    Abstract: 本申请公开了一种神经网络加速处理方法,包括:加速设备从片上特征缓存模块获取特征数据;从片上权重缓存模块获取权重数据;采用逐点处理阵列中的多个处理组合以流水线的方式对特征数据和权重数据进行并行卷积计算,得到逐点卷积结果;采用累加模块对逐点卷积结果进行累加计算处理,得到逐点累加处理结果;采用逐通道处理阵列以流水线的方式对逐点累加处理结果和片上权重缓存模块中对应的权重数据进行并行卷积计算,得到逐通道卷积结果,提高对卷积计算进行加速的效果,并且兼容处理深度可分离卷积和普通卷积。本申请还公开了一种神经网络加速处理装置、加速系统以及计算机可读存储介质,具有以上有益效果。

    一种神经网络加速处理方法及相关装置

    公开(公告)号:CN114219080B

    公开(公告)日:2025-02-11

    申请号:CN202111682484.9

    申请日:2021-12-31

    Abstract: 本申请公开了一种神经网络加速处理方法,包括:加速设备从片上特征缓存模块获取特征数据;从片上权重缓存模块获取权重数据;采用逐点处理阵列中的多个处理组合以流水线的方式对特征数据和权重数据进行并行卷积计算,得到逐点卷积结果;采用累加模块对逐点卷积结果进行累加计算处理,得到逐点累加处理结果;采用逐通道处理阵列以流水线的方式对逐点累加处理结果和片上权重缓存模块中对应的权重数据进行并行卷积计算,得到逐通道卷积结果,提高对卷积计算进行加速的效果,并且兼容处理深度可分离卷积和普通卷积。本申请还公开了一种神经网络加速处理装置、加速系统以及计算机可读存储介质,具有以上有益效果。

Patent Agency Ranking