本发明实施例涉及一种基于多模态影像进行三维病灶定位的处理方法和装置，所述方法包括：接收多模态影像；对各模态影像进行影像降噪和去伪影；基于基准模态图对各个模态预处理图进行空间配准；对各模态预处理图进行对应模态的特征提取；对各模态预处理图对应的特征图和配准图进行特征融合；对得到的所有模态融合特征图进行全模态特征融合；对全模态特征图进行体素级的器官组织和病灶语义分割；根据全模态特征图、器官组织语义图和病灶语义图进行三维器官组织结构建模并在建模结构上进行病灶区定位标记。通过本发明可以提高病灶区的识别准确度和识别精度。