本发明公开了一种超声内镜辅助监测系统及方法，涉及超声内镜领域，首先将获取的超声图像进行图像分块处理以得到超声图像块的序列，接着分别对所述超声图像块的序列进行多尺度特征分析以得到超声图像局部区域浅层特征图的序列和超声图像局部区域深层特征图的序列，然后分别对所述超声图像局部区域浅层特征图的序列和所述超声图像局部区域深层特征图的序列进行特征自强化关联编码和全局语义残差信息融合以得到超声图像语义融合特征，最后，基于所述超声图像语义融合特征，生成病变标记超声图像，这样可以有助于医生进行病变的检测和诊断。