本发明涉及一种基于多模态的影像自动识别和审核的方法及系统，该方法包括：通过预处理生成批次影像图片；通过标题识别将批次影像图片分为第一影像图片和第二影像图片；对第一影像图片进行向量编码，利用向量相似性检索确定其版式类别；基于识别的类别结果，与类别模版中的类别描述信息进行语义匹配，获取类别关联的要点审核模版，判断是否进行要点抽取；基于类别模版确定要点抽取方法，生成要点识别结果，对其处理生成结构化数据；加载审核策略根据结构化数据进行比对审核，生成审核结果。本发明基于多模态实现针对复杂多类别多版式影像自适应识别并自动审核，通过动态配置保证系统动态可维护，基于版式类别向量库的更新实现了系统的可扩展性。