本发明公开了一种基于SAM的文本信息驱动的行人检索方法及系统，应用于图像识别技术，方法包括：形成图像编码和文本编码；进行细粒度跨模态对齐，并生成跨模态对比损失函数；构建遮蔽语言建模损失函数和遮蔽图像建模损失函数；构建二元分类任务损失函数；进行行人图像分割并生成图像分割损失函数；进行加权计算生成综合损失函数；根据综合损失函数构建检索模型，并通过检索模型对行人进行检索。本发明通过上述技术方案，不需要额外的训练样本即可实现高效率高精度的多模态识别，不仅考虑了全局的图像与文本匹配，还引入了基于局部嵌入的细粒度对齐机制。这种细粒度对齐能够捕捉到跨模态内容之间的微妙差异，实现更精确的模态对齐。