本发明公开了一种细粒度多模态大模型训练方法，包括如下步骤：S1、获取烟包陈列图像，将烟包陈列图像输入语义分割模型；S2、语义分割模型对烟包陈列图像进行分割，生成烟包分割图像，烟包分割图像包括每个烟包的陈列位置信息；S3、将烟包分割图像输入至图像识别模型，生成烟包信息，每个烟包信息包括烟包品牌、规格、商标、公司以及烟包价格；S4、将每个烟包的烟包信息和烟包分割图像的陈列位置信息进行结构化处理，得到每个烟包的文本信息，并输入至大语言模型；S5、基于用户提问，大语言模型根据每个烟包的文本信息输出用户提问对应的烟包陈列信息。本发明能够使大语言模型所输出的烟包陈列信息与用户的提问更加契合。