本发明公开了一种基于多粒度联邦学习的方法，包括：S1，基于联邦学习建立包括客户端和服务器的多粒度学习系统，客户端包括粗粒度设备和细粒度设备，服务器中设有图像参数模型；S2，设置初始迭代轮数t＝0、学习轮数T，初始化初始模型参数，客户端将共享样本发送服务器；S3，判断t＜T，如果是，执行S4，否则学习结束；S4，执行t＝t+1，客户端利用本地数据对模型进行训练，将模型参数和本地模型准确率发送服务器；S5，服务器根据模型参数判断，若为细粒度模型，用同粒度联邦学习方法聚合，若为粗粒度模型，用交叉指导方法聚合，聚合后执行S6；S6，服务器将聚合后的模型发送客户端并返回S3。本发明可以提高粗粒度模型提取图像特征的能力。