本发明涉及一种农业病虫害领域多模态数据集制作方法、处理装置和存储介质，包括步骤如下：首先，收集农业病虫害的类别，并建立层级分类系统；其次，搜集农业病虫害类别对应的农业技方以及农业病虫害类别对应的图片；最后，转换为结构化数据，并依次进行内容过滤、分词，获取农业病虫害领域文本模态数据集；对搜集的农业病虫害类别对应的图片中的无用图片做初步过滤，进行数据增强处理，得到农业病虫害领域图像模态数据集。本发明通用而高效，解决了数据来源和制作的难题，改善了以往数据集制作方法中摄像设备单一、采集地点有限、效率低、成本高、鲁棒性低等缺点，为深度学习的发展起到了推动作用。