本发明公开了一种神经网络分类器的建立方法、装置及图像分类方法、装置，建立方法包括：获取训练图像集，其中，训练图像集中的训练图像包括目标图像和背景图像两种类型；将训练图像集中的训练图像输入至神经网络分类器，获取每一训练图像的特征向量；根据特征向量及其对应训练图像所属类型构建损失函数；基于损失函数对神经网络分类器进行训练，得到训练好的神经网络分类器。该建立方法在建立神经网络分类器时，根据训练图像所属类型构建损失函数，并利用损失函数对神经网络分类器进行训练，可加快神经网络分类器的收敛速度，以获取对含有背景图像的图片集进行快速分类的神经网络分类器。