連続して撮影された複数の画像に含まれる追跡対象物を追跡する画像処理装置であって、画像を取得する画像取得手段と、前記画像に含まれる追跡対象物をマッチングによって検出し、複数の画像間における前記追跡対象物の移動量および移動方向を取得する追跡手段と、を有し、前記追跡手段は、前記追跡対象物に対応する第一のテンプレートを用いて第一のマッチングを行い、かつ、前記第一のマッチングを行った結果のスコアが第一の閾値よりも低い場合に、前記第一のテンプレートとサイズまたは形状が異なる第二のテンプレートを用いて第二のマッチングを行う。