本发明公开了一种针对softmax函数的高精度近似计算装置，包括第一模块、第二模块和第三模块，第一模块包括第一零值预测单元、第一softmax函数计算单元和第一选择器单元，第二模块包括第二softmax函数计算单元，第三模块包括第二零值预测单元、第三softmax函数计算单元和第二选择器单元，第一零值预测单元和第二零值预测单元用于根据其对应输入的数据预测该装置的输出数据是否为零值，以进行跳除后续计算。第一softmax函数计算单元、第二softmax函数计算单元和第三softmax函数计算单元用于实现softmax函数的高精度计算，第一选择器单元和第二选择器单元用于选择最后的输出数据。本发明能够极大降低计算装置的功耗、面积等开销，提高装置能效。