本发明公开了一种基于FPGA的A3C深度强化学习算法加速器，涉及人工智能的深度强化学习技术领域，包括上位机和FPGA加速器，上位机用于提供交互环境；FPGA加速器用于完成智能体推理与训练的计算加速，包括：存储模块；正向计算模块，用于完成神经网络的正向推理计算；反向计算模块，用于完成神经网络的反向传播计算；反向输入计算模块，用于完成反向输入图的计算；梯度计算模块，用于计算每一层参数的梯度；RMSProp参数更新模块，用于完成A3C算法中的RMSProp参数更新过程。本发明的加速器相对于通用处理器具有高能效的特点。