本发明公开了一种服务器音视频数据的处理方法及处理装置，该方法包括：部署驱动程序软件以实现所述服务器与所述PCIe加速卡之间的所述音视频数据的传输，其中，所述驱动程序软件包括：内核驱动层，是所述PCIe加速卡的PCIe接口芯片的内核驱动程序；传输服务层，其中，服务器端和加速卡端分别运行一个后台服务程序，所述传输服务层包括后台服务进程；应用层，用于调用Unix Socket接口来实现所述服务器端和所述加速卡端的数据传输。通过上述技术方案，至少能够提高加速卡和服务器的数据交互速率。