本发明公开了一种媒体数据处理方法、装置及媒体服务器，本发明通过CPU根据待处理业务的业务类型，将音频媒体数据业务分配给CPU处理，而将视频媒体数据业务分配给图形处理器(Graphics Processing Unit，GPU)处理，也就是说，本发明通过CPU进行信令业务和音频媒体数据业务的处理，而通过GPU来完成视频媒体数据业务的处理，以充分发挥GPU处理视频媒体数据业务的优势，从而有效避免了通过CPU处理视频媒体数据业务导致的CPU消耗过多资源的问题。