本发明提供了一种虚拟现实视频处理方法及其终端、服务器及计算机可读存储介质。其中，所述虚拟现实视频处理方法包括：当检测到用户视角由第一主视角被切换为第二主视角，向服务器获取与在第二主视角中播放的当前视频分片对应的帧索引信息，并且根据当前播放帧和帧索引信息中的第一帧信息确定第一帧信息中距离当前播放帧最近的第一待播放独立编码帧，并且根据第一待播放独立编码帧向服务器获取待播放视频分片中以第一待播放独立编码帧为起始帧的帧数据。本发明实施例中，在虚拟现实终端进行视角切换时，能够降低其高质量画面与低质量画面之间的切换时延，从而能够为用户带来更好的视觉体验。