本发明公开了一种视频码率平滑方法及装置，所述方法包括如下步骤：步骤S1，判断输入的每一路视频码流中是否存在填充数据，若存在填充数据，则去掉输入视频码流中的填充数据；步骤S2，根据多路视频码流的码率波动的实际情况，统一对视频码流进行实时填充；步骤S3，根据填充后的结果计算当前帧的传输码率BR，并按照当前帧的传输码率BR将填充后的当前帧的数据打入TS包，对当前帧进行复用输出，本发明通过在实时复用的过程中，先去掉原视频码流中的填充数据，然后根据多路视频码流的码率波动的实际情况，统一对视频码流进行实时填充，从而达到提高信道利用效率、提高复用器对视频码率波动的适应性的目的。