本发明公开了一种基于歌词和旋律的端到端音乐音频生成的方法，涉及多媒体内容处理技术领域。该方法包括对音频文件、音乐的原始信息以及音乐评论信息进行处理，将提取音频文件中的歌词和旋律并将信息进行合并，将处理后的音乐原始信息、合并后的音频信息和音乐评论信息进行特征融合，将特征融合后的信息输入模型进行训练，经模型后输出隐层特征并经过声音信号模型语音分析合成系统输出wav格式音频，优化了现有直接生成音频的音乐生成模型的输入端，并将文本转语音或者歌声合成的思想用到了音乐生成领域，采用更精细的数据处理方式，让数据的分布尽量集中，从而使得模型更容易收敛。