本发明公开了一种面向影视配乐的跨模态音乐生成方法和装置，该生成方法仅仅且同时对空间特征适配器和时序控制器进行训练，与现有技术相比，本发明可以仅仅将需要训练的空间特征适配器和时序控制器加载到GPU中，且不需要分别对空间特征适配器和时序控制器进行训练，从而显著减少内存的使用，提高训练速度。通过训练完成的空间特征适配器和最终音乐查询向量从视觉特征向量中筛选出与音乐相关的音乐特征，以及通过训练完成的时序控制器能够预测出与视频的内容较为一致的预测音乐嵌入，从而得到与视频内容较为一致且较为真实的预测音乐。