本发明公开了一种铜制或木制乐器的多模态转谱方法及系统，包括：采集演奏现场演奏的现场图像信息、音频信息与气流强度信息；根据所述现场图像信息与所述气流强度信息并利用深度学习策略获得当前演奏的音高数据，以及利用RESNET网络提取所述音频信息的音高数据；将两部分音高数据通过集成学习策略进行多模态融合，自动优化其协同度，输出MIDI文件，实现多模态转谱。本发明可以克服视觉转谱与听觉转谱各自的不足，同时又结合它们的优点，在降低计算量的同时，提升了转谱的准确率与效率。