本发明公开了一种古建筑修缮方法及系统，本发明基于多种神经网络模型的表面残损识别，采用先将古建筑整体分割为细部构造，根据细部构造类型再将细部构造分割为基本构造单元，在对基本构造单元中的残损进行提取，进而采用基于神经网络和专家系统混合的算法，实现方案设计的智能化推理，将推理的参数通过PKPM3D平台建模并进行虚拟漫游，实现了古建筑修缮设计直观的三维效果展示，同时输出相应的标准图和工程量计算表，最终生成目标古建筑修缮设计成果图。这种逐步精细的残损识别技术有效解决了古建筑残损类型多、识别难度大的难题，为古建筑残损识别提供全新的解决方案，极大的减少了人工的参与，同时保证了修缮设计方案的科学合理。