本发明公开了一种实物编程方法和系统，属于人机交互领域。本方法为：1)建立一套实物编程显示环境；2)图像采集单元拍摄用户所摆的实物编程块序列并将其上传至实物编程处理模块；3)实物编程处理模块根据实物编程块的计算机视觉识别码及实物编程模块的位置信息将实物编程块序列转换为对应的功能语义序列；4)判断当前功能语义序列中是否满足该实物显示环境的语法语义规则；如果不满足，则反馈相应的错误提示；5)用户根据提示信息更换相应的实物编程块；6)重复2)～5)，直到所摆实物编程块序列对应的功能语义序列满足实物编程显示环境的语法语义判定规则，完成编程任务。本发明解决了儿童及新手学习编程的难题，系统成本低、易于推广。