本发明公开了一种基于红外图像的人机多点交互方法及装置，方法实施步骤如下：1）设置距离阈值，建立轨迹-命令模型；2）操作者使用红外光照射屏幕区域并根据交互需求按照所述轨迹-命令模型中预设的移动轨迹进行移动；同时采集屏幕区域的连续图像，获取各图像中红外光点在屏幕区域中的坐标；3）将红外光点进行标记同一操作，将连续图像中属于同一操作的红外光点进行叠加获取红外光点的移动轨迹，根据轨迹-命令模型中查找对应的控制命令，并根据查找得到的控制命令与操作系统进行交互；装置包括屏幕、红外发光单元、图像采集装置、图像处理单元和命令交互输出单元。本发明具有成本低廉、结构简单、应用范围广泛的优点。