本发明提供了一种基于书写笔的交互系统及方法，所述的交互系统包括多个书写笔、屏幕、摄像头和处理器，其中多个书写笔，为带特殊标志的书写笔，用于供给多个使用者同时对屏幕进行操作；摄像头设置在屏幕的上方，用于采集屏幕上的信息；处理器接收来自摄像头的信息，用于检测跟踪是来自哪个书写笔书写的信息。所述的交互方法包括：对摄像头进行标定，将所拍摄图像映射到屏幕对应的位置上；采用OCR字符识别技术对上面标定好的图像进行检测；将检测出的一帧图像中书写笔的位置连线组成为连续的运动轨迹，并根据获取的运动轨迹来实现人机交互的目的。本发明提供的交互系统及分法，解决了多个书写笔同时在屏幕上操作被检测为一个的问题。