本发明公开一种基于机器视觉的人机交互操作序列识别方法、设备及产品，涉及智能系统测试领域，该方法包括构建屏幕鼠标实时智能跟踪模型、人机交互操作对象的识别模型、人机交互操作对象状态识别模型和人机交互事件的检测模型；根据屏幕鼠标实时智能跟踪模型确定屏幕鼠标实时位置和人机交互操作对象的识别模型确定的人机交互操作对象的位置信息，通过判断鼠标光标是否位于某一个人机交互操作对象的矩形范围内，确定参与人机交互操作对象，利用文字识别技术对人机交互操作对象进行文字提取；根据人机交互操作对象状态识别模型确定当前人机交互事件的具体内容，形成人机交互操作序列。本发明能够形成完备、有效的智能系统测试数据的数据库。