一种基于用户行为的身份认证系统及方法。其首先获取用户鼠标行为的时间序列，接着，分别对所述用户鼠标行为的时间序列中的各个用户鼠标行为进行独热编码后再进行基于不同尺度的用户鼠标行为语义编码以得到第一用户鼠标行为语义编码特征向量和第二用户鼠标行为语义编码特征向量，然后，使用语义逐位置粒度交互融合模块对所述第一用户鼠标行为语义编码特征向量和所述第二用户鼠标行为语义编码特征向量进行处理以得到用户鼠标行为多尺度语义编码特征向量，最后，基于所述用户鼠标行为多尺度语义编码特征向量，确定用户的鼠标行为是否是用户本人操作。