本发明涉及一种基于多尺度变换网络的重复性体育动作计数方法及装置，该方法包括：检测原始视频中的骨骼关键点得到原始骨骼序列，对原始骨骼序列进行三个尺度的采样，得到三个下采样骨骼序列；对每个下采样骨骼序列的时间周期性特征进行逐骨骼关节点编码，得到每个骨骼关节的时间自相关矩阵；对每个骨骼关节的时间自相关矩阵进行从粗到细的周期性选择，得到三个加权融合周期立方体；将三个加权融合周期立方体进行多尺度周期性融合，得到多尺度周期立方体；基于多尺度周期变换网络对多尺度周期立方体进行脉冲图回归，得到脉冲图；将脉冲图中的所有元素相加，得到重复动作计数结果。本发明实施例测试准确，计数结果具有可解释性。