本发明公开了一种基于语义的行为生成方法，首先工作人员穿戴可穿戴设备，做出与文本对应的行为动作，采集动作数据；然后对动作数据进行数据分帧，生成全帧序列数据；再将行为动作对应文本内容进行向量化处理，基于有监督神经网络训练，建立文本向量和全序列之间的映射关系；服务机器人获取语音音频，并输出与行为动作文本对应的的全帧序列；对全帧序列进行动作约束与优化；将行为数据序列与文本产生的音频数据进行对齐和插补，优化对齐后的全帧序列驱动输出，并由电机驱动机器人对应部位运动，同步播放对应地语音音频。其提高智能机器人的行为表达能力，与语音回复同步增加了趣味性。