本发明公开了一种基于在线强化学习的传输模式选择方法及装置，其中，该方法包括：获取窄带物联网系统节点的当前时隙状态信息；根据所述当前状态信息利用探索-利用策略执行动作；计算当所述窄带物联网系统节点执行完动作后的奖励值；获取所述窄带物联网系统节点的下一时隙状态信息；根据所述奖励值和所述下一时隙状态信息更新预设Q函数，并更新预设动作策略值，得到第一动作策略值；根据所述第一动作策略值更新预设预估策略值，得到新预估策略值；根据所述新预估策略值和所述第一动作策略值选择传输模式。通过实施本发明，不断对窄带物联网系统节点进行预估比较，使得窄带物联网系统节点可以选择能效最大的传输模式选择方案。