本公开涉及用于神经语言行为识别系统的词法分析器。具体公开了用于从基于输入数据生成的符号的组合构建单词的词典的技术。神经语言行为识别系统包括生成描述从源输入的数据(例如，视频数据、SCADA数据等)的语言模型的神经语言模块。为了生成用于语言模型的单词，神经语言模块中的词法分析器组件接收符号流，每个符号基于从输入数据生成的标准化向量的有序流而生成。词法分析器组件基于具有一个或多个级别的分级学习模型从符号的组合确定单词。每个级别指示要在该级别处识别的单词的长度。为在每个级别处识别出的单词评估统计信息。词法分析器组件识别单词中具有统计显著性的一个或多个单词。