本发明涉及一种基于整字和偏旁部首的层次化建模方法及系统，其方法包括：S1：将文本行图像经过卷积神经网络和循环神经网络，得到文本行图像的序列特征；S2：将文本行图像的序列特征，输入有注意力机制的整字解码模块，得到整字的上下文特征向量以及整字的解码结果；S3：将整字的上下文特征向量输入偏旁部首解码模块，得到整字层级下的各个偏旁部首的解码结果；S4：利用置信度得分融合策略，将整字和各偏旁部首的解码置信度进行融合，得到整字的识别结果。本发明提供的方法，不仅能实现整字的识别，同时实现该时刻偏旁部首的识别，通过整字和偏旁部首解码置信度融合的策略，不仅能够提升低频字的识别效果，同时最大化地保证了非低频字识别的效果。