本申请涉及图像处理识别技术领域，具体涉及一种用于音视频的OCR识别方法及系统，该方法包括：提取各当前帧的灰度图中的潜在汉字区域；确定各当前帧中每个潜在汉字区域的汉字确信度；根据各当前帧中每个潜在汉字区域与其对比区域的两目标区域中所有像素点的灰度值的平均分布情况之间的差异，结合所述汉字确信度，构建各当前帧中每个潜在汉字区域的汉字评估指数，以实现音视频的文字识别。本申请基于汉字区域的形态纹理特征及视频数据所具备的时空上下文特征，以调整神经网络的训练参数，提高对音视频中字符识别的准确度和神经网络模型的训练精度。