-
公开(公告)号:CN114757969B
公开(公告)日:2023-04-07
申请号:CN202210363417.9
申请日:2022-04-08
Applicant: 华南理工大学 , 人工智能与数字经济广东省实验室(广州)
IPC: G06T7/246 , G06N3/044 , G06N3/0455 , G06N3/0464 , G06N3/049 , G06N3/084
Abstract: 本发明公开了基于全局追踪解码的文字图像书写轨迹恢复方法,包括以下步骤:将文字图像调整为预设尺寸并进行二值化处理;构建卷积循环神经编码网络;构建全局追踪解码网络,所述的全局追踪解码网络的输入为编码特征Z,输出为预测文字书写轨迹序列;联合训练卷积循环神经编码网络和全局追踪解码网络,获得文字图像书写轨迹恢复网络模型;利用训练完成的文字图像书写轨迹恢复网络模型进行书写轨迹恢复。本发明方法在解码的过程中,设置全局追踪解码机制,在每个解码时刻,加入编码特征作为RNN解码器的输入,有助于解码器在整个轨迹序列的预测过程中都能对全局文字特征进行持续追踪,缓解轨迹序列偏移问题,有效提升文字图像书写轨迹的恢复性能。
-
公开(公告)号:CN114463760B
公开(公告)日:2022-06-28
申请号:CN202210363354.7
申请日:2022-04-08
Applicant: 华南理工大学 , 人工智能与数字经济广东省实验室(广州)
IPC: G06V30/32 , G06V20/62 , G06V30/10 , G06V10/28 , G06V10/44 , G06V10/764 , G06V10/82 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于双流编码的文字图像书写轨迹恢复方法,包括以下步骤:将文字图像调整为预设尺寸并进行二值化处理;构建双流编码网络,所述的双流编码网络输入为文字图像,输出为双流融合编码特征;构建解码网络,所述的解码网络的输入为双流融合编码特征,输出为预测文字书写轨迹序列;联合训练双流编码网络和解码网络,获得文字图像书写轨迹恢复网络模型;利用训练完成的文字图像书写轨迹恢复网络模型进行书写轨迹恢复。本发明方法在编码过程中,分别提取文字在竖直和水平方向上的特征,实现对特征进行降采样、减少参数量的同时,保留必要的文字字形信息,帮助后续解码精确地反映文字的字形,有效提升文字图像书写轨迹的恢复性能。
-
公开(公告)号:CN114782961A
公开(公告)日:2022-07-22
申请号:CN202210285238.8
申请日:2022-03-23
Applicant: 华南理工大学 , 人工智能与数字经济广东省实验室(广州)
Abstract: 本发明公开了一种基于形状变换的字符图像增广方法,包括以下步骤:构建形状变换生成对抗网络,包括生成器和判别器;以原始字符图像作为生成器的输入,经过空间变换之后产生形变的字符图像,将生成器的输出端与判别器的输入端连接,同时,将目标字符图像输入到判别器的另一个输入端,判别器输出对形变的字符图像和目标字符图像的判别结果;训练所述的形状变换生成对抗网络;使用训练好的生成器生成增广后的字符图像。本发明方法结合仿射矩阵和TPS变换采样网格参数使STN能够同时产生全局和局部的形状变化,能够更好的拟合字符的形状特征,使产生的字符真实性和多样性更好,使用增广后的数据所训练的分类器的分类性能进一步提升。
-
公开(公告)号:CN114511853A
公开(公告)日:2022-05-17
申请号:CN202210417388.X
申请日:2022-04-21
Applicant: 华南理工大学 , 人工智能与数字经济广东省实验室(广州)
Abstract: 本发明公开了一种文字图像书写轨迹恢复效果判别方法,包括:对原始文字图像进行掩膜化操作并二值化处理得到输入图像掩膜;将恢复轨迹渲染得到恢复轨迹掩膜;恢复轨迹掩膜逐步进行多次膨胀操作,得到多个膨胀掩膜;采用交并比计算方法,分别计算恢复轨迹掩膜以及多个膨胀掩膜与输入图像掩膜的IoU分数;计算出的数值最大的IoU分数作为DloU分数,所述DloU分数为最终判别结果。本发明方法设计交并比计算方法,计算输入图像掩膜和恢复轨迹掩膜的相似度,设计动态膨胀机制,将恢复轨迹掩膜和膨胀掩膜分别与输入图像掩膜计算交并比分数,使用动态交并比分数消除输入文字图像笔画宽度对字形保真程度评价的影响。
-
公开(公告)号:CN114757969A
公开(公告)日:2022-07-15
申请号:CN202210363417.9
申请日:2022-04-08
Applicant: 华南理工大学 , 人工智能与数字经济广东省实验室(广州)
Abstract: 本发明公开了基于全局追踪解码的文字图像书写轨迹恢复方法,包括以下步骤:将文字图像调整为预设尺寸并进行二值化处理;构建卷积循环神经编码网络;构建全局追踪解码网络,所述的全局追踪解码网络的输入为编码特征Z,输出为预测文字书写轨迹序列;联合训练卷积循环神经编码网络和全局追踪解码网络,获得文字图像书写轨迹恢复网络模型;利用训练完成的文字图像书写轨迹恢复网络模型进行书写轨迹恢复。本发明方法在解码的过程中,设置全局追踪解码机制,在每个解码时刻,加入编码特征作为RNN解码器的输入,有助于解码器在整个轨迹序列的预测过程中都能对全局文字特征进行持续追踪,缓解轨迹序列偏移问题,有效提升文字图像书写轨迹的恢复性能。
-
公开(公告)号:CN114782961B
公开(公告)日:2023-04-18
申请号:CN202210285238.8
申请日:2022-03-23
Applicant: 华南理工大学 , 人工智能与数字经济广东省实验室(广州)
IPC: G06V30/19 , G06T3/00 , G06N3/0464 , G06N3/048 , G06N3/094
Abstract: 本发明公开了一种基于形状变换的字符图像增广方法,包括以下步骤:构建形状变换生成对抗网络,包括生成器和判别器;以原始字符图像作为生成器的输入,经过空间变换之后产生形变的字符图像,将生成器的输出端与判别器的输入端连接,同时,将目标字符图像输入到判别器的另一个输入端,判别器输出对形变的字符图像和目标字符图像的判别结果;训练所述的形状变换生成对抗网络;使用训练好的生成器生成增广后的字符图像。本发明方法结合仿射矩阵和TPS变换采样网格参数使STN能够同时产生全局和局部的形状变化,能够更好的拟合字符的形状特征,使产生的字符真实性和多样性更好,使用增广后的数据所训练的分类器的分类性能进一步提升。
-
公开(公告)号:CN114511853B
公开(公告)日:2022-07-12
申请号:CN202210417388.X
申请日:2022-04-21
Applicant: 华南理工大学 , 人工智能与数字经济广东省实验室(广州)
Abstract: 本发明公开了一种文字图像书写轨迹恢复效果判别方法,包括:对原始文字图像进行掩膜化操作并二值化处理得到输入图像掩膜;将恢复轨迹渲染得到恢复轨迹掩膜;恢复轨迹掩膜逐步进行多次膨胀操作,得到多个膨胀掩膜;采用交并比计算方法,分别计算恢复轨迹掩膜以及多个膨胀掩膜与输入图像掩膜的IoU分数;计算出的数值最大的IoU分数作为DloU分数,所述DloU分数为最终判别结果。本发明方法设计交并比计算方法,计算输入图像掩膜和恢复轨迹掩膜的相似度,设计动态膨胀机制,将恢复轨迹掩膜和膨胀掩膜分别与输入图像掩膜计算交并比分数,使用动态交并比分数消除输入文字图像笔画宽度对字形保真程度评价的影响。
-
公开(公告)号:CN114494003B
公开(公告)日:2022-06-21
申请号:CN202210336338.9
申请日:2022-04-01
Applicant: 华南理工大学 , 人工智能与数字经济广东省实验室(广州)
Abstract: 本发明公开了一种联合形状变换和纹理转换的古文字生成方法,包括:构建形状变换生成对抗网络A,包括生成器A1和判别器A2;构建纹理转换生成对抗网络B,包括生成器B1、判别器B2、生成器B3和判别器B4,纹理转换生成对抗网络B为循环生成对抗网络;将形状变换生成对抗网络A和纹理转换生成对抗网络B进行连接,获得摄影古文字生成网络模型;联合训练摄影古文字生成网络模型中的形状变换生成对抗网络A和纹理转换生成对抗网络B;使用训练好的生成器A1和生成器B1,将生成器A1的输出端与生成器B1输入端相连,获得摄影古文字图像生成器;采用所述的摄影古文字图像生成器进行古文字生成。
-
公开(公告)号:CN114494003A
公开(公告)日:2022-05-13
申请号:CN202210336338.9
申请日:2022-04-01
Applicant: 华南理工大学 , 人工智能与数字经济广东省实验室(广州)
Abstract: 本发明公开了一种联合形状变换和纹理转换的古文字生成方法,包括:构建形状变换生成对抗网络A,包括生成器A1和判别器A2;构建纹理转换生成对抗网络B,包括生成器B1、判别器B2、生成器B3和判别器B4,纹理转换生成对抗网络B为循环生成对抗网络;将形状变换生成对抗网络A和纹理转换生成对抗网络B进行连接,获得摄影古文字生成网络模型;联合训练摄影古文字生成网络模型中的形状变换生成对抗网络A和纹理转换生成对抗网络B;使用训练好的生成器A1和生成器B1,将生成器A1的输出端与生成器B1输入端相连,获得摄影古文字图像生成器;采用所述的摄影古文字图像生成器进行古文字生成。
-
公开(公告)号:CN114463760A
公开(公告)日:2022-05-10
申请号:CN202210363354.7
申请日:2022-04-08
Applicant: 华南理工大学 , 人工智能与数字经济广东省实验室(广州)
IPC: G06V30/32 , G06V20/62 , G06V30/10 , G06V10/28 , G06V10/44 , G06V10/764 , G06V10/82 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于双流编码的文字图像书写轨迹恢复方法,包括以下步骤:将文字图像调整为预设尺寸并进行二值化处理;构建双流编码网络,所述的双流编码网络输入为文字图像,输出为双流融合编码特征;构建解码网络,所述的解码网络的输入为双流融合编码特征,输出为预测文字书写轨迹序列;联合训练双流编码网络和解码网络,获得文字图像书写轨迹恢复网络模型;利用训练完成的文字图像书写轨迹恢复网络模型进行书写轨迹恢复。本发明方法在编码过程中,分别提取文字在竖直和水平方向上的特征,实现对特征进行降采样、减少参数量的同时,保留必要的文字字形信息,帮助后续解码精确地反映文字的字形,有效提升文字图像书写轨迹的恢复性能。
-
-
-
-
-
-
-
-
-