-
公开(公告)号:CN117216245B
公开(公告)日:2024-01-26
申请号:CN202311482529.7
申请日:2023-11-09
Applicant: 华南理工大学
Abstract: 本发明公开了一种基于深度学习的表格摘要生成方法,包括以下步骤:步骤1,将表格的参考摘要进行切分,通过匹配算法得到表格对应的内容行;步骤2,将表格对应的内容行进行两两配对,得到独立内容行与合并内容行;步骤3,获取所述独立内容行与所述合并内容行分别对应的文本摘要;步骤4,将所述分别对应的文本摘要融合在一起,形成整个表格的文本摘要作为最终模型的输出;通过对表格进行跨行合并和将内容行逐行生成摘要的方式,解决了表格存在跨行较多以及单元格数目较多时效果不佳的问题,从而提高了表格生成摘要的鲁棒性和准确性。
-
公开(公告)号:CN117351003A
公开(公告)日:2024-01-05
申请号:CN202311579723.7
申请日:2023-11-24
Applicant: 华南理工大学
Abstract: 本发明公开了一种基于视频动作的多模型集成多相位MRI肿瘤分类方法,包括以下步骤:步骤1,对MRI肿瘤病例数进行划分处理与对MRI三维图像进行预处理;步骤2,通过分类模型获取MRI三维图像的特征图;步骤3,对特征图进行融合并映射到输出类别中得到预测结果;步骤4,重复步骤2和步骤3,获取多个独立且对不同类别具有不同分类能力的模型的预测结果;步骤5,集成多个模型的预测结果从而得到最终的多相位MRI肿瘤分类结果;得到更具鲁棒性和更精准的预测结果,使自动诊断多相位MRI肿瘤分类结果的精准度进一步提高,有效的缓解了医疗数据集中、数据量少、数据集不平衡的问题。
-
公开(公告)号:CN117151111A
公开(公告)日:2023-12-01
申请号:CN202311027442.0
申请日:2023-08-15
Applicant: 华南理工大学
IPC: G06F40/30 , G06F16/33 , G06F18/214 , G06F18/2415
Abstract: 本发明公开了基于感知和语义关联性的文本识别模型可靠性正则方法,包括:利用语义上下文无关的识别模型和预训练语言模型分别获取感知关联序列集和语义关联序列集,构建实例特定的关联序列集;根据关联序列集,联合利用感知和语义关联序列平滑目标序列的损失,以实现更加有效的序列可靠性正则;构建调制函数,根据样本的难易程度自适应调整校准强度,以实现自适应细粒度序列可靠性正则;引入全局平滑因子,联合预测序列与标签序列的KL散度,构建全局校准损失函数,以实现总体的序列可靠性正则;利用最终损失重新训练待校准训练模型,最后得到校准的场景文本识别模型,用于输出预测文本序列及校准的置信度。
-
公开(公告)号:CN111915540B
公开(公告)日:2023-08-18
申请号:CN202010553556.9
申请日:2020-06-17
Applicant: 华南理工大学
Abstract: 本发明公开了一种拓片甲骨文字符图像增广方法、系统、计算机设备及介质,所述方法包括:将临摹甲骨文字符图像集合输入字形增广模块进行随机形态处理,得到增广临摹甲骨文字符图像集合;构建风格迁移网络,以学习增广临摹甲骨文字符图像集合的分布到拓片甲骨文字符图像集合的分布之间的映射函数;将增广临摹甲骨文字符图像集合输入风格迁移网络进行处理,得到拓片甲骨文图像增广数据集;将拓片甲骨文字符图像集合与拓片甲骨文图像增广数据集混合,对拓片甲骨文字符识别网络进行训练。本发明可得到总数充足且类别平衡的增广数据集,以解决拓片甲骨文字符识别任务中的缺少训练数据的问题,利用增广数据集进行训练能够提升识别模型的精度。
-
公开(公告)号:CN116563867A
公开(公告)日:2023-08-08
申请号:CN202310533619.8
申请日:2023-05-12
Applicant: 华南理工大学 , 广东省中医院(广州中医药大学第二附属医院、广州中医药大学第二临床医学院、广东省中医药科学院)
IPC: G06V30/41 , G06V30/164 , G06V30/19 , G06V10/774 , G06V10/82 , G06N3/091
Abstract: 本发明公开了一种用于医疗文档OCR识别的噪声鲁棒主动学习方法,包括:在主动学习样本筛选阶段,该算法首先采用基于最小置信度的筛选方法,通过累乘得到序列整体置信度作为指标,筛选出一批高度不确定的有价值样本;然后,在迭代训练阶段,设计动态噪声标签校正损失函数,该算法在原识别损失基础上引入正则项用以鼓励样本预测概率分布朝着低熵的方向变化,获得一个确信的预测用于校正噪声标签;进一步,算法设计一个动态调控函数控制正则项,在前期分配给使用真实标签的识别损失项更高的权重,而后期则将权重更多地分配到熵最小化项上,鼓励信任低熵预测概率分布,以达到动态校正噪声标签目的。
-
公开(公告)号:CN115620265A
公开(公告)日:2023-01-17
申请号:CN202211631506.3
申请日:2022-12-19
Applicant: 华南理工大学 , 株洲中车时代软件技术有限公司
IPC: G06V20/58 , G06N3/04 , G06N3/08 , G06V10/44 , G06V10/764 , G06V10/82 , G06V30/146 , G06V30/18 , G06V30/19
Abstract: 本发明公开了基于深度学习的机车标志牌信息智能识别方法,包括以下步骤:获得机车标志牌图像数据;对所述的机车标志牌图像进行预分类;根据预分类结果,采用对应的方法进行图像文本识别及分类;获得所述的机车标志牌图像的具体类别及文本信息;所述的预分类结果包括单一文本标志牌、单行文本标志牌、单列文本标志牌和多文本标志牌。本发明实施例实现了机车线路标志牌类别信息与文本信息的智能识别,通过标志牌预分类算法,对不同的预分类采用不同的处理方法,提升了对机车标志牌的识别速度与复杂标志牌的识别精度,并通过融合文本与图像的多模态特征,实现了高精度的具体分类识别和文本信息提取。
-
公开(公告)号:CN114495114B
公开(公告)日:2022-08-05
申请号:CN202210402975.1
申请日:2022-04-18
Applicant: 华南理工大学 , 人工智能与数字经济广东省实验室(广州)
Abstract: 本发明公开了基于CTC解码器的文本序列识别模型校准方法,包括:将文本图像支撑集输入至待校准训练模型中,获得文本序列识别结果;利用文本图像支撑集的文本序列识别结果计算上下文混淆矩阵,上下文混淆矩阵用于表征序列中相邻时刻预测字符之间的上下文分布关系;根据上下文混淆矩阵,利用上下文相关预测分布对标签平滑中平滑强度有选择性地进行自适应的变化,以实现序列置信度的自适应校准;基于上下文选择性损失函数重新训练待校准训练模型,输出预测文本序列及校准的置信度。本发明方法将标签平滑扩展到基于CTC解码器的文本序列识别模型上,引入序列间上下文关系,对预测序列进行自适应的校准,使得模型输出预测文本置信度能够更加精准。
-
公开(公告)号:CN114782961A
公开(公告)日:2022-07-22
申请号:CN202210285238.8
申请日:2022-03-23
Applicant: 华南理工大学 , 人工智能与数字经济广东省实验室(广州)
Abstract: 本发明公开了一种基于形状变换的字符图像增广方法,包括以下步骤:构建形状变换生成对抗网络,包括生成器和判别器;以原始字符图像作为生成器的输入,经过空间变换之后产生形变的字符图像,将生成器的输出端与判别器的输入端连接,同时,将目标字符图像输入到判别器的另一个输入端,判别器输出对形变的字符图像和目标字符图像的判别结果;训练所述的形状变换生成对抗网络;使用训练好的生成器生成增广后的字符图像。本发明方法结合仿射矩阵和TPS变换采样网格参数使STN能够同时产生全局和局部的形状变化,能够更好的拟合字符的形状特征,使产生的字符真实性和多样性更好,使用增广后的数据所训练的分类器的分类性能进一步提升。
-
公开(公告)号:CN114529925B
公开(公告)日:2022-07-15
申请号:CN202210425844.5
申请日:2022-04-22
Applicant: 华南理工大学 , 人工智能与数字经济广东省实验室(广州)
IPC: G06V30/412 , G06V10/24 , G06V10/26 , G06V10/28 , G06V10/44 , G06V10/764 , G06K9/62
Abstract: 本发明公开了一种全线表表格结构识别方法,包括:采用实例分割算法对文档图像进行单元格分割,得到每一个单元格对应于文档图像中单元格所在区域的二值化掩码图像;将每一个单元格的二值化掩码图像进行或运算和形态学闭操作,得到表格整体区域图像及表格整体区域图像的二值化掩码图像;采用矫正算法,在获得表格整体区域图像中表格区域的四个顶点后,利用TPS变换以这四个顶点为基准将弯曲表格修正为以这四个顶点为顶点的近似四边形表格区域,并使用透视变换将近似四边形表格区域转换成水平矩形的正表格图像;进行单元格目标检测获得每一个单元格的边界框;利用基于规则化排序算法进行排序以识别表格结构,将表格结构表达成对应的标记语言描述。
-
公开(公告)号:CN114387608B
公开(公告)日:2022-06-21
申请号:CN202210293274.9
申请日:2022-03-24
Applicant: 华南理工大学 , 人工智能与数字经济广东省实验室(广州)
IPC: G06V30/412 , G06V30/414 , G06V30/19 , G06V30/26 , G06K9/62 , G06N3/04 , G06N3/08 , G06F40/151 , G06F40/143
Abstract: 本发明公开了一种联合卷积与图神经网络的表格结构识别方法,其特征在于,所述方法包括:构建联合卷积图神经网络,所述的联合卷积图神经网络包括深度二维卷积神经网络、二维卷积神经网络和图神经网络;利用不确定度加权的多任务学习损失函数训练所述的联合卷积图神经网络;使用二维卷积神经网络预测表格各单元格中心点坐标,基于中心点构建表格结构的图,利用所述的图神经网络对图的每条边进行分类;后处理算法处理分好类的表格结构的图,得到各单元格的结构属性,并转换为描述表格结构的标记语言。本发明方法提供一种端到端可训练的基于图神经网络显示建模表格结构的方法来高效识别表格结构。
-
-
-
-
-
-
-
-
-