-
公开(公告)号:CN117216245A
公开(公告)日:2023-12-12
申请号:CN202311482529.7
申请日:2023-11-09
Applicant: 华南理工大学
Abstract: 本发明公开了一种基于深度学习的表格摘要生成方法,包括以下步骤:步骤1,将表格的参考摘要进行切分,通过匹配算法得到表格对应的内容行;步骤2,将表格对应的内容行进行两两配对,得到独立内容行与合并内容行;步骤3,获取所述独立内容行与所述合并内容行分别对应的文本摘要;步骤4,将所述分别对应的文本摘要融合在一起,形成整个表格的文本摘要作为最终模型的输出;通过对表格进行跨行合并和将内容行逐行生成摘要的方式,解决了表格存在跨行较多以及单元格数目较多时效果不佳的问题,从而提高了表格生成摘要的鲁棒性和准确性。
-
公开(公告)号:CN116563874A
公开(公告)日:2023-08-08
申请号:CN202310533494.9
申请日:2023-05-12
Applicant: 华南理工大学 , 广东省中医院(广州中医药大学第二附属医院、广州中医药大学第二临床医学院、广东省中医药科学院)
IPC: G06V30/414 , G06V30/146 , G06V30/186 , G06V30/19 , G06V10/82 , G06N3/045 , G06N3/042 , G06N3/0442 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于多任务交互的医学诊疗报表端到端识别方法,其特征在于,所述方法包括:构建多任务交互端到端识别网络,所述的多任务,包括医学诊疗报表的结构和内容识别、表格单元格的检测定位;构建单元格的视觉特征与结构语义特征的匹配损失函数;利用不确定度加权的多任务学习损失函数训练所述的多任务交互端到端识别网络;后处理网络预测结果。本发明方法提供一种端到端可训练的基于多任务交互以及单元格语义与视觉特征对齐的方法来高效识别医学诊疗报表。
-
公开(公告)号:CN115620265B
公开(公告)日:2023-04-18
申请号:CN202211631506.3
申请日:2022-12-19
Applicant: 华南理工大学 , 株洲中车时代软件技术有限公司
IPC: G06V20/58 , G06N3/0464 , G06N3/048 , G06N3/084 , G06N3/09 , G06V10/44 , G06V10/764 , G06V10/82 , G06V30/146 , G06V30/18 , G06V30/19
Abstract: 本发明公开了基于深度学习的机车标志牌信息智能识别方法,包括以下步骤:获得机车标志牌图像数据;对所述的机车标志牌图像进行预分类;根据预分类结果,采用对应的方法进行图像文本识别及分类;获得所述的机车标志牌图像的具体类别及文本信息;所述的预分类结果包括单一文本标志牌、单行文本标志牌、单列文本标志牌和多文本标志牌。本发明实施例实现了机车线路标志牌类别信息与文本信息的智能识别,通过标志牌预分类算法,对不同的预分类采用不同的处理方法,提升了对机车标志牌的识别速度与复杂标志牌的识别精度,并通过融合文本与图像的多模态特征,实现了高精度的具体分类识别和文本信息提取。
-
公开(公告)号:CN115620322B
公开(公告)日:2023-04-07
申请号:CN202211637591.4
申请日:2022-12-20
Applicant: 华南理工大学
IPC: G06V30/412 , G06F40/151 , G06T7/66 , G06T7/70 , G06V10/28 , G06V10/32 , G06V10/34 , G06V10/44 , G06V10/764
Abstract: 本发明公开了一种基于关键点检测的全线表表格结构识别方法,包括:采用关键点检测网络对表格图像中的关键点进行检测,得到包含所有关键点位置信息的高斯热图;将高斯热图放缩至和输入表格图像尺寸一致,并通过轮廓中心距算法得到所有关键点的坐标位置;使用扫描线法解析关键点在表格中的结构位置关系;使用连通域法检测相邻的关键点是否存在连接关系;根据关键点之间的结构位置关系和连接关系重构出表格中所有的单元格,并转换为需要的标记语言描述。本发明方法采用基于深度学习的关键点检测方法能够鲁棒地找到表格图像中的所有表格线交点,并根据这些关键点获取所有单元格的准确位置,从而高质量完成表格结构识别。
-
公开(公告)号:CN115620322A
公开(公告)日:2023-01-17
申请号:CN202211637591.4
申请日:2022-12-20
Applicant: 华南理工大学
IPC: G06V30/412 , G06F40/151 , G06T7/66 , G06T7/70 , G06V10/28 , G06V10/32 , G06V10/34 , G06V10/44 , G06V10/764
Abstract: 本发明公开了一种基于关键点检测的全线表表格结构识别方法,包括:采用关键点检测网络对表格图像中的关键点进行检测,得到包含所有关键点位置信息的高斯热图;将高斯热图放缩至和输入表格图像尺寸一致,并通过轮廓中心距算法得到所有关键点的坐标位置;使用扫描线法解析关键点在表格中的结构位置关系;使用连通域法检测相邻的关键点是否存在连接关系;根据关键点之间的结构位置关系和连接关系重构出表格中所有的单元格,并转换为需要的标记语言描述。本发明方法采用基于深度学习的关键点检测方法能够鲁棒地找到表格图像中的所有表格线交点,并根据这些关键点获取所有单元格的准确位置,从而高质量完成表格结构识别。
-
公开(公告)号:CN119943435A
公开(公告)日:2025-05-06
申请号:CN202510003480.5
申请日:2025-01-02
Applicant: 华南理工大学
IPC: G16H70/00 , G06F40/30 , G06F16/334 , G06N3/0455 , G06N3/048 , G06N3/08 , G06F16/35
Abstract: 本发明公开了一种中医情境信息精准结构化表示及语义比对方法,包括构建情境维度语义丰富网络;将中医情境文本经思维链结构化模块提取关键维度信息并转化为结构化情境文本,然后经情境信息编码模块提取多层次维度特征,接着依次通过层内上下文信息丰富模块和层间信息交汇模块捕获层内上下文信息和层间多维度信息获得语义丰富的情境语义特征;训练所述情境维度语义丰富网络并进行情境语义比对;本发明结合思维链提示调优方法挖掘通用中文大语言模型的中医语义理解能力,准确地对中医情境信息进行提取,同时融合多层次的中医情境维度信息获得语义丰富的情境语义特征,提升中医情境语义比对的准确性,为中医临床医生提供有价值的参考情境。
-
公开(公告)号:CN119516530A
公开(公告)日:2025-02-25
申请号:CN202411580630.0
申请日:2024-11-07
Applicant: 华南理工大学
IPC: G06V20/62 , G06V30/18 , G06V30/19 , G06V10/82 , G06N3/0985 , G06N3/0455
Abstract: 本发明公开了基于空间位置与场景关联的文本检测识别模型校准方法,包括:根据目标文本序列的似然最大化和目标位置的绝对距离最小化对端到端文本检测识别模型进行监督获得识别损失;通过文本关联序列挖掘模型构建文本关联序列集;通过空间位置平滑方法构建文本平滑位置集;根据文本关联序列集联合正则内容损失实现文本内容置信度校准;根据文本平滑位置集联合正则位置损失实现文本位置置信度校准;引入全局校准强度系数联合正则内容损失和正则位置损失构建正则化损失函数,实现总体的可控性端到端置信度校准;联合识别损失和正则化损失得到最终损失以训练得到校准后的端到端文本检测识别模型,用于输出预测文本序列、位置及校准的置信度。
-
公开(公告)号:CN119397047A
公开(公告)日:2025-02-07
申请号:CN202411521888.3
申请日:2024-10-29
Applicant: 华南理工大学
IPC: G06F16/55 , G06F16/532 , G06F16/583 , G06V10/764 , G06V10/77 , G06V10/40 , G06V10/774 , G06V10/82 , G06N3/048 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于难负样本表征合成的图像检索方法,包括以下步骤:构建能够合成信息丰富的难负样本表征生成网络;以类别均衡采样策略构建的批量图像作为网络输入,经图像表征提取模块提取出批量图像表征,然后将批量图像表征输入到样本间全局关联学习模块中学习,将互为负类的样本对输入到关联感知的通道多样性插值模块中合成难负样本表征;训练所述的能够合成信息丰富的难负样本表征生成网络,利用合成的难负样本表征和真实样本表征共同训练图像表征提取模块;使用训练好的图像表征提取模块进行图像检索;通过结合样本间全局关联学习能力,合成更具信息量的难负样本表征,引导图像表征提取模块提取更具判别性的图像表征以增强检索性能。
-
公开(公告)号:CN118093956A
公开(公告)日:2024-05-28
申请号:CN202311732230.2
申请日:2023-12-16
Applicant: 华南理工大学
IPC: G06F16/9032 , G06F16/901 , G06F16/28 , G06F16/2455 , G06F16/2458 , G06F16/903 , G06F40/279 , G06F40/216 , G06N3/0442 , G06N5/02 , G06N5/04
Abstract: 本发明公开了一种用于多粒度时序知识图谱的问答方法,包括以下步骤:步骤1,对数据集进行预处理得到实体、关系、事件实体和时间;步骤2,利用数据集训练实体抽取模型和关系抽取模型得到更精准的实体和关系;步骤3,利用得到的实体、关系、事件实体和时间进行图谱查询得到最终的候选答案集;本发明中用于多粒度时序知识图谱的问答方法适应动态环境下的多粒度时序知识图谱问答场景,在多粒度时间和多时序约束下具有高精度问答性能,且该方法保证了推理效率,具有良好的泛化性,对不同类型的问题均有良好的性能。
-
公开(公告)号:CN118069818A
公开(公告)日:2024-05-24
申请号:CN202410483177.5
申请日:2024-04-22
Applicant: 华南理工大学
Inventor: 黄森
IPC: G06F16/332 , G06N3/0464 , G06N5/022 , G06N5/04 , G06V10/82 , G06V30/18 , G06V30/19
Abstract: 本发明公开了一种基于大语言模型增强的知识问答方法,所述方法包括:构建专利特征提取模型,包括OCR模块,文本特征提取器,图像文本融合特征提取器;把专利摘要文本和附图输入专利特征提取模型,得到多模态融合特征;把专利输入大语言模型,得到对应的查询,把查询输入查询特征提取模型,得到查询特征;对多篇专利的多模态融合特征和查询特征计算损失函数,用其优化专利特征提取模型和查询特征提取模型;用训练好的模型进行专利检索问答。本发明通过多模态特征的提取,高效准确地把专利表示为特征向量,并利用大语言模型生成专利的查询,通过自监督的方式训练模型,这种方式无需人工标注较低,最终实现以问答的方式通过查询检索专利。
-
-
-
-
-
-
-
-
-