-
公开(公告)号:CN116563874A
公开(公告)日:2023-08-08
申请号:CN202310533494.9
申请日:2023-05-12
Applicant: 华南理工大学 , 广东省中医院(广州中医药大学第二附属医院、广州中医药大学第二临床医学院、广东省中医药科学院)
IPC: G06V30/414 , G06V30/146 , G06V30/186 , G06V30/19 , G06V10/82 , G06N3/045 , G06N3/042 , G06N3/0442 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于多任务交互的医学诊疗报表端到端识别方法,其特征在于,所述方法包括:构建多任务交互端到端识别网络,所述的多任务,包括医学诊疗报表的结构和内容识别、表格单元格的检测定位;构建单元格的视觉特征与结构语义特征的匹配损失函数;利用不确定度加权的多任务学习损失函数训练所述的多任务交互端到端识别网络;后处理网络预测结果。本发明方法提供一种端到端可训练的基于多任务交互以及单元格语义与视觉特征对齐的方法来高效识别医学诊疗报表。
-
公开(公告)号:CN116563867A
公开(公告)日:2023-08-08
申请号:CN202310533619.8
申请日:2023-05-12
Applicant: 华南理工大学 , 广东省中医院(广州中医药大学第二附属医院、广州中医药大学第二临床医学院、广东省中医药科学院)
IPC: G06V30/41 , G06V30/164 , G06V30/19 , G06V10/774 , G06V10/82 , G06N3/091
Abstract: 本发明公开了一种用于医疗文档OCR识别的噪声鲁棒主动学习方法,包括:在主动学习样本筛选阶段,该算法首先采用基于最小置信度的筛选方法,通过累乘得到序列整体置信度作为指标,筛选出一批高度不确定的有价值样本;然后,在迭代训练阶段,设计动态噪声标签校正损失函数,该算法在原识别损失基础上引入正则项用以鼓励样本预测概率分布朝着低熵的方向变化,获得一个确信的预测用于校正噪声标签;进一步,算法设计一个动态调控函数控制正则项,在前期分配给使用真实标签的识别损失项更高的权重,而后期则将权重更多地分配到熵最小化项上,鼓励信任低熵预测概率分布,以达到动态校正噪声标签目的。
-
公开(公告)号:CN117991825B
公开(公告)日:2024-10-15
申请号:CN202410149341.9
申请日:2024-02-02
Applicant: 华南理工大学
Abstract: 本发明公开了一种基于深度学习与深度信息检测定位的云台结构及方法,包括:图像采集装置,用于采集目标物体的图像信息和深度信息;计算处理模块,将所述图像信息和深度信息转化为位置信息、姿态信息并生成控制指令发送至云台舵机控制模块中;云台舵机控制模块,根据所述计算处理模块发送的控制指令驱动云台舵机机构;云台舵机机构,通过所述云台舵机控制模块的驱动控制对所述图像采集装置进行方位角度调整;本发明结构简单,安装方便快捷,易于推广应用;在结构上配备有可转动的图像采集装置,可实现对云台舵机机构、运动机构和执行机构的精确控制。
-
公开(公告)号:CN118069818B
公开(公告)日:2024-07-12
申请号:CN202410483177.5
申请日:2024-04-22
Applicant: 华南理工大学
Inventor: 黄森
IPC: G06F16/332 , G06N3/0464 , G06N5/022 , G06N5/04 , G06V10/82 , G06V30/18 , G06V30/19
Abstract: 本发明公开了一种基于大语言模型增强的知识问答方法,所述方法包括:构建专利特征提取模型,包括OCR模块,文本特征提取器,图像文本融合特征提取器;把专利摘要文本和附图输入专利特征提取模型,得到多模态融合特征;把专利输入大语言模型,得到对应的查询,把查询输入查询特征提取模型,得到查询特征;对多篇专利的多模态融合特征和查询特征计算损失函数,用其优化专利特征提取模型和查询特征提取模型;用训练好的模型进行专利检索问答。本发明通过多模态特征的提取,高效准确地把专利表示为特征向量,并利用大语言模型生成专利的查询,通过自监督的方式训练模型,这种方式无需人工标注较低,最终实现以问答的方式通过查询检索专利。
-
公开(公告)号:CN117874174B
公开(公告)日:2024-05-10
申请号:CN202410273703.5
申请日:2024-03-11
Applicant: 华南理工大学
Inventor: 黄森
Abstract: 本发明公开了基于关系先验偏置的文档关系抽取方法,所述方法包括:构建关系抽取模型,包括预训练语言模型和关系预测层;使用预训练语言模型编码文档,获得文档特征以及实体特征;对每个实体对计算关系先验偏置;把每个实体对的实体特征和关系先验偏置输入关系预测层,获得实体对的关系概率分布;计算关系分类损失函数,优化关系分类损失函数,训练关系抽取模型;使用关系抽取模型进行关系抽取。本发明发现对于文档关系抽取,其天然存在着很强的统计先验知识,本发明创新性地根据头尾实体的类型计算出实体对的关系先验偏置,并将关系先验偏置作为先验知识引入深度学习模型中,实现了高精度的文档关系抽取。
-
公开(公告)号:CN117991825A
公开(公告)日:2024-05-07
申请号:CN202410149341.9
申请日:2024-02-02
Applicant: 华南理工大学
Abstract: 本发明公开了一种基于深度学习与深度信息检测定位的云台结构及方法,包括:图像采集装置,用于采集目标物体的图像信息和深度信息;计算处理模块,将所述图像信息和深度信息转化为位置信息、姿态信息并生成控制指令发送至云台舵机控制模块中;云台舵机控制模块,根据所述计算处理模块发送的控制指令驱动云台舵机机构;云台舵机机构,通过所述云台舵机控制模块的驱动控制对所述图像采集装置进行方位角度调整;本发明结构简单,安装方便快捷,易于推广应用;在结构上配备有可转动的图像采集装置,可实现对云台舵机机构、运动机构和执行机构的精确控制。
-
公开(公告)号:CN117874174A
公开(公告)日:2024-04-12
申请号:CN202410273703.5
申请日:2024-03-11
Applicant: 华南理工大学
Abstract: 本发明公开了基于关系先验偏置的文档关系抽取方法,所述方法包括:构建关系抽取模型,包括预训练语言模型和关系预测层;使用预训练语言模型编码文档,获得文档特征以及实体特征;对每个实体对计算关系先验偏置;把每个实体对的实体特征和关系先验偏置输入关系预测层,获得实体对的关系概率分布;计算关系分类损失函数,优化关系分类损失函数,训练关系抽取模型;使用关系抽取模型进行关系抽取。本发明发现对于文档关系抽取,其天然存在着很强的统计先验知识,本发明创新性地根据头尾实体的类型计算出实体对的关系先验偏置,并将关系先验偏置作为先验知识引入深度学习模型中,实现了高精度的文档关系抽取。
-
公开(公告)号:CN117351003B
公开(公告)日:2024-02-23
申请号:CN202311579723.7
申请日:2023-11-24
Applicant: 华南理工大学
Abstract: 本发明公开了一种基于视频动作的多模型集成多相位MRI肿瘤分类方法,包括以下步骤:步骤1,对MRI肿瘤病例数进行划分处理与对MRI三维图像进行预处理;步骤2,通过分类模型获取MRI三维图像的特征图;步骤3,对特征图进行融合并映射到输出类别中得到预测结果;步骤4,重复步骤2和步骤3,获取多个独立且对不同类别具有不同分类能力的模型的预测结果;步骤5,集成多个模型的预测结果从而得到最终的多相位MRI肿瘤分类结果;得到更具鲁棒性和更精准的预测结果,使自动诊断多相位MRI肿瘤分类结果的精准度进一步提高,有效的缓解了医疗数据集中、数据量少、数据集不平衡的问题。
-
公开(公告)号:CN115618154A
公开(公告)日:2023-01-17
申请号:CN202211632718.3
申请日:2022-12-19
Applicant: 华南理工大学
IPC: G06F16/958
Abstract: 本发明公开了一种表格的标记语言标签与单元格锚框鲁棒对齐方法,方法包括:解析HTML结构字符串,得到td标签的行号、列号、跨行数目以及跨列数目;基于单元格的Bbox的竖直方向的坐标位置关系,为每个Bbox分配行号,并根据水平方向的坐标位置关系将Bbox从左至右进行排序;进行匹配行的各Bbox标签的分配;基于匹配行,根据水平方向的坐标位置关系,对所有未匹配行中的Bbox的列号进行投票,投票数最多的列号作为Bbox列号的预测结果,基于列号将Bbox与同行的td标签进行对齐,进行未匹配行的各Bbox标签的分配;由此得到整个表格各Bbox的行号、列号、跨行数目以及跨列数目的分配结果。
-
公开(公告)号:CN119516530B
公开(公告)日:2025-05-09
申请号:CN202411580630.0
申请日:2024-11-07
Applicant: 华南理工大学
IPC: G06V20/62 , G06V30/18 , G06V30/19 , G06V10/82 , G06N3/0985 , G06N3/0455
Abstract: 本发明公开了基于空间位置与场景关联的文本检测识别模型校准方法,包括:根据目标文本序列的似然最大化和目标位置的绝对距离最小化对端到端文本检测识别模型进行监督获得识别损失;通过文本关联序列挖掘模型构建文本关联序列集;通过空间位置平滑方法构建文本平滑位置集;根据文本关联序列集联合正则内容损失实现文本内容置信度校准;根据文本平滑位置集联合正则位置损失实现文本位置置信度校准;引入全局校准强度系数联合正则内容损失和正则位置损失构建正则化损失函数,实现总体的可控性端到端置信度校准;联合识别损失和正则化损失得到最终损失以训练得到校准后的端到端文本检测识别模型,用于输出预测文本序列、位置及校准的置信度。
-
-
-
-
-
-
-
-
-