-
公开(公告)号：CN117851883B
公开(公告)日：2024-08-30
申请号：CN202410006211.X
申请日：2024-01-03
Applicant: 之江实验室
IPC: G06F18/241 , G06F18/213 , G06F18/25 , G06F18/27 , G06V10/764 , G06V10/82 , G06N3/0455
Abstract: 本发明公开了一种基于跨模态大语言模型的场景文本检测与识别方法，该方法包括：获取多组具有真值标注的图像‑文本数据集；利用图像编码器对数据集中的图像进行特征提取与学习，得到图像模态的特征嵌入；将图像模态特征嵌入与对应真值标注的文本特征嵌入融合构造为图像及自然语言的多模态特征序列；将融合后的多模态特征序列输入大语言模型当中进行跨模态编解码，再进行自回归机制下的网络微调；将文本图像输入上述训练好的图像编码器与大语言模型当中，通过线性分类与类目查表的方式将网络输出翻译为当前图片当中所包含的文本目标的内容及位置，从而完成文本检测与识别任务。本发明实现方法简便，灵活鲁棒，适用范围广。
-
公开(公告)号：CN118378592B
公开(公告)日：2024-08-16
申请号：CN202410803845.8
申请日：2024-06-20
Applicant: 之江实验室
IPC: G06F40/117 , G06N5/04 , G06F40/151
Abstract: 本说明书公开了一种基于公式学习的大模型微调方法、装置及存储介质，获取包含公式的原始文本中的公式和公式的候选变量。针对每个公式，根据该公式的上下文内容，确定目标文本并确定目标文本中的候选变量，在该公式中确定与候选变量一致的匹配变量，根据包含候选变量的语句确定解释文本。将目标文本的解释文本和匹配变量屏蔽，得到任务文本，根据公式和解释文本确定任务文本的标注。将任务文本和任务提示输入大模型得到预测文本，根据预测文本与标注的差异微调大模型。通过屏蔽目标文本的解释文本和匹配变量，对大模型进行微调，使大模型学习到公式中的变量与其解释之间的对应关系，从而在问答任务中提高大模型对涉及公式计算问题的回答准确率。
-
公开(公告)号：CN118279610A
公开(公告)日：2024-07-02
申请号：CN202410704308.8
申请日：2024-06-03
Applicant: 之江实验室 , 中国科学院东北地理与农业生态研究所
Abstract: 本发明公开了一种基于图像表型匹配的大豆表型识别方法、电子设备、介质，包括：获取待识别的大豆图片；将其输入至预先训练好的图像编码器中提取得到图像特征，将图像特征输入至预先训练好的表型解码器中得到大豆图片获得表型结果；其中，图像编码器以及表型解码器的训练过程包括：获取大豆成熟期图像并对其设置表型标签和数组标签；将大豆成熟期图像及其对应的表型标签分别输入至图像编码器、表型编码器，从而训练图像编码器、表型编码器；固定表型编码器的网络权重；将表型标签输入至表型编码器提取得到表型特征，将表型特征输入至表型解码器提取得到表型结果识别特征，基于表型结果识别特征与数组标签间的差值从而反向传播优化表型解码器。
-
公开(公告)号：CN116721412B
公开(公告)日：2024-05-03
申请号：CN202310406872.7
申请日：2023-04-17
Applicant: 之江实验室 , 中国科学院东北地理与农业生态研究所
IPC: G06V20/68 , G06V10/82 , G06V10/774 , G06V10/776 , G06V10/40 , G06N3/0464 , G06N3/09
Abstract: 一种自下而上的基于结构性先验的豆荚关键点检测方法，自定义不同类型豆荚中豆粒的关键点含义，构建了包含主干网络、豆粒位置置信度热力图子网络、部位亲和域子网络、结构先验子网络四部分的自下而上的豆粒关键点检测网络，可实现先利用位置置信度检测得到所有的豆粒位置，然后结合部位亲和域积分计算，利用匈牙利算法得到豆粒之间的最优匹配连接关系，从而提取到豆荚的数量和豆荚的类型。特别的，在训练阶段通过添加结构先验子网络，提升模型的准确率。还包括一种自下而上的基于结构性先验的豆荚关键点检测系统。本发明从豆荚形态上确定豆荚类型，可快速同时检测多个豆荚，并定位得到豆荚中每个豆粒的位置。
-
公开(公告)号：CN117079060B
公开(公告)日：2024-03-12
申请号：CN202311325300.2
申请日：2023-10-13
Applicant: 之江实验室 , 中国科学院东北地理与农业生态研究所
IPC: G06V10/764 , G06V10/774 , G06V10/25 , G06V20/40 , G06V10/82 , G06N3/0442 , G06N3/0464 , G06N3/045
Abstract: 一种基于光合信号的叶片智能分类方法和系统，其方法包含：叶片光合信号提取、叶片光合信号分类。叶片光合信号提取通过叶片检测模型提取出视频中的叶片，使用分割算法对提取出的叶片进行分割，从而分割出叶片区块，然后以叶片区块内的像素均值记为当前帧的光合信号值，视频的多帧连续光合信号值即组成此叶片的光合信号。叶片光合信号分类使用神经网络对采集到的叶片光合信号进行特征提取训练，来实现叶片的分类。本发明提出一种基于植物叶片的光合信号，确定其提取方法，并针对植物叶片的光合信号变化，采用深度学习训练的方式，提取出植物叶片与其光合信号变化的相关性，从而大大提高叶片分类的精度。
-
Patent Agency Ranking
公开(公告)号：CN117314755B
公开(公告)日：2024-02-13
申请号：CN202311605122.9
申请日：2023-11-29
Applicant: 之江实验室 , 中国科学院东北地理与农业生态研究所
IPC: G06T3/4053 , G06T3/4046 , G06T5/60 , G06T5/70 , G06T7/00 , G06V20/70 , G06V10/774 , G06V10/80 , G06V10/82 , G06N3/0455 , G06N3/0464 , G06N3/0475 , G06N3/0895
Abstract: 本发明公开了一种基于跨模态图像生成的多视角植株生成方法和装置，属于农业方面的图像处理领域，包括：采集植株图像并标注文本信息；基于图像和文本对文本图像映射模型进行训练微调并冻结，得到图像和文本的内嵌向量；基于图像和文本的内嵌向量，构建基于扩散模型的包含文本图像先验模块和图像编码器模块的图像生成模型并训练；实际推理阶段根据基因型‑表型预测模型得到的目标植株表型数据，引导图像生成模型生成多视角小图，并输入图像超分辨模块得到高分辨率的目标植株图像。本发明采用扩散模型构建图像生成模型和图像超分辨模块，
-
公开(公告)号：CN117349725A
公开(公告)日：2024-01-05
申请号：CN202311280581.4
申请日：2023-09-28
Applicant: 之江实验室
IPC: G06F18/241 , G06F18/214 , A61B5/021 , A61B5/33 , A61B5/346 , A61B5/00
Abstract: 本说明书公开了一种身份识别模型的训练方法、装置、介质及电子设备，包括：确定历史上采集到的用户的PPG信号作为训练样本，以及确定用户的身份标识作为训练样本对应的标注。确定历史上采集到的用户的心电ECG信号为第一心电信号，并确定第一心电信号的特征为训练样本的第一伪标注。将训练样本输入待训练的身份识别模型的特征提取层，确定训练样本对应的特征为第一特征，将第一特征输入待训练的身份识别模型的识别层，确定训练样本的识别结果。根据第一特征、识别结果、标注以及第一伪标注，至少对待训练的身份识别模型的特征提取层进行训练，避免受限于PPG信号的敏感性造成的身份识别准确率低的问题，提高了用户身份识别的准确性。
-
公开(公告)号：CN116992919B
公开(公告)日：2023-12-19
申请号：CN202311269915.8
申请日：2023-09-28
Applicant: 之江实验室 , 中国科学院东北地理与农业生态研究所
IPC: G06N3/042 , G06N3/0464 , G06N3/0499 , G06N3/084 , G16B40/00 , G06F18/213 , G06F18/22
Abstract: 本发明公开了一种基于多组学的植物表型预测方法和装置，该方法基于图卷积神经网络，将多组学如基因组、转录组、代谢组的数据作为图节点，不同组学之间的关联程度作为图的边来构建每个植株的图结构数据，将构建的图结构数据输入图卷积神经网络中，提取节点特征，通过Transformer网络更新节点特征，节点特征拼接后输入全连接层，输出表型预测值，利用整个图结构融合多组学特征实现表型的预测。本发明创新性的利用图卷积神经网络结合Transformer网络实现基因到表型的预测，并利用多组学构建图结构融合多组学数据实现精准表型预测，在一定程度上解决只用单一组学表型预测不准的问题，
-
公开(公告)号：CN117119002A
公开(公告)日：2023-11-24
申请号：CN202310922611.0
申请日：2023-07-26
Applicant: 之江实验室
IPC: H04L67/12 , H04L41/042
Abstract: 本发明公开了一种基于物联网聚合中心系统的设备运行控制方法和装置，该方法首先创建一个聚合人、空间、设备全数据的物联网聚合中心系统，并将空间与设备进行关联；然后物联网聚合中心系统根据使用人信息自动将空间关联的设备的设备数据关联到使用人；其次使用人登录物联网聚合中心系统后，获取归属设备信息和实时设备数据以及设备的控制命令；最后根据使用人的归属设备信息和实时设备数据以及设备的控制命令在低代码模块界面建立设备运行的逻辑规则，根据控制命令控制使用人的归属设备按照逻辑规则运行。本发明将人、空间和设备全数据聚合到一起创建了物联网聚合中心系统，本发明通过低代码模块能够自定义建立逻辑规则，有利于增强适用性。
-
公开(公告)号：CN117011718A
公开(公告)日：2023-11-07
申请号：CN202311288015.8
申请日：2023-10-08
Applicant: 之江实验室 , 中国科学院东北地理与农业生态研究所
IPC: G06V20/10 , G06V10/764 , G06V10/42 , G06V10/44 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/0895 , G06N3/094
Abstract: 一种基于多元损失融合的植物叶片细粒度识别方法和系统，首先将植物叶片图像以九宫格的方式进行随机掩码完成图像增强，并与原图成对地输入到特征提取网络模型中，得到特征向量；将特征向量输入分类网络层中，并进行品种识别；将特征向量输入到对抗网络层中，进行二分类识别；将掩码图的特征向量输入到自编码网络模块中，进行图像复原的自监督学习；三项任务的损失函数共同监督并指导网络的训练；在自监督任务中掩码图像通过学习复原本身位置使特征提取网络关注到叶片局部特征，而原图在品种识别任务中使特征提取网络关注叶片原有形状信息和全局特征；采用对抗损失函数进行原图与增强图的辨别，预防分类模型过拟合到增强数据中。
-
-
-
-
-
-
-
-
-
Search Results
179
records
(took 0.029 seconds)
