-
公开(公告)号:CN113888697B
公开(公告)日:2024-11-12
申请号:CN202111144111.6
申请日:2021-09-28
Applicant: 中国科学院软件研究所
IPC: G06T17/00 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种双手交互状态下的三维重建方法,其步骤包括:1)输入单张彩色图像,2)检测图像中双手关键点的2.5D热图;3)提取该彩色图像的特征;4)将2.5D热图和所提取的特征输入到ResNet50深层残差模块中提取特征图;5)根据2.5D热图得到左、右手注意力图;6)使用特征图预测双手之间的相对位置关系;7)根据特征图与左、右手注意力图得到左、右手特征图;8)利用左、右手特征图预测左、右手参数化模型的参数;9)根据参数回归双手的三维关键点位置,生成左、右手注意力图更新模型参数;使用最新预测的模型参数生成的左、右手注意力图与特征图生成人手参数化模型。本发明适用于双手交叉或分离状态的三维重建。
-
公开(公告)号:CN118736118A
公开(公告)日:2024-10-01
申请号:CN202410809854.8
申请日:2024-06-21
Applicant: 中国科学院软件研究所
IPC: G06T17/00 , G06N3/0455 , G06N3/082
Abstract: 本发明公开了一种带有稠密对应关系的形状表示方法和系统。该方法仅使用被表示对象的形状数据集学习带有稠密对应关系的形状表示模型,并且能处理大形变物体。该方法无监督地优化模板形状以及目标形状与模板形状之间的对应关系,设计了模板形状正则约束和多尺度对应点刚性约束。本发明能够表示各种大幅度运动的物体,且训练时不需要骨架先验,大量实验表明提出的方法在人体和动物等数据集上都取得很好的实验结果,可满足专业的或者大众化的应用需求。
-
公开(公告)号:CN114840107B
公开(公告)日:2023-08-01
申请号:CN202210237615.0
申请日:2022-03-11
Applicant: 中国科学院软件研究所
IPC: G06F3/0481 , G06F16/53 , G06T11/00
Abstract: 本发明公开一种草图数据重用与场景草图辅助构建方法及系统,属于计算机视觉领域,利用草图交互的高效信息表征的优势,基于草图修复以及基于草图的图像检索等草图智能处理技术,对已有的草图素材进行提取和重用;利用提取的草图素材以及数据库中存储的草图数据辅助用户进行场景草图构建,从而用于草图检索、视频定位等后续应用。
-
公开(公告)号:CN116452660A
公开(公告)日:2023-07-18
申请号:CN202310284524.7
申请日:2023-03-22
Applicant: 中国科学院软件研究所
Abstract: 本发明提供一种基于循环迭代优化的姿态估计方法和装置。该方法构建循环迭代网络,在每次循环迭代的每个阶段利用通过姿态得到的变换矩阵将点云进行对齐,然后计算对齐后点云的关节位置;在下次迭代的第一阶段利用当前迭代第三阶段得到的变换矩阵,用于将点云进行对齐;在第二阶段预测关节过程中加入循环姿势估计模块,利用LSTM模块保存当前迭代过程中的记忆单元和隐藏状态,并可将记忆单元和隐藏状态传递到下次迭代的LSTM模块中以提升预测的准确性;训练多次迭代的循环迭代网络,利用训练完成的循环迭代网络预测对象的关键点位置。本发明可以明显提高姿态估计的精度,具有自动化程度高、精度高和速度快的优点,可满足专业的或者大众化的应用需求。
-
公开(公告)号:CN113598774A
公开(公告)日:2021-11-05
申请号:CN202110806945.2
申请日:2021-07-16
Applicant: 中国科学院软件研究所
Abstract: 本发明公开了一种基于多通道脑电数据的积极情绪多标签分类方法及装置,包括:利用切分窗格的形式,使用大小为n秒的窗格得到脑电数据的时‑频域特征;获取脑电数据在时间序列上的隐层特征向量;捕获脑电数据在时序上与多标签情绪类别之间的关联;依据所述关联和隐层特征向量,得到脑电特征表示;利用图卷积神经网络学习各积极情绪词之间的关联关系;利用脑电特征表示与图卷积神经网络输出之间的点乘结果,得到脑电数据的积极情绪多标签分类结果。本发明利用脑电信号中与情绪关联大、区分能力强的特征,可精确地完成基于脑电的电影诱发的多标签积极情绪分类任务。
-
公开(公告)号:CN110147797B
公开(公告)日:2021-06-01
申请号:CN201910294373.7
申请日:2019-04-12
Applicant: 中国科学院软件研究所
Abstract: 本发明公开一种基于生成式对抗网络的草图补全与识别方法和装置。本发明包括:(1)基于条件生成式对抗神经网络,针对草图相对于彩色图片语义信息稀疏的特点,利用级联策略对生成式对抗神经网络进行改进;(2)扩展草图补全网络的类别通用性,设置草图识别任务作为辅助任务,同时在网络结构中增加草图识别辅助网络;(3)将草图补全方法应用于残缺草图的识别任务、基于残缺草图的图像检索任务和草图场景编辑任务中;(6)集成草图补全方法形成草图补全应用平台,支持包括交互式草图补全、草图补全与识别、草图场景分割与补全、交互式草图补全辅助等应用功能,能够在PC、手机、平板电脑、电子白板等多种设备和终端上进行应用。
-
公开(公告)号:CN111914595A
公开(公告)日:2020-11-10
申请号:CN201910384209.5
申请日:2019-05-09
Applicant: 中国科学院软件研究所
Abstract: 本发明提供一种基于彩色图像的人手三维姿态估计方法和装置。主要解决的问题是如何从单张彩色图像恢复人手三维姿态,该问题主要的技术难点在于彩色图像具有多变的光照影响,人手丰富的手势变化以及由于拍摄角度导致的人手自遮挡等。本发明提出了基于深度神经网络的人手姿态估计算法,能够从丰富的训练数据中自适应提取特征,并且在实时回归人手关节点的三维位置的同时,能够预测人手区域的深度信息,利用深度信息和关节标注的内在联系,帮助网络提高泛化能力,缓解单任务网络提取的特征泛化能力差的问题。经过实际使用验证,本发明具有自动化程度高、精度高和实时性的优点,可满足专业的或者大众化的应用需求。
-
公开(公告)号:CN116226347A
公开(公告)日:2023-06-06
申请号:CN202310184746.1
申请日:2023-03-01
Applicant: 中国科学院软件研究所
IPC: G06F16/332 , G06F16/33 , G06V20/40 , G06V20/62 , G06V30/148 , G06V10/40 , G06V40/16 , G06V10/82 , G06N3/0442 , G06N3/08 , G06N5/04 , G10L25/63 , G10L25/57 , H04N21/44 , H04N21/439 , H04N21/435
Abstract: 本发明属于视频问答领域,具体涉及一种基于多模态数据的细粒度视频情绪内容问答方法和系统。本发明基于情节记忆网络构建视频情绪推理基线模型,设计针对视觉、音频和文本数据的多分支处理模块,并借助Transformer编码器编码多模态数据中的时序依赖,提取出的多模态特征包含多角度情绪内容,能够精确地完成细粒度视频情绪内容问答任务。本发明利用Transformer编码器在视频、音频和文本序列上学习时序关联关系,并提取与情绪分类相关的高维多模态特征,该时序关联关系对分析视频包含的情绪信息至关重要。本发明能够有效提高基于多模态的细粒度视频情绪内容问答任务结果的准确率。
-
公开(公告)号:CN112069336B
公开(公告)日:2022-10-14
申请号:CN202010860081.8
申请日:2020-08-25
Applicant: 中国科学院软件研究所
IPC: G06F16/532 , G06F16/55 , G06F16/583 , G06V10/75 , G06V10/82 , G06N3/04 , G06N3/08
Abstract: 本发明提供一种基于场景草图的细粒度图像检索方法及系统,包括:提取场景草图与若干待检索场景图像中的图信息,分别构建场景草图与若干待检索场景图像的图结构;提取各图结构的图特征,分别计算场景草图图特征与各待检索场景图像图特征的图相似度匹配分数;依据所述图信息中的物体类别标签,分别计算场景草图图特征与各待检索场景图像图特征的交并比分数;根据图相似度匹配分数与交并比分数,分别计算场景草图与各待检索场景图像的特征空间距离,并依据各特征空间距离,获取检索结果。本发明利用图来表示场景草图和图像,不仅检索出与输入草图场景类别一致的图像,而且图像中物体细节信息也保持一致,使得检索出来的图像与输入保持布局一致性。
-
公开(公告)号:CN114840107A
公开(公告)日:2022-08-02
申请号:CN202210237615.0
申请日:2022-03-11
Applicant: 中国科学院软件研究所
IPC: G06F3/0481 , G06F16/53 , G06T11/00
Abstract: 本发明公开一种草图数据重用与场景草图辅助构建方法及系统,属于计算机视觉领域,利用草图交互的高效信息表征的优势,基于草图修复以及基于草图的图像检索等草图智能处理技术,对已有的草图素材进行提取和重用;利用提取的草图素材以及数据库中存储的草图数据辅助用户进行场景草图构建,从而用于草图检索、视频定位等后续应用。
-
-
-
-
-
-
-
-
-