-
公开(公告)号：CN110019952B
公开(公告)日：2023-04-18
申请号：CN201710940199.X
申请日：2017-09-30
申请人： 华为技术有限公司 , 中国科学院自动化研究所
IPC分类号： G06F16/738 , G06V20/40 , G06V10/774 , G06V10/82 , G06N3/0464
摘要： 本发明实施例提供了一种视频描述方法、系统及装置，其中，该方法可以利用基于卷积神经网络的视频编码器提取待描述视频中当前时刻视频帧的视觉特征表示；将当前时刻的视觉特征表示写入到当前时刻的视觉记忆存储器中；根据当前时刻的视觉记忆存储器和当前时刻的文本记忆存储器从当前时刻的属性记忆存储器中读取属性信息；利用基于长短时记忆网络的文本解码器根据上一时刻单词和当前时刻读取的属性信息生成预测的单词。可见，该实施例采用多模态描述方法，有助于增加视频描述的灵活性。
-
公开(公告)号：CN110019952A
公开(公告)日：2019-07-16
申请号：CN201710940199.X
申请日：2017-09-30
申请人： 华为技术有限公司 , 中国科学院自动化研究所
IPC分类号： G06F16/738 , G06K9/00 , G06K9/62 , G06N3/04
摘要： 本发明实施例提供了一种视频描述方法、系统及装置，其中，该方法可以利用基于卷积神经网络的视频编码器提取待描述视频中当前时刻视频帧的视觉特征表示；将当前时刻的视觉特征表示写入到当前时刻的视觉记忆存储器中；根据当前时刻的视觉记忆存储器和当前时刻的文本记忆存储器从当前时刻的属性记忆存储器中读取属性信息；利用基于长短时记忆网络的文本解码器根据上一时刻单词和当前时刻读取的属性信息生成预测的单词。可见，该实施例采用多模态描述方法，有助于增加视频描述的灵活性。
-
公开(公告)号：CN112784918B
公开(公告)日：2023-06-30
申请号：CN202110137847.4
申请日：2021-02-01
申请人： 中国科学院自动化研究所
发明人： 王威
IPC分类号： G06V30/19 , G06N3/0464 , G06N3/088
摘要： 本发明属于大数据分析、模式识别和神经网络技术领域，具体涉及一种基于无监督图表示学习的节点识别方法、系统、装置，旨在解决现有基于图神经网络的节点识别方法需要大量的标签样本，在标注样本较少时，造成图神经网络训练困难以及识别精度较低的问题。本系统方法包括获取待识别的数据，作为输入数据；构建输入数据的图结构，得到图结构数据，并通过训练好的多层图神经网络获取所述图结构数据中各节点的特征表示；基于特征表示，通过预训练的分类器得到图结构数据中各节点所属的类别。本发明减少了样本标注的需求，简化了网络训练的难度，并能在少量标记样本的监督下实现具有较高精度的节点识别。
-
公开(公告)号：CN112818887A
公开(公告)日：2021-05-18
申请号：CN202110180567.1
申请日：2021-02-08
申请人： 中国科学院自动化研究所
发明人： 王威
摘要： 本发明属于计算机视觉、模式识别和神经网络技术领域，具体涉及一种基于无监督学习的人体骨架序列行为识别方法，旨在解决现有行为识别方法在标注数据较少时，训练困难以及识别精度较低的问题。本系统方法包括获取一组待识别的人体骨架序列；组合子序列正、负样本对；提取子序列正、负样本对中各子序列对应的骨架节点的位置坐标序列、速度坐标序列，并对应的正负样本对；提取各位置坐标序列的特征向量、各速度坐标序列的特征向量；串联各子序列的位置坐标序列特征向量、速度坐标序列特征向量；通过分类器得到待识别的人体骨架序列所属的行为类别。本发明简化了训练的难度，并能在少量标记样本的监督下实现较高精度的行为识别。
-
公开(公告)号：CN110210372A
公开(公告)日：2019-09-06
申请号：CN201910454937.9
申请日：2019-05-29
申请人： 中国科学院自动化研究所
摘要： 本发明属于计算机视觉及模式识别领域，具体涉及了一种基于注意增强图卷积网络的骨架行为识别方法、系统，旨在解决如何有效学习人体骨架数据的时空特征并提升行为识别准确率的问题。本发明方法包括：获取人体骨架序列作为待识别骨架序列；通过训练好的骨架行为识别网络，获取预设行为的概率；选择概率最高的预设行为作为所述待识别骨架序列的预测行为。本发明不仅可以获取具有判别性的空间结构特征和时间动态特征，还可以获取时空之间的关系特征，利用注意机制自适应选择重要的信息，强化关键部位的信息，获取更加鲁棒的表示。
-
公开(公告)号：CN105184312B
公开(公告)日：2018-09-25
申请号：CN201510522970.2
申请日：2015-08-24
申请人： 中国科学院自动化研究所 , 富士通株式会社
摘要： 本发明公开了一种基于深度学习的文字检测方法及装置。所述方法包括：设计多层卷积神经网络结构，把每一个字符作为一个类别，这样就形成了一个多类别分类问题；采用反向传播算法训练卷积神经网络用以识别单一字符，有监督地最小化该网络的目标函数，得到字符识别模型；最后用前端的特征提取层进行权值初始化，把最后一个全连接层结点数目改为2，使得网络成为一个二分类模型，用文字和非文字样本训练网络。经过以上步骤，一个文字检测分类器就完成了。在测试的时候，把全连接层转化为卷积层，给定一张输入图像，需要先进行多尺度滑动窗口扫描获得文字的概率图，再进行非极大值抑制得到最终的文字区域。
-
公开(公告)号：CN103838836B
公开(公告)日：2016-09-28
申请号：CN201410064933.7
申请日：2014-02-25
申请人： 中国科学院自动化研究所
IPC分类号： G06F17/30
摘要： 本发明公开了一种基于判别式多模态深度置信网的多模态数据融合方法，该方法包括以下步骤：建立判别式多模态深度置信网；对于多个模态数据对应的深度置信网，利用限制波尔兹曼机，获得深度置信网优化后的网络权重；采用交替优化的策略来最小化判别式多模态玻尔兹曼机的目标函数，获得优化后的玻尔兹曼机权重，得到最终的判别式多模态深度置信网模型；向深度置信网模型输入待融合的多模态数据，得到融合结果。本发明还公开了一种基于判别式多模态深度置信网的多模态数据融合系统。本发明通过在传统多模态深度置信网络中引入有监督的标签信息，判别式的挖掘不同模态数据之间的关联性，从而在大规模多模态数据分类和检索任务中可以保证较高的准确率。
-
公开(公告)号：CN103838836A
公开(公告)日：2014-06-04
申请号：CN201410064933.7
申请日：2014-02-25
申请人： 中国科学院自动化研究所
IPC分类号： G06F17/30
CPC分类号： G06F17/30533
摘要： 本发明公开了一种基于判别式多模态深度置信网的多模态数据融合方法，该方法包括以下步骤：建立判别式多模态深度置信网；对于多个模态数据对应的深度置信网，利用限制波尔兹曼机，获得深度置信网优化后的网络权重；采用交替优化的策略来最小化判别式多模态玻尔兹曼机的目标函数，获得优化后的玻尔兹曼机权重，得到最终的判别式多模态深度置信网模型；向深度置信网模型输入待融合的多模态数据，得到融合结果。本发明还公开了一种基于判别式多模态深度置信网的多模态数据融合系统。本发明通过在传统多模态深度置信网络中引入有监督的标签信息，判别式的挖掘不同模态数据之间的关联性，从而在大规模多模态数据分类和检索任务中可以保证较高的准确率。
-
公开(公告)号：CN113591546B
公开(公告)日：2023-11-03
申请号：CN202110653956.1
申请日：2021-06-11
申请人： 中国科学院自动化研究所
IPC分类号： G06V30/40 , G06V10/82 , G06N3/0455 , G06N3/044 , G06N3/0442
摘要： 本发明提供一种语义增强型场景文本识别方法及装置，通过场景文本识别模型的编码器提取场景文本图像的视觉特征图以及上下文特征序列，并基于视觉特征图、上下文特征序列以及特征图的位置编码确定增强型特征表达，获取场景文本图像全局的视觉信息和语义信息，解码器采用特殊设计的循环神经网络单元进行解码，该单元能够均衡上下文信息的独立性和相关性。将隐含状态向量和展开后的增强型特征表达进行多头注意力运算，得到局部表观特征向量。局部表观特征向量与循环神经网络单元的隐层输出共同参与当前时刻的字符预测，增强了语义信息和视觉信息的相关性。多头注意力机制设计能够捕捉特征的显著性信息和辅助信息，使得场景文本识别结果准确率较高。
-
公开(公告)号：CN116109973A
公开(公告)日：2023-05-12
申请号：CN202310029012.6
申请日：2023-01-09
申请人： 杭州海康威视数字技术股份有限公司 , 中国科学院自动化研究所
摘要： 本申请提供一种物体特征的确定方法、装置及设备，包括：获取样本视频中的关键帧对应的多个目标物体特征，获取样本文本对应的文本特征；基于文本特征和多个目标物体特征确定文本特征与关键帧之间的空间定位分数和时间定位分数；基于空间定位分数和时间定位分数确定第一损失值；从关键帧对应的多个目标物体特征中选取代表性物体特征，确定代表性物体特征对应的特征效应分数；从样本视频的多个关键帧中选取代表性关键帧，确定代表性关键帧对应的帧效应分数；基于特征效应分数和帧效应分数确定第二损失值；基于第一损失值和第二损失值确定目标损失值，基于目标损失值训练得到目标网络模型。通过本申请方案，目标网络模型的训练时间短，资源消耗小。
-
-
-
-
-
-
-
-
-
搜索结果
64 条记录 (耗时 0.128 秒)
