公开(公告)号：CN112348102A

公开(公告)日：2021-02-09

申请号：CN202011278817.7

申请日：2020-11-16

申请人： 浙江大学 ,  杭州海康威视数字技术股份有限公司

发明人： 庄越挺 ,  肖俊 ,  汤斯亮 ,  吴飞 ,  浦世亮 ,  张世峰 ,  任文奇

IPC分类号： G06K9/62 ,  G06K9/00 ,  G06F16/783

摘要： 本发明公开了一种基于查询的自底向上视频定位方法和系统。首先，获取查询内容Query和待定位视频Ref，其次将查询内容Query特征与待定位视频Ref的特征融合到一个全新的特征图中。最后特征图通过深度学习方法检测出查询内容Query所对应的真实视频片段GT‑v位于待定位视频Ref中的起始位置和终止位置。本发明方法根据查询内容Query可以准确而又高效的识别真实视频片段GT‑v在待定位视频Ref的起始位置和终止位置。

公开(公告)号：CN111741236B

公开(公告)日：2021-01-01

申请号：CN202010857184.9

申请日：2020-08-24

申请人： 浙江大学 ,  杭州海康威视数字技术股份有限公司

发明人： 庄越挺 ,  浦世亮 ,  汤斯亮 ,  张文桥 ,  吴飞 ,  肖俊 ,  李玺 ,  任文奇 ,  张世峰 ,  陆展鸿

IPC分类号： H04N5/278 ,  H04N21/488 ,  H04N21/81 ,  G06N3/04 ,  G06N3/08

摘要： 本发明公开了一种基于共识图表征推理的定位自然图像字幕生成方法和装置。该方法包括如下步骤：S1：以预先提取的视觉场景图及文本场景图作为先验知识，通过结构对抗学习方法从图先验中进行演绎与推理，生成作为共识知识的共识图表征；S2：基于视觉空间图与共识图表征，结合软注意力机制动态选取与上下文环境匹配程度最高的语义信息生成字幕的文本描述；S3：在S2中生成文本描述的同时，根据当前语义环境在视觉空间中实时定位文本中对象单词的空间区域。本发明可利用视觉模态先验与语言模态先验所推理得到的共识表征来维护多模态之间的语义一致性，从而大幅度减少当前自然图像字幕生成模型中存在的对象幻觉问题，并获取更优的字幕生成与对象定位性能。

公开(公告)号：CN112348102B

公开(公告)日：2024-03-19

申请号：CN202011278817.7

申请日：2020-11-16

申请人： 浙江大学 ,  杭州海康威视数字技术股份有限公司

发明人： 庄越挺 ,  肖俊 ,  汤斯亮 ,  吴飞 ,  浦世亮 ,  张世峰 ,  任文奇

IPC分类号： G06V20/40 ,  G06V10/82 ,  G06V10/80 ,  G06V10/764 ,  G06V10/766 ,  G06F16/783

摘要： 本发明公开了一种基于查询的自底向上视频定位方法和系统。首先，获取查询内容Query和待定位视频Ref，其次将查询内容Query特征与待定位视频Ref的特征融合到一个全新的特征图#imgabs0#中。最后特征图#imgabs1#通过深度学习方法检测出查询内容Query所对应的真实视频片段GT‑v位于待定位视频Ref中的起始位置和终止位置。本发明方法根据查询内容Query可以准确而又高效的识别真实视频片段GT‑v在待定位视频Ref的起始位置和终止位置。

公开(公告)号：CN112101358A

公开(公告)日：2020-12-18

申请号：CN202011217929.1

申请日：2020-11-04

申请人： 浙江大学 ,  城云科技(中国)有限公司

发明人： 庄越挺 ,  汤斯亮 ,  肖俊 ,  慕宗燊 ,  郁强 ,  蒋忆

IPC分类号： G06K9/32 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

摘要： 本发明公开了一种基于解耦和干预的图网络对齐短语和图片区域的方法，属于图像数据处理领域。该方法先提取图片候选区域的视觉特征和图片描述句子中名词性短语的文本特征，并利用视觉场景图和语法解析树分别得到视觉和文本语义图结构；然后将视觉和文本图结构通过基于解耦和干预的图神经网络后得到包含图结构中邻居关系的视觉候选区域和文本短语特征；最后通过跨模态的自注意力机制进行对齐映射，并根据对齐后的内积判断指定短语和视觉区域的对齐结果。本发明结合解耦和干预的图神经网络方法，能够学习到更加可解释和鲁棒的视觉和文本特征，从而利用包含图结构环境关系的特征实现跨模态对齐，完成短语到图片区域的定位。

公开(公告)号：CN112016293A

公开(公告)日：2020-12-01

申请号：CN202011137036.6

申请日：2020-10-22

申请人： 浙江大学

发明人： 庄越挺 ,  汤斯亮 ,  肖俊 ,  陈涛 ,  吴飞 ,  李晓林 ,  谭炽烈 ,  蒋韬

IPC分类号： G06F40/20 ,  G06F40/295 ,  G06N3/08

摘要： 本发明公开了一种基于多实例协同对抗训练的远程监督关系抽取方法，以解决远程监督关系抽取任务中传统多实例学习框架存在的较低的数据使用效率的问题。数据使用率较低的问题是由多实例学习框架倾向于只关注包内的高质量语句，而忽视大量的潜在噪声语句造成的。而本发明的方法协同虚拟对抗训练和对抗训练，分别约束包内的噪声样本和包级的准确特征，在解决数据利用率问题的同时进一步强化模型性能。该方法在效果上优于近些年来一些主流的相关算法。

公开(公告)号：CN107203600B

公开(公告)日：2020-09-18

申请号：CN201710334063.4

申请日：2017-05-12

申请人： 浙江大学

发明人： 吴飞 ,  汤斯亮 ,  段新宇 ,  肖俊 ,  赵洲 ,  庄越挺

IPC分类号： G06F16/332 ,  G06F16/33 ,  G06F40/289 ,  G06F40/35 ,  G06N3/04

摘要： 本发明公开了一种利用刻画因果依赖关系和时序影响机制来提高答案质量排序的评判方法。包括如下步骤：1)把每个问题及其按照时间先后顺序排序的答案作为训练数据集；2)对训练集中的文本通过Paragraph2Vec模型进行无监督学习，得到文本表达模型，并分别构建问题和答案的隐性表达；3)将问题与答案之间的因果依赖关系和答案与答案之间的时序影响机制引入传统的长短时记忆模型；4)基于问题与答案的隐性表达，使用学习后所得到的问答排序模型对问题的候选答案进行排序。相比一般的答案质量评判方法，本发明进一步发掘答案与答案之间基于时序的相互影响，揭示高质量答案的形成规律。本发明在答案质量排序中所取得的性能较传统的基于文本和语义关联性的评判方法更好。

公开(公告)号：CN106599032B

公开(公告)日：2020-01-14

申请号：CN201610955220.9

申请日：2016-10-27

申请人： 浙江大学

发明人： 汤斯亮 ,  吴飞 ,  杨启凡 ,  邵健 ,  郝雷光 ,  庄越挺

IPC分类号： G06F16/31 ,  G06F16/35

摘要： 本发明公开了一种结合稀疏编码和结构感知机的文本事件抽取方法。包括如下步骤：1)将文本数据依照ACE或RichERE规范标注构建为训练样本；2)将提取得到的实体作为事件触发词和事件参数的候选实体，抽取文本特征；3)进一步抽取文本分布式词向量特征，学习稀疏编码特征；4)利用训练样本和提取的文本特征，训练结构感知机分类器，同时识别文本中与关于事件的触发词和参数；5)对于新的文本数据，经过步骤1后输入结构感知机分类器，抽取文本事件信息。本发明利用了基于神经网络的分布式词向量特征的稀疏编码表达，强化了文本特征，另一方面使用结构感知机模型同时来学习事件触发词和事件参与者的识别，据此获得了更好的事件抽取效果。

公开(公告)号：CN106845767A

公开(公告)日：2017-06-13

申请号：CN201611165210.1

申请日：2016-12-16

申请人： 浙江大学

发明人： 黄晨 ,  陈振英 ,  汤斯亮 ,  刘翔 ,  潘晶

IPC分类号： G06Q10/06

CPC分类号： G06Q10/06393

摘要： 本发明提供一种行业科技发展力量化评估方法与评估系统。本发明方法包括构建评估指标体系、数据采集、评估建模以及结果输出这四个步骤，有关评估建模有多元线性加权和多元线性回归两种实现方式，其中基于多元线性回归方式，可进一步采用逐步回归与回归诊断的方式建立更加优化的模型。更优选地，本发明可对指标体系所采集的数据进行补全，并采用皮尔森相关系数对具有相同物理意义的指标进行删除，进一步优化参数。本发明提出客观有效的评估指标体系，实现用量化方法评价我国国民经济行业的科技发展力水平。

公开(公告)号：CN104317838A

公开(公告)日：2015-01-28

申请号：CN201410532084.3

申请日：2014-10-10

申请人： 浙江大学

发明人： 汤斯亮 ,  邵健 ,  余宙 ,  吴飞 ,  庄越挺

IPC分类号： G06F17/30

CPC分类号： G06F16/9014

摘要： 本发明公开了一种基于耦合鉴别性字典的跨媒体哈希索引方法。包括如下步骤：1）基于图结构对多个模态数据之间的关联关系进行建模；通过数据底层特征之间的欧氏距离确定同一模态内部的相似性，利用不同模态数据已知关联关系确定模态间的关联，利用数据所具有类别标签信息增强图结构上数据的鉴别性；2）在步骤1）中得到的图结构上数据的关联关系学习鉴别性的耦合字典；3）利用步骤2）中学习得到的耦合字典对不同模态的数据进行稀疏编码，并映射到统一的字典空间内；4）学习从字典空间到二值海明空间的哈希映射函数。本发明可以实现基于内容的海量数据的高效跨媒体检索，用户可以通过提交一种模态的检索例子去检索另外一种模态的媒体对象。

公开(公告)号：CN103488713A

公开(公告)日：2014-01-01

申请号：CN201310410553.X

申请日：2013-09-10

申请人： 浙江大学

发明人： 庄越挺 ,  吴飞 ,  王彦斐 ,  汤斯亮 ,  邵健

IPC分类号： G06F17/30

CPC分类号： G06F17/30967

摘要： 本发明公开了一种可直接度量不同模态数据间相似性的跨模态检索方法。它包括如下步骤：1）特征提取；2）模型建立和学习；3）跨媒体数据检索；4）结果评价。本发明可以直接在不同模态数据之间进行相似度比较，对于跨模态检索任务，用户可以提交任意模态的文本、图像、声音等，去检索他们需求的对应模态结果。本发明与传统跨媒体检索方法的区别在于可以直接进行不同模态数据之间的相似性比较，满足了跨媒体检索的需求，更加直接地实现了用户的检索意图，与其它可以直接度量不同模态相似性的跨媒体检索算法相比，本方法具有较强抗噪音干扰能力和对松散关联的跨模态数据的表达能力，使得检索效果更好。