-
公开(公告)号：CN110377710B
公开(公告)日：2022-04-01
申请号：CN201910520138.7
申请日：2019-06-17
Applicant: 杭州电子科技大学
IPC: G06F16/332 , G06K9/62
Abstract: 本发明公开了一种基于多模态融合的视觉问答融合增强方法。本发明步骤如下：1、利用GRU结构构建时序模型，获得问题的特征表示学习、利用从Faster R‑CNN抽取的基于自底向上的注意力模型的输出作为图像的特征表示；2、基于注意力模型Transformer进行多模态推理，引入注意力模型对图片‑问题‑答案这个三元组进行多模态融合，建立推理关系；3、针对不同的隐含关系有不同的推理过程和结果输出，再根据这些结果输出来进行标签分布回归学习，来确定答案。本发明基于特定的图片和问题得到答案直接应用于服务于盲人的应用中，能够帮助盲人或者视觉障碍者更好地感知周围环境，也应用于图片检索系统，提高图片检索的准确性和多样性。
-
公开(公告)号：CN114140483A
公开(公告)日：2022-03-04
申请号：CN202111311986.0
申请日：2021-11-08
Applicant: 杭州电子科技大学
Abstract: 本发明公开了一种结合边缘信息的图像显著性目标检测方法，首先使用编码器网络对输入图像进行特征提取，获得5个不同尺度的特征；在解码器步骤中使用边缘信息模块对1、2、3层的特征信息进行处理获得边缘预测图；再将第4层和第5层特征进行处理，分别与边缘预测图相加；然后沿通道维进行拼接，再经过conv处理压缩通道并使用sigmoid激活函数最终得到网络的预测显著图；最后使用损失函数对整体模型网络进行优化。本发明所述的方法，可以有效提高图像显著目标检测的准确率。通过使用边缘信息提取模块，可以有效提高显著目标的完整性。
-
公开(公告)号：CN114140323A
公开(公告)日：2022-03-04
申请号：CN202111444549.6
申请日：2021-11-30
Applicant: 杭州电子科技大学
Abstract: 本发明公开了一种基于渐进残差生成对抗网络的图像超分方法。首先是对给定的真实目标图像进行下采样处理，获得一系列低分辨率图片集；搭建残差式生成对抗网络，从最低子网络层开始逐层训练，直至生成和原始真实图片相同分辨率的逼真的重构图片；最后，按照需要的超分辨率值对图像进一步上采样，叠加噪声输入至更上层子网络中迭代训练，最终得到所需要的超分辨率图像。本发明基于深度学习中的生成对抗网络模型，融入了加权的级联残差结构，能够高效充分利用输入图片的特征信息，拟合输入图片的数据特征，实现图片的超分辨率。相较于以往的方法，不仅成本低、容易实施，而且能够提升图像的超分辨率效果。
-
公开(公告)号：CN114112043A
公开(公告)日：2022-03-01
申请号：CN202111340651.1
申请日：2021-11-12
Applicant: 杭州电子科技大学
IPC: G01J3/40
Abstract: 本发明公开了一种光谱成像装置，包括依次设置的镜头、闪耀光栅、带通滤波器、消色差中继透镜组，柱透镜阵列，相机，相机中每个柱透镜对应一组子像素条。本发明通过独特的光路设计，通过像素分区复用实现将三维光谱数据记录在二维像素空间，此时单通道成像的横向分辨率与光谱分辨率互相折中，二者为反比关系，同时单通道成像的纵向分辨率没有影响，即可以实现对三维光谱图像的单次曝光获取，像素区域充分利用；本发明装置可以实时获取场景光谱数据并且实时显示，数据获取和数据处理过程没有时间延迟；可以获得动态场景的光谱数据，并且光源亮度适中，不会对生物样本造成光漂白等伤害。
-
公开(公告)号：CN113936235A
公开(公告)日：2022-01-14
申请号：CN202111075792.5
申请日：2021-09-14
Applicant: 杭州电子科技大学
Abstract: 本发明公开了一种基于质量评估的视频显著性目标检测方法，首先构建视频显著性目标检测网络框架，基于一个双流的编码‑解码结构，主干网络采用ResNet101网络，一条支流的输入为RGB图像，提取图像的空间特征，称其RGB支流，另一条支流的输入为光流图像，提取图像间的时间信息，称其运动支流，通过RAFT算法处理视频中连续两帧图像，计算得到光流图，用于反映视频中物体的运动。在两个分支中引入了多尺度感知模块、质量评估模块、时空信息交互模块、双差分增强模块，与现有的基于双流的视频显著性目标检测方法相比，本文提出的框架能自适应的捕获准确的空间和时间信息，从而获取准确的预测结果。
-
Patent Agency Ranking
公开(公告)号：CN113935404A
公开(公告)日：2022-01-14
申请号：CN202111120902.5
申请日：2021-09-24
Applicant: 杭州电子科技大学
IPC: G06K9/62 , G06V10/776 , G06V10/774
Abstract: 本发明公开了一种光场显著性检测数据集清晰度评价方法。首先通过显著性区域掩膜制作三个掩膜，并获取对应的窗函数；通过掩膜A获得光场焦堆栈图像显著性区域图像；用傅里叶变换将焦堆栈显著性区域图像从空域转换到频域，获得其频谱信息；对显著性区域高频信息进行傅里叶反变换，得到空域图像；用腐蚀的掩膜B截取空域高频部分，计算高频图像灰度值之和，用以表示焦堆栈图像显著性区域高频能量值大小；对堆栈图像显著性区域高频能量值进行归一化，用来表示该图片的训练权重。本发明针对数据集焦堆栈中显著性区域进行清晰程度判定，并以此作为焦堆栈中该图片训练权重的评价标准，显著性区域越清晰，则该图片的训练权重越高。
-
公开(公告)号：CN113920354A
公开(公告)日：2022-01-11
申请号：CN202111075801.0
申请日：2021-09-14
Applicant: 杭州电子科技大学
IPC: G06V10/764 , G06V10/774 , G06V40/20 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于事件相机的动作识别方法，首先搭建事件相机数据采集系统，然后对事件数据进行处理；再搭建软件框架，通过搭建的事件相机数据采集系统采集人类动作数据对模型进行训练；最后将待识别的人类动作事件流进行处理，然后将处理后的输送到步骤四训练好的动作识别网络，通过训练好的动作识别网络进行动作识别，输出对应的动作类别。本发明使用先进的DAVIS346相机作为采集设备，事件数据流具有很强的时间信息，可以有效地捕捉动作的变化。本方法鲁棒性强，对极端光照情况具有免疫力，同时实时性强，冗余小。
-
公开(公告)号：CN113792621A
公开(公告)日：2021-12-14
申请号：CN202110995008.6
申请日：2021-08-27
Applicant: 杭州电子科技大学
Abstract: 本发明公开了一种基于FPGA的目标检测加速器设计方法，首先选择要移植到该平台上的目标检测算法；然后根据选择的算法的特点,在FPGA硬件平台下采用软硬件协同设计的思想进行总体架构设计；最后对所选择的目标检测算法模型网络参数进行16位动态定点数据量化，依据网络模型的运算特点对数据的调度进行规划，并提出一个CNN硬件加速器架构，包括输入输出模块、卷积模块、池化模块、重排序模块、全连接模块、激活模块以及控制模块。本发明方法利用较少的硬件资源完成目标检测加速器的设计，提高了总线带宽利用率，具有一定的通用性和可扩展性，功耗较低，可以达到一个较高的能效比，比较适合应用在有严重功耗限制的场所。
-
公开(公告)号：CN110399518B
公开(公告)日：2021-12-10
申请号：CN201910520136.8
申请日：2019-06-17
Applicant: 杭州电子科技大学
IPC: G06F16/583 , G06F16/9032 , G06K9/46 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于图卷积的视觉问答增强方法。本发明包括以下步骤：步骤1、分别提取图片和问题的特征表示；步骤2、提取基于问题生成的图片中各目标之间的关系；步骤3、将带有问题信息的图片生成为graph，并且为每个顶点挑选最相关的目标，为每个顶点生成新的特征表示之后，对graph进行最大池化和分类。本发明利用GCN网络和图片中物体之间的关系来探索高层次语义，对视觉问答技术有较大意义。
-
公开(公告)号：CN113554599A
公开(公告)日：2021-10-26
申请号：CN202110718776.7
申请日：2021-06-28
Applicant: 杭州电子科技大学
Abstract: 本发明公开了一种基于人类视觉效应的视频质量评价方法。本发本发明方法包括内容特征提取网络、上下文注意机制网络和时间记忆效应网络。模型的输入是当前帧图像。首先，深度特征提取网络提取内容感知特征，注意力模块采用循环神经网络强化学习内容感知特征，再将注意力感知转移。然后，将内容感知特征与注意力感知转移相结合得到当前帧的质量得分，通过时间记忆效应模型对帧质量得分进行全局平均池化，得到视频的总体质量。本发明方法提供的网络模型可以充分有效地利用模仿人类视觉行为来实现对视频的质量评价。
-
-
-
-
-
-
-
-
-
Search Results
477
records
(took 0.034 seconds)
