-
公开(公告)号:CN113034370A
公开(公告)日:2021-06-25
申请号:CN202110580583.X
申请日:2021-05-26
Applicant: 之江实验室
Abstract: 本发明公开了一种结合3D脸部结构先验的人脸超分辨方法,该方法能够显式得结合3D脸部先验,抓取到高清的脸部结构信息,为网络提供一些基于脸部属性的3D拓扑信息,例如身份、表情、纹理、亮度和脸部姿态。本发明提出了一个深度学习网络框架,框架总体包括两个分支:上半部分分支包含一个ResNet‑50网络来从输入图像中挖掘人脸3D信息,并将其结合重建成一个脸部渲染结构;下半部分分支利用空域特征转换层,结合3D信息及脸部渲染结构作为3D先验,利用空间注意力机制及通道注意力机制实现脸部超分辨;这种先验能够嵌入任何网络,而且十分有效的提高性能,加速收敛。
-
公开(公告)号:CN112489083A
公开(公告)日:2021-03-12
申请号:CN202011418605.4
申请日:2020-12-07
Applicant: 之江实验室
Abstract: 本发明公开了一种基于ORB‑SLAM算法的图像特征点跟踪匹配方法,包括:1)对关键帧提取ORB特征点及描述子并做四叉树均匀分布处理;2)对于新来的帧基于匀加速运动预测特征点的位置;3)多层金字塔的稀疏光流法特征点位置的精确求解;4)进行反向稀疏光流跟踪剔除错误匹配;5)对步骤4求取的特征匹配进行鲁棒RANSAC剔除离群点;6)根据剩余匹配点求解6D位姿并判断当前帧是否为关键帧。本发明的方法只需要对关键帧提取ORB特征点和描述子,关键帧之间的跟踪则不需要计算耗时的描述子,本发明在提升方法精度的同时提升了运行速度。
-
公开(公告)号:CN112261343A
公开(公告)日:2021-01-22
申请号:CN202011422525.6
申请日:2020-12-08
Applicant: 之江实验室
IPC: H04N7/14 , H04N21/4788 , H04L29/06
Abstract: 本发明公开了一种基于WebRTC的机器人远程通话系统,包括客户端、信令服务、消息服务和机器人。客户端通过信令服务和消息服务主动与机器人建立点对点连接,传输音视频流,播放视频和语音;信令服务负责存储、转发客户端和机器人的消息,维护客户端与机器人的映射关系;消息服务接收客户端发布的身份ID、信令服务地址等信息,供机器人订阅,支持MQTT和HTTP协议;机器人通过信令服务和消息服务与客户端建立点对点连接,传输音视频流,播放视频和语音。本发明不但支持客户端与机器人的建立音视频通话,还支持通话的断线自动重连、机器人忙碌等待、机器人音视频显示可配置,信令服务支持多组一对一的客户端与机器人通话。
-
公开(公告)号:CN111071365A
公开(公告)日:2020-04-28
申请号:CN201911301851.9
申请日:2019-12-17
Applicant: 之江实验室
IPC: B62D57/032
Abstract: 本发明公开一种高能效步行的双足机器人腿足结构,其包括驱动单元、膝关节、可伸缩的小腿、可伸缩的连杆单元、足,驱动单元安装在膝关节内部,驱动单元、可伸缩的小腿、足、可伸缩的连杆单元、驱动单元收尾连接组成四连杆机构。本发明通过四边形连杆机构驱动足与踝关节的运动,能有效优化双足机器人腿足结构的质量分布,降低双足机器人腿足结构的转动惯量,减少驱动腿足运动所需的能量,提高双足机器人的步行能效。此外,小腿部分及连杆部分均加入了减震缓冲装置,能有效吸收及利用双足机器人步行过程足与地面之间的冲击能量,从而进一步提高双足机器人的步行能效。
-
公开(公告)号:CN116342971A
公开(公告)日:2023-06-27
申请号:CN202310174614.0
申请日:2023-02-16
IPC: G06V10/774 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/09
Abstract: 本发明公开了一种基于稀疏标注数据集的新型目标检测系统,教师检测器在训练期间不回传梯度,而仅在每次训练迭代结束时通过指数滑动平均方式更新参数,由指数滑动平均更新的教师检测器是双输入端口的副教师检测器的平滑版本;教师检测器输入图像是原始图像,即原始图像被馈送到教师检测器以生成教师伪标签集,弱增强和强增强图像被馈送到两个输入端口的副教师检测器以生成原始伪标签集;每个原始伪标签集由教师检测器的输出的伪标签集联合稀疏标注框进行修正和整合,最后用修正整合完的标注框对副教师检测器的预测输出进行监督。本发明还公开了相应的基于稀疏标注数据集的新型目标检测方法。
-
公开(公告)号:CN115796288A
公开(公告)日:2023-03-14
申请号:CN202211511472.4
申请日:2022-11-29
Applicant: 之江实验室
Abstract: 本发明公开了一种基于知识库的动态场景下推理任务的方法和装置,包括:在将表达知识库的语义网络按照关系类型划分为动作关系子网络、状态变化关系子网络、从属关系子网络以及介词关系子网络的基础上,依据动作关系子网络进行任务的行为树缺失判断的推理,通过所有子网络实现目标物体和与状态相关的感知数据等缺失数据的推理获取,进而实现行为树的推理。这样的方式能够避免使用任务知识或结构化的机器人任务设计语言,使用通用的语义网络完成任务的推理规划,实现机器人的作业问题,该推理过程不需要过多的人为编辑和干预,作为技术使用方,只需要提供完备的语义网络和实时感知数据,即可以完成对机器人行为的自主控制。
-
公开(公告)号:CN115546254A
公开(公告)日:2022-12-30
申请号:CN202211398601.3
申请日:2022-11-09
Applicant: 之江实验室
Abstract: 本发明公开了一种双进程多目标跟踪方法,包括在主进程中运行的主线跟踪器和在子进程中运行的辅线修正器两条分支,所述主线跟踪器分支使用高速低精度模型进行多目标跟踪,所述辅线修正器分支使用低速高精度模型对所述主线跟踪器进行修正。所述两条分支的结果通过融合器融合后得到最终的多目标跟踪结果。本发明能够在不降低所述主线跟踪器跟踪速度的同时,提升其跟踪精度。
-
公开(公告)号:CN113240717B
公开(公告)日:2022-12-23
申请号:CN202110609753.2
申请日:2021-06-01
Applicant: 之江实验室
Abstract: 本发明公开了一种基于三维目标跟踪的误差建模位置修正方法,基于三维跟踪的结果,根据特定算法特定物体的误差分布曲线,对三维目标跟踪的误差分布进行建模,进而修正三维跟踪的位置信息,得到三维物体在空间中更准确的位置信息。本发明的实现方法便捷、高效、计算简单,使三维位置信息的精度得到可靠的保证。
-
公开(公告)号:CN115482332A
公开(公告)日:2022-12-16
申请号:CN202211062655.2
申请日:2022-08-31
Applicant: 之江实验室
IPC: G06T17/00 , G06T7/80 , G06T7/194 , G06F30/27 , G06F30/10 , G06F17/12 , G06F17/13 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于运动分解的动态物体重建方法及装置,该方法包括:对包含目标物体运动过程的初始动态视频集合V逐帧进行分割,得到V中每帧图像的前景动态区域;使用多视角重建的方法,得到V中每帧图像的相机外参数与内参数;对V的每一帧,构造邻居集,并借助于预训练的光流方法对所述邻居集中所选的图片对进行光流估计,得到两帧之间的光流;根据V中每帧图像的前景动态区域、相机外参数与内参数,建立非刚性神经体渲染模型;根据所述非刚性神经体渲染模型和所述光流,结合时序的一致性约束,得到优化的非刚性神经体渲染模型;根据所述优化的非刚性神经体渲染模型,重建所述目标物体每一帧的完整几何和颜色。
-
公开(公告)号:CN113902926B
公开(公告)日:2022-05-31
申请号:CN202111477045.4
申请日:2021-12-06
Applicant: 之江实验室
Abstract: 本发明公开一种基于自注意力机制的通用图像目标检测方法,该方法是基于DETR模型的改进,其包括对将含边界框标注的训练集图像输入图像特征提取网络,获得图像特征;将图像特征依次通过多头十字交叉注意力模块和多方向交叉注意力模块,获得解码器输出增强目标查询向量;将增强目标查询向量分别通过模型的分类层和回归层得到目标图像物体边界框和物体类别概率;计算网络整体损失对模型进行训练,得到目标检测模型;利用上述模型对待检测图像进行目标检测。本发明相比于DETR模型,在保证目标检测准确的同时,加快模型训练速度,减小模型的计算复杂度,提高模型灵活性与实用性。
-
-
-
-
-
-
-
-
-