-
公开(公告)号:CN112346978A
公开(公告)日:2021-02-09
申请号:CN202011245927.3
申请日:2020-11-10
申请人: 之江实验室
摘要: 本发明公开了一种驾驶员参与的无人车驾驶软件仿真测试装置与方法,该装置包括无人车仿真器、驾驶仿真器、陪练车仿真器、测试服务器和数据处理器。本发明使人类驾驶员可以在线参与无人车驾驶软件的仿真测试过程,从而提高仿真测试的难度和真实性;本发明通过对人类驾驶行为的记录和处理,生成若干模仿人类驾驶者驾驶行为的车辆行驶脚本,并通过陪练车仿真器执行脚本,使仿真测试中的陪练车可以模拟人类驾驶行为进行驾驶,一方面高保真地还原了真实人类的陪练行为,另一方面大大增加了仿真测试的不确定性,使仿真测试可以提供更多更逼真的临界案例,更全面地测试无人车驾驶软件的智能性和安全性。
-
公开(公告)号:CN115311731B
公开(公告)日:2023-01-31
申请号:CN202211235204.4
申请日:2022-10-10
申请人: 之江实验室
摘要: 本发明公开了一种手语数字人的表情生成方法和装置,包括以下步骤:步骤S1:将所有口型对应的口型混合变形权重和所有情感对应的情感混合变形权重构成表情数据库;步骤S2:获取手语语句的词目序列和手语语句的情感属性;步骤S3:估计所述音素序列中每个音素的持续时长;步骤S4:得到平滑后的口型混合变形权重序列;步骤S5:生成情感混合变形权重序列;步骤S6:得到混合变形权重;步骤S7:将所述混合变形权重应用到手语数字人人脸模型上,生成手语表情动画。本发明将口型及情感的表情合成应用到手语数字人当中,使得手语数字人更加生动形象,并大大提升手语数字人在听障人群中的可理解性,具有高稳定性、算法复杂度低的优点,能够进行实时运行。
-
公开(公告)号:CN115311731A
公开(公告)日:2022-11-08
申请号:CN202211235204.4
申请日:2022-10-10
申请人: 之江实验室
摘要: 本发明公开了一种手语数字人的表情生成方法和装置,包括以下步骤:步骤S1:将所有口型对应的口型混合变形权重和所有情感对应的情感混合变形权重构成表情数据库;步骤S2:获取手语语句的词目序列和手语语句的情感属性;步骤S3:估计所述音素序列中每个音素的持续时长;步骤S4:得到平滑后的口型混合变形权重序列;步骤S5:生成情感混合变形权重序列;步骤S6:得到混合变形权重;步骤S7:将所述混合变形权重应用到手语数字人人脸模型上,生成手语表情动画。本发明将口型及情感的表情合成应用到手语数字人当中,使得手语数字人更加生动形象,并大大提升手语数字人在听障人群中的可理解性,具有高稳定性、算法复杂度低的优点,能够进行实时运行。
-
公开(公告)号:CN115187705A
公开(公告)日:2022-10-14
申请号:CN202211108862.7
申请日:2022-09-13
申请人: 之江实验室
摘要: 本发明公开了一种语音驱动人脸关键点序列生成方法及装置,该方法首先构建一个用于训练的数据集和一个基于标准流模型的语音驱动人脸关键点序列生成模型,该模型将随机采样的高斯噪声作为输入,并将语音序列作为条件输入多个标准流模块中,其中每个模块通过条件时空卷积神经网络将语音序列融合进行融合,最后输出人脸关键点序列;其次,构建损失函数进行模型训练直至收敛,得到最佳模型参数的训练模型;最后利用训练好的模型进行模型推断,对任意输入的语音生成说话人表情关键点序列。本发明通过该方法能够生成高质量且动作自然的人脸关键点序列,解决计算机动画和虚拟人领域,基于语音驱动人脸关键点序列缺少多样性问题。
-
公开(公告)号:CN112489215B
公开(公告)日:2022-09-16
申请号:CN202011361600.2
申请日:2020-11-27
申请人: 之江实验室
摘要: 本发明公开了单一绘制批次的具有路面标志的三维道路参数化建模方法,包括S1,对一段包括n种类型和m个交通标志的道路路面进行参数化建模,输出与标志无关的道路纹理T、与标志无关的道路网格G、记录了n种交通标志集合的含不透明通道的纹理I、交通标志参数化编码数据结构F;S2,将G、T、I、F传输至显存;S3,调用图形绘制接口,绘制网格G,在顶点着色阶段进行投影计算和顶点三维坐标传输,在像素着色阶段根据三维坐标判断是否属于某个交通标志,若属于则采样I进行混合绘制。
-
公开(公告)号:CN114386293B
公开(公告)日:2022-07-08
申请号:CN202210281920.X
申请日:2022-03-22
申请人: 之江实验室
IPC分类号: G06F30/20
摘要: 本发明公开一种虚实合成的激光雷达点云生成方法和装置,该方法从预定义模型库中选择多个模型,按照设定的概率分布设置其形变姿态和仿射变换,并将生成的模型实例放置到真实点云场景的合理区域中,最后使用空间索引和射线投影算法重采样得到虚实合成的点云数据。该方法既保留了真实激光雷达点云的真实性,又结合了虚拟仿真场景的可配置性和灵活性,并且能够自动生成数据标注信息,缓解了真实点云数据采集效率和人工标注效率低下的问题;该方法可以快速生成大量的合成激光雷达点云,提高点云数据的生成效率,同时也为感知算法等深度学习算法提供了更多的训练数据。
-
公开(公告)号:CN113536913A
公开(公告)日:2021-10-22
申请号:CN202110642915.2
申请日:2021-06-09
申请人: 之江实验室
摘要: 本发明公开了一种三维目标检测中针对静态目标的优化方法,首先过滤缓存中时间太久和距离太远的静态目标,然后融合当前帧的三维目标检测的目标和缓存中的静态目标,再遍历缓存中的静态目标,作为当前帧三维目标检测的部分检测结果R1,遍历当前帧的检测目标,若检测目标类别为静态目标且置信度超过预设阈值S1,则将当前帧的检测目标的三维信息,输入到缓存中,并作为当前帧三维目标检测的部分检测结果R2,若检测类别是动态目标或者检测置信度小于S1,则直接作为当前帧三维目标检测的部分检测结果R3,最后将R1、R2、R3合并为R作为当前帧的三维目标检测结果。针对于自动驾驶领域,本发明稳定了感知模块的输出结果,提升环境感知整体感知精度。
-
公开(公告)号:CN113111978B
公开(公告)日:2021-10-01
申请号:CN202110652361.4
申请日:2021-06-11
申请人: 之江实验室
摘要: 本发明属于目标检测技术领域,涉及一种基于点云和图像数据的三维目标检测系统和方法,该系统包括:三维检测神经网络、二维检测神经网络、融合处理模块、分类器和后处理模块,所述三维检测神经网络输入三维点云数据,输出三维目标信息至融合处理模块;所述二维检测神经网络输入二维图片数据,输出二维目标信息至融合处理模块;所述融合处理模块对所述三维目标信息和二维目标信息进行融合处理后,将融合处理后的数据输出至分类器;所述分类器对融合处理后的数据信息进行分类,输出分类结果至后处理模块;所述后处理模块输入分类结果和三维目标信息,输出目标检测结果。本发明能够有效提升三维目标检测的准确率。
-
公开(公告)号:CN112580786B
公开(公告)日:2021-09-28
申请号:CN202011529184.2
申请日:2020-12-22
申请人: 之江实验室
摘要: 本发明公开了一种用于ReID的神经网络构造和训练方法,构造方法包括:S1,构造神经网络DNN1;S2,从DNN1中选取全卷积层FCLi;S3,构造神经网络DNN2;S4,将选取的FCLi的输出特征向量图Fi和DNN1的输出连接到DNN2的输入,形成神经网络DNNfinal;训练方法包括:S1,构造DNNfinal;S2,训练DNN1;S3,构造神经网络DNN3;S4,将DNNfinal的输出连接到DNN3形成神经网络DNNaux;S5,选取多目标跟踪数据集训练DNNaux,训练过程中不更新DNN1的神经网络参数;S6,训练结束后输出的DNNfinal为用于ReID的神经网络。
-
公开(公告)号:CN116051696B
公开(公告)日:2023-12-22
申请号:CN202310035290.2
申请日:2023-01-10
申请人: 之江实验室
摘要: 本发明公开了一种可重光照的人体隐式模型的重建方法和装置,将人体表示为可变形的隐式神经表示,并分解人体的几何形状、材质属性以及环境照明,以获得一个可重光照和可驱动的隐式人体模型。此外,还引入了由多个球形高斯组成的体积照明网格表示空间变化的复杂照明,并引入了能伴随人体姿态变化而改变位置的可见性探针,来记录由人体运动引起的动态自遮挡。该方法在稀疏视频输入甚至单目输入的情况下,都可以生成可以用于高保真人体重光照的隐式可驱动模型。
-
-
-
-
-
-
-
-
-