一种驾驶员参与的无人车驾驶软件仿真测试装置与方法

    公开(公告)号:CN112346978B

    公开(公告)日:2022-07-08

    申请号:CN202011245927.3

    申请日:2020-11-10

    申请人: 之江实验室

    发明人: 华炜 谢天 李融 迟锐

    IPC分类号: G06F11/36 G06F30/15

    摘要: 本发明公开了一种驾驶员参与的无人车驾驶软件仿真测试装置与方法,该装置包括无人车仿真器、驾驶仿真器、陪练车仿真器、测试服务器和数据处理器。本发明使人类驾驶员可以在线参与无人车驾驶软件的仿真测试过程,从而提高仿真测试的难度和真实性;本发明通过对人类驾驶行为的记录和处理,生成若干模仿人类驾驶者驾驶行为的车辆行驶脚本,并通过陪练车仿真器执行脚本,使仿真测试中的陪练车可以模拟人类驾驶行为进行驾驶,一方面高保真地还原了真实人类的陪练行为,另一方面大大增加了仿真测试的不确定性,使仿真测试可以提供更多更逼真的临界案例,更全面地测试无人车驾驶软件的智能性和安全性。

    一种对图像交互式实例分割的标注方法

    公开(公告)号:CN112381834B

    公开(公告)日:2022-06-03

    申请号:CN202011145197.X

    申请日:2021-01-08

    申请人: 之江实验室

    发明人: 李融

    IPC分类号: G06T7/11 G06T7/136 G06T7/187

    摘要: 本发明公开了一种对图像交互式实例分割的标注方法,包括S1,构建待处理集合E和已标注集合Ci,并初始化;S2,通过交互式的图像分割算法,对集合E进行分割,形成细分区域Rk,将E置空;S3,将细分区域Rk分别放入集合E和集合Ci中,每个细分区域只被放入一个集合中;如果细分区域Rk完全被第i个目标实例对象区域所包含,则将Rk放入集合Ci中;如果细分区域Rk与任何一个目标实例区域有不为空的相交区域,且相交区域不等于Rk,则将Rk放入集合E中;S4,当集合E不为空时,重复步骤S2和S3,直到集合E为空集;S5,将集合Ci内所有细分区域进行合并,将合并后的区域内的每个像素标注为第i个目标实例。

    单一绘制批次的具有路面标志的三维道路参数化建模方法

    公开(公告)号:CN112489215A

    公开(公告)日:2021-03-12

    申请号:CN202011361600.2

    申请日:2020-11-27

    申请人: 之江实验室

    IPC分类号: G06T17/20 G06T19/20

    摘要: 本发明公开了单一绘制批次的具有路面标志的三维道路参数化建模方法,包括S1,对一段包括n种类型和m个交通标志的道路路面进行参数化建模,输出与标志无关的道路纹理T、与标志无关的道路网格G、记录了n种交通标志集合的含不透明通道的纹理I、交通标志参数化编码数据结构F;S2,将G、T、I、F传输至显存;S3,调用图形绘制接口,绘制网格G,在顶点着色阶段进行投影计算和顶点三维坐标传输,在像素着色阶段根据三维坐标判断是否属于某个交通标志,若属于则采样I进行混合绘制。

    一种考虑速度因素的激光雷达测距的快速数值仿真方法

    公开(公告)号:CN111624583A

    公开(公告)日:2020-09-04

    申请号:CN202010750633.X

    申请日:2020-07-30

    申请人: 之江实验室

    IPC分类号: G01S7/497 G01S17/08 G06F30/20

    摘要: 本发明公开一种考虑速度因素的激光雷达测距的快速数值仿真方法,该方法在仿真过程中充分考虑激光雷达自身和周围环境中物体的运动,其中激光雷达自身的运动不仅包括其装置的整体运动,还包括其激光器的旋转扫描运动,提供了数值仿真的准确度,同时通过引入采样点集合简化了计算量,达到了使用较少计算量来提高了仿真的准确度的效果。该方法特别适用于场景中激光雷达自身和/或周围物体都处于高速运动状态时,此时该方法能实现的仿真精度较现有方法有显著提高。

    一种可重光照的人体隐式模型的重建方法和装置

    公开(公告)号:CN116051696A

    公开(公告)日:2023-05-02

    申请号:CN202310035290.2

    申请日:2023-01-10

    申请人: 之江实验室

    IPC分类号: G06T13/40 G06T15/50

    摘要: 本发明公开了一种可重光照的人体隐式模型的重建方法和装置,将人体表示为可变形的隐式神经表示,并分解人体的几何形状、材质属性以及环境照明,以获得一个可重光照和可驱动的隐式人体模型。此外,还引入了由多个球形高斯组成的体积照明网格表示空间变化的复杂照明,并引入了能伴随人体姿态变化而改变位置的可见性探针,来记录由人体运动引起的动态自遮挡。该方法在稀疏视频输入甚至单目输入的情况下,都可以生成可以用于高保真人体重光照的隐式可驱动模型。

    情感表达的人脸动画生成方法、装置和可读存储介质

    公开(公告)号:CN115984434A

    公开(公告)日:2023-04-18

    申请号:CN202310004861.6

    申请日:2023-01-03

    申请人: 之江实验室

    摘要: 本申请提供一种情感表达的人脸动画生成方法、装置和可读存储介质。其中,本申请的情感表达的人脸动画生成方法,获取用户输入的语音;将语音输入至训练好的表情动画生成模型,以输出预测的三维人脸的表情动画的PCA系数;训练好的表情动画生成模型是使用语音样本集输入至表情动画生成模型训练得到的;将所预测的表情动画的PCA系数投影为三维人脸的表情动画数据;将所投影的表情动画数据重定向在目标数字人上。

    一种语音驱动人脸关键点序列生成方法及装置

    公开(公告)号:CN115187705B

    公开(公告)日:2023-01-24

    申请号:CN202211108862.7

    申请日:2022-09-13

    申请人: 之江实验室

    发明人: 李融 梁森 陈奕铮

    摘要: 本发明公开了一种语音驱动人脸关键点序列生成方法及装置,该方法首先构建一个用于训练的数据集和一个基于标准流模型的语音驱动人脸关键点序列生成模型,该模型将随机采样的高斯噪声作为输入,并将语音序列作为条件输入多个标准流模块中,其中每个模块通过条件时空卷积神经网络将语音序列融合进行融合,最后输出人脸关键点序列;其次,构建损失函数进行模型训练直至收敛,得到最佳模型参数的训练模型;最后利用训练好的模型进行模型推断,对任意输入的语音生成说话人表情关键点序列。本发明通过该方法能够生成高质量且动作自然的人脸关键点序列,解决计算机动画和虚拟人领域,基于语音驱动人脸关键点序列缺少多样性问题。

    一种人脸关键点身份和表情解耦方法及装置

    公开(公告)号:CN115050087A

    公开(公告)日:2022-09-13

    申请号:CN202210981411.8

    申请日:2022-08-16

    申请人: 之江实验室

    发明人: 梁森 李融 陈奕铮

    IPC分类号: G06V40/16 G06V10/774

    摘要: 本发明公开了一种人脸关键点身份和表情解耦方法及装置,该方法包括:建立模型、训练模型和模型推断三个部分。本发明首先是从人脸图片中进行提取的人脸关键点,然后基于变分自编码器构建模型,其编码器部分将人脸关键点解耦成两个正交的身份隐变量和表情隐变量,解码器部分融合两者并解码成人脸关键点;采集大量的人脸说话视频数据,提取视频每帧的人脸关键点坐标,构建模型并训练模型直至收敛,得到最佳的模型参数用于模型的推断。对任意输入的人脸关键点解耦成身份和表情隐变量,任意组合两者可以生成新的人脸关键点。

    一种多激光雷达测距的快速数值仿真方法和装置

    公开(公告)号:CN114895316A

    公开(公告)日:2022-08-12

    申请号:CN202210809070.6

    申请日:2022-07-11

    申请人: 之江实验室

    摘要: 本发明公开一种多激光雷达测距的快速数值仿真方法和装置,该方法能够同时仿真多个激光雷达,并使用一张公共的数据表用来存储和读取测距仿真结果;首先多个激光雷达依次在场景中进行采样,将采样结果写入各自的独立数据表中;重采样所有独立数据表,统一映射到公共数据表空间,并编码写入采样点的距离值;最后回读整张公共数据表,解码读取其中的测距结果。该方法使用公共的GPU数据缓存,减少了数据在GPU和CPU之间传输的次数,降低了数据回读延时;重采样映射阶段利用了GPGPU通用计算,显著提高多激光雷达的仿真性能。

    一种用于ReID的神经网络构造方法及其训练方法

    公开(公告)号:CN112580786A

    公开(公告)日:2021-03-30

    申请号:CN202011529184.2

    申请日:2020-12-22

    申请人: 之江实验室

    IPC分类号: G06N3/04 G06K9/62

    摘要: 本发明公开了一种用于ReID的神经网络构造和训练方法,构造方法包括:S1,构造神经网络DNN1;S2,从DNN1中选取全卷积层FCLi;S3,构造神经网络DNN2;S4,将选取的FCLi的输出特征向量图Fi和DNN1的输出连接到DNN2的输入,形成神经网络DNNfinal;训练方法包括:S1,构造DNNfinal;S2,训练DNN1;S3,构造神经网络DNN3;S4,将DNNfinal的输出连接到DNN3形成神经网络DNNaux;S5,选取多目标跟踪数据集训练DNNaux,训练过程中不更新DNN1的神经网络参数;S6,训练结束后输出的DNNfinal为用于ReID的神经网络。