公开(公告)号：CN110751956B

公开(公告)日：2022-04-26

申请号：CN201910876818.2

申请日：2019-09-17

申请人： 北京时代拓灵科技有限公司 ,  南京拓灵智能科技有限公司

发明人： 孙学京 ,  张兴涛 ,  许春生

IPC分类号： G10L19/008 ,  H04S3/00 ,  H04S7/00

摘要： 本发明实施方式涉及一种沉浸式音频渲染方法及系统，其中，所述方法包括：针对待混合的多个扬声器播放的多路音频，获取各路所述音频的基于HOA的第一增益和基于VBAP的第二增益；为各路所述音频配置混合权重，并根据所述混合权重确定所述第一增益和所述第二增益的权重系数；根据所述第一增益、所述第二增益以及各自的权重系数，确定各路所述音频的混合增益，并通过所述混合增益完成所述多路音频的混音处理。本申请提供的技术方案，能够更精准地定位声源位置，从而满足中小型场馆现场沉浸式制作与播放的需求。

公开(公告)号：CN112584297B

公开(公告)日：2022-04-08

申请号：CN202011387031.9

申请日：2020-12-01

申请人： 中国电影科学技术研究所 ,  北京时代拓灵科技有限公司

发明人： 徐涛 ,  孙学京 ,  董强国 ,  周令非 ,  刘知一 ,  张辉

IPC分类号： H04S3/00 ,  G10L19/008

摘要： 本发明实施例公开了音频数据的处理方法、装置和电子设备，该处理方法包括：获取目标格式的目标音频；提取所述目标音频中表示目标对象发出声音的第一音频单元，所述目标对应为具有高度角信息的对象；获取所述目标对象的高度角和水平角；根据所述高度角和所述水平角对所述第一音频单元进行HOA编码，得到所述第一音频单元的HOA编码信息；根据所述第一音频单元的HOA编码信息生成所述第一音频单元的音频信号。本发明可以让最新的沉浸式音频系统兼容传统5.1声道，同时更理想的是利用更多通道的优势渲染出更好的沉浸式效果的问题。

公开(公告)号：CN109886394B

公开(公告)日：2021-06-18

申请号：CN201910164889.X

申请日：2019-03-05

申请人： 北京时代拓灵科技有限公司

发明人： 王梓潇 ,  孙学京 ,  许春生 ,  沈瑶

IPC分类号： G06N3/04

摘要： 本发明实施例公开了一种嵌入式设备中三值神经网络权值处理方法及装置，在神经网络模型加载到嵌入式设备之前，对所述神经网络模型中的原始三值化网络权值数据进行分组，将分组后的权值数据进行按位与操作获得每个权值数据的低2位，按权值数据的顺序进行左移位并把左移位后的权值数据按位或操作获得压缩权值数据；根据神经网络模型单层权值数据所需的存储空间进行内存空间开辟，在所述单层权值数据运算前，对单层权值数据对应的所述压缩权值数据进行按位与操作，将按位与操作后的压缩权值数据进行右移位获得原始三值化网络权值数据。确保神经网络运算的准确率和速度的前提下，解决三值神经网络模型在嵌入式设备上占用较大内存空间的问题。

公开(公告)号：CN112866896A

公开(公告)日：2021-05-28

申请号：CN202110111130.2

申请日：2021-01-27

申请人： 西安时代拓灵科技有限公司 ,  北京时代拓灵科技有限公司

发明人： 孙学京 ,  李旭阳

IPC分类号： H04S7/00 ,  G06N3/08

摘要： 本发明公开了一种沉浸式音频上混方法及系统，通过获取输入的立体声音频信号，采用深度学习声源分离模型将立体声音频信号分离为声源信号和环境音信号；采用深度学习声源分离模型将声源信号分离为中置音源信号和低音信号；采用深度学习声源分离模型对环境音信号进行去相关处理，获得左环绕声音频信号和右环绕声音频信号；获取输入的左声道音频信号和右声道音频信号，将中置音源信号、低音信号、左环绕声音频信号、右环绕声音频信号、左声道音频信号和右声道音频信号合并得到5.1声道音频信号。本发明基于神经网络对输入立体声音频信号进行实时处理，音源和环境音能够有效区分，能够得到多声道音频信号，进而提升沉浸式效果。

公开(公告)号：CN105959877B

公开(公告)日：2020-09-01

申请号：CN201610538406.4

申请日：2016-07-08

申请人： 北京时代拓灵科技有限公司

发明人： 孙学京 ,  张晨

IPC分类号： H04R3/00

摘要： 本发明公开了一种虚拟现实设备中声场的处理方法及装置，其中，所述处理方法包括：预先确定预设数量的双耳信号，所述预设数量的双耳信号中包括采样双耳信号和超采样双耳信号；对所述采样双耳信号通过拟合得到所述超采样双耳信号；根据用户头部转动的水平角度，确定与所述水平角度最接近的第一超采样双耳和第二超采样双耳信号；对所述第一超采样双耳和第二超采样双耳信号进行插值，得到与所述水平角度相对应的当前双耳信号，并向用户播放所述当前双耳信号。本发明提供的一种虚拟现实设备中声场的处理方法及装置，能够在保证双耳信号音效较好的情况下，减少需要处理的数据量，以提高双耳信号处理的效率。

公开(公告)号：CN107920303B

公开(公告)日：2019-12-24

申请号：CN201711168490.6

申请日：2017-11-21

申请人： 北京时代拓灵科技有限公司

发明人： 孙学京 ,  张晨 ,  张兴涛

IPC分类号： H04R3/00

摘要： 本申请涉及一种音频采集的方法及装置，其中，所述方法包括：基于麦克风阵列获取多声道音频信号；结合音频采集设备放置方式信息，对所述多声道音频信号进行调整；存储调整后的多声道音频信号，以得到音频文件。本申请提供的技术方案，能够得到高音质的音频文件。

公开(公告)号：CN108520756A

公开(公告)日：2018-09-11

申请号：CN201810231676.X

申请日：2018-03-20

申请人： 北京时代拓灵科技有限公司

发明人： 孙学京 ,  刘恩 ,  张晨 ,  张兴涛

IPC分类号： G10L21/0272 ,  G10L21/028 ,  G10L21/0216

摘要： 本发明公开了一种说话人语音分离的方法及装置，方法包括：获取预设格式的音频信号；针对所述音频信号进行预处理，得到处理后的第一音频信号；针对所述第一音频信号进行音频分离处理，得到不同方位说话人的第二音频信号；针对所述第二音频信号进行增强处理，得到增强后的不同方位说话人的第三音频信号；输出所述第三音频信号。采用本发明的技术方案，实现了快速、准确地分离不用方位的多个说话人的音频信号。

公开(公告)号：CN106060758B

公开(公告)日：2018-03-23

申请号：CN201610391252.0

申请日：2016-06-03

申请人： 北京时代拓灵科技有限公司

发明人： 杨洪旭 ,  孙学京 ,  张晨

IPC分类号： H04S5/00

摘要： 本发明公开了一种虚拟现实声场元数据的处理方法，所述处理方法包括以下步骤：判断音频对象的运动模式，如果音频对象的运动模式为直线运动，令运动模式参数m＝0；如果音频对象的运动模式为曲线运动，令运动模式参数m＝1；当m＝0时，用直角坐标系表示该音频对象的方位信息，同时音频对象的运动轨迹也在直角坐标系中进行处理；当m＝1时，用极坐标系表示该音频对象的方位信息，同时音频对象的运动轨迹也在极坐标系中进行处理；根据音频对象的运动轨迹对应的位置信息生成虚拟环绕声。所述方法在处理直线运动和曲线运动并存的复杂对象时，能更加完美地展现音频对象的运动方向和轨迹。在虚拟现实中提高沉浸感，更真实，更具体，更形象。

公开(公告)号：CN105682000A

公开(公告)日：2016-06-15

申请号：CN201610017000.1

申请日：2016-01-11

申请人： 北京时代拓灵科技有限公司

发明人： 张晨 ,  孙学京 ,  刘皓

IPC分类号： H04S7/00 ,  G10L19/008

CPC分类号： H04S7/304 ,  G10L19/008 ,  H04S7/306

摘要： 本发明涉及一种云端音频处理方法，服务器和系统，针对不同格式的音频信号，根据客户端的头部旋转角度，分别对所述不同格式的音频信号进行双耳转码，生成相应格式的双声道音频信号；对所述相应格式的双声道信号叠加，得到音频双耳输出虚拟环绕声信号。本发明的音频处理是在云端服务器上进行的，很好的适应了现有的基于云架构音频处理和存储，从而减少了移动终端生成虚拟环绕声质量不高、运算量大的问题。另外，针对上述在服务器上执行可能带来的延迟，本发明还包括对于角度进行平滑处理，以消除延迟。

公开(公告)号：CN118135973A

公开(公告)日：2024-06-04

申请号：CN202311263162.X

申请日：2023-09-27

申请人： 北京时代拓灵科技有限公司

发明人： 孙学京 ,  郭红阳 ,  薛涛 ,  郭爽

IPC分类号： G10H1/00 ,  G06N3/0464 ,  G06N3/08

摘要： 本申请公开了一种曲风转换方法、装置、计算机设备和存储介质，本方法具体包括获取原始钢琴音乐，并将原始钢琴音乐通过MIDI转换得到第一MIDI数据文件；通过深度学习模型分析得到曲风参数；通过调整曲风参数得到目标MIDI数据文件；并基于深度神经网络的MIDI音频合成模型实现音乐重构得到目标钢琴音乐。本方法实现了自动、高效、准确的对原始音乐进行曲风转换。