-
公开(公告)号:CN113052270A
公开(公告)日:2021-06-29
申请号:CN202110503779.9
申请日:2021-05-10
Applicant: 清华大学 , 国家计算机网络与信息安全管理中心
Abstract: 本申请涉及一种分类精度评价方法、装置、计算机设备和存储介质。所述方法包括:获取有害语音样本集;将有害语音样本集中的每个有害语音样本输入待评价的有害语音分类模型中进行分类,得到预测类别标签;在预设的分类层级中,确定与预测类别标签和有害语音样本的样本类别标签对应的目标分类;根据目标分类计算待评价的有害语音分类模型的分类精确程度。本方案中,对有害语音样本进行了多层次的分类(即分类层级),然后在分类层级中确定预测类别标签和样本类别标签共同所属的目标分类,目标分类可以反映预测类别标签和样本类别标签的匹配度,进而根据目标分类确定分类模型的分类精确程度,能够有效的提高分类模型评价的准确度。
-
公开(公告)号:CN113205801B
公开(公告)日:2024-03-19
申请号:CN202110498059.8
申请日:2021-05-08
Applicant: 国家计算机网络与信息安全管理中心 , 清华大学
Abstract: 本申请涉及一种恶意语音样本的确定方法、装置、计算机设备和存储介质。该方法包括:获取初始语音样本集;根据预设的多种恶意类别对初始语音样本集进行分类,得到多种恶意类别中每种恶意类别对应的语音样本子集;根据每种恶意类别对应的语音样本子集中的语音样本信息,计算每种恶意类别对应的语音样本子集的恶意度;将恶意度满足预设恶意度条件的恶意类别对应的语音样本子集中的语音样本,确定为恶意语音样本。本方法基于语音样本子集的恶意类别以及恶意度可自动确定恶意语音样本,有利于提高恶意语音样本的确定效率。
-
公开(公告)号:CN113052270B
公开(公告)日:2024-12-24
申请号:CN202110503779.9
申请日:2021-05-10
Applicant: 清华大学 , 国家计算机网络与信息安全管理中心
IPC: G06F18/21 , G06F18/241 , G06F18/22
Abstract: 本申请涉及一种分类精度评价方法、装置、计算机设备和存储介质。所述方法包括:获取有害语音样本集;将有害语音样本集中的每个有害语音样本输入待评价的有害语音分类模型中进行分类,得到预测类别标签;在预设的分类层级中,确定与预测类别标签和有害语音样本的样本类别标签对应的目标分类;根据目标分类计算待评价的有害语音分类模型的分类精确程度。本方案中,对有害语音样本进行了多层次的分类(即分类层级),然后在分类层级中确定预测类别标签和样本类别标签共同所属的目标分类,目标分类可以反映预测类别标签和样本类别标签的匹配度,进而根据目标分类确定分类模型的分类精确程度,能够有效的提高分类模型评价的准确度。
-
公开(公告)号:CN113205801A
公开(公告)日:2021-08-03
申请号:CN202110498059.8
申请日:2021-05-08
Applicant: 国家计算机网络与信息安全管理中心 , 清华大学
Abstract: 本申请涉及一种恶意语音样本的确定方法、装置、计算机设备和存储介质。该方法包括:获取初始语音样本集;根据预设的多种恶意类别对初始语音样本集进行分类,得到多种恶意类别中每种恶意类别对应的语音样本子集;根据每种恶意类别对应的语音样本子集中的语音样本信息,计算每种恶意类别对应的语音样本子集的恶意度;将恶意度满足预设恶意度条件的恶意类别对应的语音样本子集中的语音样本,确定为恶意语音样本。本方法基于语音样本子集的恶意类别以及恶意度可自动确定恶意语音样本,有利于提高恶意语音样本的确定效率。
-
公开(公告)号:CN113327601B
公开(公告)日:2024-02-13
申请号:CN202110579536.3
申请日:2021-05-26
Applicant: 清华大学
Abstract: 本申请涉及一种有害语音的识别方法、装置、计算机设备和存储介质。方法包括:将每一样本语音的置信度与预设阈值组进行比较,确定每一样本语音对应的判断结果,根据每一样本语音对应的判断结果及每一样本语音对应的标注结果,计算预设阈值组对应的代价函数值;对预设阈值组中的预设阈值进行调整,重复上述调整预设阈值及计算代价函数值的过程,确定满足预设条件的代价函数值;根据满足该预设条件的代价函数值所对应的预设阈值组,确定最终的预设阈值组;根据待判别的语音及所述最终的预设阈值组,对所有待判别的语音进行判断。相较于使用单阈值方式对有害语音进行识别,采用双阈值方式更便于对置信度阈值进行调整,进而提高有害语音识别的分类效果。
-
公开(公告)号:CN113327601A
公开(公告)日:2021-08-31
申请号:CN202110579536.3
申请日:2021-05-26
Applicant: 清华大学
Abstract: 本申请涉及一种有害语音的识别方法、装置、计算机设备和存储介质。方法包括:将每一样本语音的置信度与预设阈值组进行比较,确定每一样本语音对应的判断结果,根据每一样本语音对应的判断结果及每一样本语音对应的标注结果,计算预设阈值组对应的代价函数值;对预设阈值组中的预设阈值进行调整,重复上述调整预设阈值及计算代价函数值的过程,确定满足预设条件的代价函数值;根据满足该预设条件的代价函数值所对应的预设阈值组,确定最终的预设阈值组;根据待判别的语音及所述最终的预设阈值组,对所有待判别的语音进行判断。相较于使用单阈值方式对有害语音进行识别,采用双阈值方式更便于对置信度阈值进行调整,进而提高有害语音识别的分类效果。
-
-
-
-
-