Invention Grant
- Patent Title: 一种针对大模型内容安全能力的评测方法及系统
-
Application No.: CN202410431137.6Application Date: 2024-04-11
-
Publication No.: CN118035711BPublication Date: 2024-06-14
- Inventor: 嵇程 , 翟羽佳 , 熊逸文 , 李鹏霄 , 项菲 , 王媛媛 , 王子涵
- Applicant: 国家计算机网络与信息安全管理中心江苏分中心
- Applicant Address: 江苏省南京市建邺区白龙江东街8号综合体A5栋
- Assignee: 国家计算机网络与信息安全管理中心江苏分中心
- Current Assignee: 国家计算机网络与信息安全管理中心江苏分中心
- Current Assignee Address: 江苏省南京市建邺区白龙江东街8号综合体A5栋
- Agency: 江苏圣典律师事务所
- Agent 卞珏平; 胡建华
- Main IPC: G06F18/21
- IPC: G06F18/21 ; G06F18/2431 ; G06N3/09

Abstract:
本发明公开了一种针对大模型内容安全能力的评测方法及系统,属于网络空间安全技术领域。所述评测方法包括步骤1,构建多模态、多领域和多题型的评测集;步骤2,构建内容安全评测模型;步骤3,将评测集的问题输入至被测大模型,输出对应的大模型回答;将问题和对应大模型回答整理成问答集,将所述问答集输入至所述内容安全评测模型,根据内容安全评测模型的输出对所述大模型进行综合打分,获得针对大模型内容安全能力的评测结果。该方法可以量化评价大模型跨模态内容安全防护性能,为监管部门、第三方评测机构、大模型研发机构提供参考数据。
Public/Granted literature
- CN118035711A 一种针对大模型内容安全能力的评测方法及系统 Public/Granted day:2024-05-14
Information query