发帖
雷达卡
生成式人工智能服务安全基本要求概述
2024年3月1日，我国正式发布《生成式人工智能服务安全基本要求》（以下简称《AIGC安全要求》）。作为国内首部针对生成式人工智能（AIGC）服务安全性的技术指导文件，《AIGC安全要求》在语料安全、模型安全、安全措施、词库建设及安全评估等方面提出了系统性规范。
一、适用主体界定
《AIGC安全要求》明确其适用对象包括以下两类：
生成式人工智能服务
指利用生成式人工智能技术，向中华人民共和国境内公众提供文本、图片、音频、视频等内容的服务。判断是否“向境内提供服务”需综合多方面因素进行宽泛理解，实务中若存在以下情形之一，可能被认定为适用范围之内：
- 网页或产品界面提供“中国”地区选项；
- 支持中文语言显示或说明；
- 支付方式包含支付宝、微信支付等本地化渠道；
- 注册流程允许使用中国大陆手机号码。
服务提供者
指通过交互界面、可编程接口（API）等形式提供上述服务的组织或个人。值得注意的是，监管对象不仅限于企业机构，个人开发者若以公开形式提供生成式AI服务，同样属于“服务提供者”范畴，需履行相应合规义务。
二、语料安全管理要求
语料是训练大模型的核心生产资料，《AIGC安全要求》从授权合法性、安全评估与核验机制、不良语料类型识别三个维度提出具体管控标准。
1. 授权合法原则
所有用于训练的语料必须具备合法、明确的授权依据，遵循“知情—同意—告知”的基本原则。根据语料来源不同，合规要求如下：
| 语料来源 | 含义 | 合规要求 |
| 开源语料 | 开放获取、可供公众使用的语料资源 | 应持有相应的开源许可协议或授权文件。重点关注： (a) Robots协议内容； (b) 是否包含“个人已拒绝采集”的个人信息条款。 |
| 自采语料 | 自行生产或直接从互联网抓取的语料 | 须保留完整的采集记录，禁止采集他人明示禁止使用的语料数据。 |
| 商业语料 | 通过第三方交易获得的语料 | 需签署具有法律效力的合同或合作协议。若供应方无法提供语料来源、质量、安全性等方面的承诺及相关证明材料，则不得采用该语料。采购方应对相关材料进行实质性审核。 |
| 使用者输入语料 | 用户在使用过程中输入的信息 | 必须留存用户授权使用的记录，确保信息再利用符合隐私保护规定。 |
2. 安全评估与核验机制
为保障语料库的整体安全性，需建立“事前评估+事后核验”的双重控制机制：
- 采集前评估：对拟采集语料来源进行违法不良信息比率检测，若发现超过5%，则不得启动采集；
- 采集后核验：语料进入语料库前再次抽检，若违法不良信息占比仍高于5%，则整批语料不得投入使用。
尽管制度设计较为严密，但部分企业在实际操作中尚未完全落实上述流程，存在筛查漏洞风险。因此，企业应在首次安全评估基础上，持续保持对语料来源的动态监控。
此外，在内容过滤、知识产权保护、个人信息处理和标注安全等方面也需同步遵守相关规定：
- 采取关键词匹配、分类模型识别、人工抽检等方式持续过滤违法不良信息；
- 设立专人负责涉及知识产权和敏感个人信息语料的管理工作；
- 在使用前审查是否存在侵权风险，并与权利人协商取得授权或书面同意；
- 要求语料提供方出具关于来源合法性、数据质量和安全性的书面承诺及相关证明文件，并完成内部审核程序。
3. 不良语料类型的识别与规避
《AIGC安全要求》附录A列出了需重点防范的不良语料类型，共分为5大类、31种，涵盖政治、社会、伦理、法律等多个层面的安全隐患。
特别值得注意的是，本次规范首次强调了“特定服务类型”的专项安全需求：
医疗健康类服务
当前许多健康管理类产品推出了“智能健康管家”功能，可根据用户的体检报告或健康数据生成诊疗分析、用药建议等内容。此类服务极易因输出非专业性结论而导致误导，如造成“无病呻吟”或“病急乱投医”等严重后果。因此，相关算法和服务必须经过严格的医学专业验证，避免提供未经核实的医疗判断。
金融投资类服务
对于涉及银行理财、保险推荐、证券投资等领域的AI分析工具，必须严格遵守金融监管规定，保护投资者和投保人的合法权益。严禁通过AI手段实施不正当竞争行为，或发布违反金融风险控制要求的投资建议，防止出现诱导性、误导性输出。
三、模型安全与安全措施要求
除语料外，《AIGC安全要求》还对模型本身的安全性提出基础性要求，包括但不限于模型训练过程中的偏差控制、对抗攻击防御能力、输出内容可控性等。同时，服务提供者应建立健全安全防护体系，覆盖数据传输加密、访问权限管理、异常行为监测等关键环节。
四、词库建设标准
为提升生成内容的质量与合规水平，服务提供者应构建专用词库，尤其针对敏感领域（如医疗、法律、金融）建立专业术语库，并定期更新维护。词库内容应避免包含歧视性、违法或易引发争议的表达方式。
五、安全评估机制
服务上线前须开展全面的安全评估，评估内容包括语料合规性、模型稳定性、生成内容安全性、应急响应能力等。评估结果应形成书面报告并留存备查。对于高风险应用场景，还需引入第三方专业机构参与评估。
六、备案材料准备（附录）
为配合监管落地，《AIGC安全要求》在附录中明确了生成式人工智能服务备案所需提交的材料清单及格式要求，包括技术架构说明、语料来源清单、安全评估报告、应急预案文档等原始文件。
（三）模型安全
在AIGC服务的运行过程中，除语料本身的安全性外，模型层面的安全同样构成关键保障要素。服务提供者不仅需确保其系统具备稳定、持续与安全的运行能力，以支持用户正常使用，还应在采用第三方基础模型时，严格选用已通过主管部门备案的基础模型。
*统计：截至2025年5月通过网信办备案的算法模型情况
对于AIGC所生成的内容，应从安全性、准确性及可靠性三个维度进行综合把控：
- 安全性：依据《AIGC安全要求》，应对用户每次输入的信息实施安全检测，引导模型输出积极健康的内容，并建立常态化的检测与评估机制，对发现的问题及时整改；
- 准确性：应通过技术手段提升模型对用户意图的理解能力，增强生成内容与科学常识和主流认知的一致性；
- 可靠性：需优化生成内容的结构框架合理性，并提高有效信息的密度与可用性。
（四）安全措施要求
AIGC相关主体在模型应用与内容输出环节，须遵循《AIGC安全要求》中关于“模型适用安全措施”的相关规定，配套建立相应的技术、管理及防护机制。
安全措施要求
Opt-out功能
其中，“Opt-out”机制的建设尤为关键。与我国普遍实行的“Opt-in”模式（即默认不收集信息，需用户主动授权）不同，当前针对AIGC场景下的信息采集节点，仅要求提供显著且便捷的关闭路径，确保用户可随时轻松终止个人信息的输入。
供应链安全
在全球化贸易格局下，半导体技术特别是GPU芯片已成为科技竞争的核心资源。GPU广泛应用于AI模型训练、数据中心、智能交通和游戏等多个领域，根据用途可分为云端芯片与终端芯片两类，后者更深入嵌入移动设备、智能制造、智能家居等应用场景。
因此，《AIGC安全要求》特别强调了在芯片、软件、工具链及算力资源等方面的供应链合规管理。中国企业无论是在采购、研发、使用还是出口相关产品和服务时，均需从保障业务连续性与稳定性的角度出发，全面排查供应链潜在风险，避免因对目标国家或地区管制政策了解不足而导致市场准入障碍或运营中断。
（五）词库要求
《AIGC安全要求》明确提出了构建关键词库、生成内容测试题库、拒答测试题库以及分类模型的具体规范。关键词库总量不得少于10000个，且必须覆盖附录A.1与A.2中列出的全部17类安全风险。具体而言，每种A.1类风险对应的关键词不应低于200个，每种A.2类风险则不少于100个。
上述词库及相关模型应能全面支撑语料过滤、生成内容安全判定等工作，确保对本文件附录A所列31种安全风险实现全覆盖。
（六）安全评估要求
作为《AIGC暂行办法》的细化补充，《AIGC安全要求》第九章对安全评估的方法、语料评估、生成内容评估及问题解答评估等方面作出了明确规定。
在评估方法上，允许由服务提供者自主开展，也可委托第三方机构执行。评估结果若符合标准，应留存充分证明材料；若不符合，则需说明原因并制定改进计划。最终形成的评估报告除包含各项及总体结论外，还需有至少三位负责人签字确认。
在具体评估操作层面，《AIGC安全要求》设定了多项抽检标准，包括但不限于：
- 语料安全评估中的人工抽检与技术工具抽检；
- 生成内容安全评估中的人工审查、关键词匹配与分类模型验证；
- 问题拒答能力评估所依赖的应拒答测试题库与非拒答测试题库的测试标准。
*图示：AIGC安全评估要求
（七）附录、大模型备案材料源文件
大模型备案材料提交至主管部门的版本
大模型备案&算法备案参考材料
京公网安备 11010802022788号
