发帖
雷达卡
您提出了一个至关重要的议题，确实为AI开发者与应用者带来了严峻考验。当前，行业采取了全面且精细的策略和技术以筛选出敏感信息。
以下是主流解决方案和技术途径：
- 技术层面
- 输入审查
- 建立庞大的禁忌词汇库，覆盖政治、非法、色情及暴力等类型，对用户提问实时比对与筛查。
- 语义解析：利用专业分类模型洞察用户提问的潜在意图，而不仅是关键词匹配。例如，系统能辨识出用委婉表达或比喻隐藏的敏感倾向。
- 问题归类：将提问划分为“安全”、“有争议”、“风险高”等层级，并根据等级采取相应策略。
- 模型对齐与保障性培训
- RLHF（基于人类反馈的强化学习），核心方法，通过多轮答案生成和人工排序训练奖励模型，使模型更安全、更有益。
- SFT（监督精调）：采用专业团队编写“安全且有益”的问答案例，对基础大模型进行微调以习得安全响应方式。
- 红队检验：设立队伍尝试各种手段诱导模型输出有害信息，并将成功实例纳入训练数据，增强模型的韧性。
- 答案审查与后处理
- 内容扫描：对模型生成文本进行二次检查以确保最终无敏感信息遗漏。
- 引证核查：验证事实性陈述的可靠性。
- 策略与体系设计层面
综上所述，筛选敏感信息需多管齐下：
京公网安备 11010802022788号
