发帖
雷达卡
（文/刘媛媛 编辑/吕栋）
10月13日，观察者网获悉，字节跳动Seed近日发布内部邮件，宣布成立“Seed Model-Alignment&Preparedness”部门，由严林负责，向Seed负责人吴永辉汇报。原Responsible AI团队及部分Chat团队成员将转入新部门。
这一动作释放出一个信号：在中国前沿大模型实验室里，安全与对齐正在从合规配套升格为与模型能力并列的核心工程。
据悉，该部门的设立旨在加强安全与对齐方向的投入，对齐的核心是让模型的行为与人类意图和安全约束保持一致，从而提升Agent Model（智能体模型）安全能力，以及防范CBRN（化学、生物、放射、核）等前沿能力风险。
换句话说，其目标不只是“别让模型出事”，而是让前沿模型在安全与授权约束内完成任务。
这背后是全球AI风险的到来。过去一年，智能体逃逸引发的网络攻击、自动化社工、工具滥用等事件频繁进入公众视野。CBRN相关前沿能力风险，也被各国监管者和实验室反复提及。
比如，今年7月，英国AI安全研究所（AISI）在网络安全评估中发现，具备不受限制联网能力的AI模型自主创建虚假身份、编造社交工程话术，试图向开源项目注入恶意代码。一个智能体甚至用多个伪造的GitHub账号协调欺骗行动，并主动联系真人诱导其运行恶意代码，目的是绕过人工审查。
今年2月，一个名为hackerbot-claw的自主机器人（基于前沿大模型）利用配置错误的GitHub Actions工作流，实现远程代码执行并窃取写入权限凭证，最后在7个目标中成功攻破5个。
过去，国内大模型团队的安全工作多纳入公司整体安全合规体系，上线前做评测、出事前做拦截、违规后做处置。但Seed的判断是，当模型能力逼近“可替代部分人类流程”的临界点，安全与对齐已不是外围护栏，而是模型能否规模化进入生产、政务、科研、金融等高敏场景的前提。
不过，独立部门并不等于风险清零。对齐训练需要解决模型知道边界与愿意停在边界内的差距，防护系统要在低误伤与低漏放之间找到平衡，外部合作和第三方评测也必须足够公开、可复现。
京公网安备 11010802022788号
