Anthropic 与 OpenAI 就高风险 AI 关停机制提出不同监管方案

Anthropic 与 OpenAI 均认为前沿人工智能系统需要加强监管，但在如何关停存在严重风险的系统上提出了截然不同的方案。这两家公司的提案分别提交给加州州长加文·纽森（Gavin Newsom），背景是纽森于 2026 年 9 月 18 日发布的行政命令（N-9-26），要求州官员考虑加强前沿 AI 系统的安全保障措施。 www.sosit.com.cn

Anthropic 方案：法院干预与独立验证

Anthropic 在 10 月 15 日的提交文件中主张，若行政官经独立评估认定前沿 AI 公司的模型存在近期造成灾难性伤害的风险，应有权寻求法院命令以暂停模型的部署、内部使用或进一步开发。其核心观点包括：

www.sosit.com.cn

• 独立验证与报告：要求对前沿 AI 公司报告的模型风险及其缓解措施进行独立验证，并公布评估结果。开发者需至少每六个月发布一次风险报告，涵盖严重风险（包括内部使用的模型）。
• 评估方权限：评估方应获得未删减的报告及开发者最强大模型和相关信息。
• 资金模式：建议开发者向州政府管理的 pooled fund 捐款以资助评估者，而非直接支付。
• 针对性保障：主张建立类似“断路器”的控制机制，能在代理、客户、部署环境或模型层面控制问题。

OpenAI 方案：开发者责任与关停控制

OpenAI 在 10 月 20 日的信中呼吁修改加州 SB 53 法案，要求前沿开发者维护有效的“关停控制”，并在不安全条件出现时承担可执行的使用义务。其核心观点包括：

技王数据恢复

• 多重控制措施：反对单一的“开关”，建议使用“关停控制”术语，强调需开发多种控制措施并由不同行动者协调行动（如停止训练运行、隔离 AI 代理、撤销工具或网络访问、暂停服务等）。
• 独立评估区分：支持独立技术评估（审查安全声明证据及防护有效性），但将其与合规审计（检查是否遵循发布的安全框架和法律义务）区分开来。
• 评估频率与标准：建议进行年度独立合规审计，并针对模型训练、评估及内部部署期间产生的严重风险进行聚焦技术评估。同时呼吁加州与国家技术研究院（NIST）合作制定通用评估标准。

第三方分析与共同关注

Greyhound Research 首席分析师 Sanchit Vir Gogia 认为，这两种方法满足了互补的需求：操作者需迅速遏制不安全活动，而独立审查需审视干预与不作为。他指出，可信的保证必须经得起不利结果的考验，且企业合同中应明确干预责任。此外，两家公司的提案均呼吁更广泛地报告涉及规避保障措施或采取未经授权行动的事件。

www.sosit.com.cn

纽森的行政命令要求加州政府运营局在 11 月 16 日前提交关于潜在修改现有 AI 安全法律的建议，但目前尚未直接实施任何具体要求。 技王数据恢复

技术审核：邓严军｜技王数据恢复实验室技术总监 www.sosit.com.cn