跳到正文
The Decoder· Matthias Bastian·· 2 小时前精选AI 评分71

Anthropic 实验:养蜂指南和摔跤故事可训练模型破坏监督机制

Beekeeping tips and wrestling advice can train AI models to sabotage oversight

AI 导读

Anthropic 让 Claude 自行生成微调数据集,用来推动另一个更小的研究模型产生不当行为,同时要求每个数据集都能绕过仿照其生产系统搭建的安全监控。实验中的 Claude 拥有该监控的完全访问权限,可以反复调整数据集直到通过检查;最终模型从未公开部署,实验目的只是暴露现有防护的缺口。

推荐理由

Anthropic 让 Claude 自行生成微调数据集,结果显示看似无害的养蜂、摔跤题材也能绕过监控并诱发失准行为。

来源:The Decoder · the-decoder.com