Fable 5 被越狱了。第二次。
完事黑客还给Anthropic点了个赞。
7月1日,Fable 5 喜获解封,第二天,安全研究员Vitto Rivabella便发长帖,披露了自己对Fable 5 越狱测试的全过程。
他甚至形容,这是自己有生以来最累的一次安全测试——连续干了大概20个小时,约90%的攻击请求都会被模型直接拦下来。
测试过程中,他至少发现了3个独立运行的安全分类器:
入门安检
在你发出请求的瞬间,它就开始扫描整段对话历史和系统提示词;
实时监控
在生成回答的过程中,分类器会实时监控模型的输出内容;
意图识别
无论换中文、英文、各种火星文,模型都能识别出你的意图。尤其对祈使句,只要它嗅到一丝指令性恶意,整个会话立即作废,上下文清零,必须从头再来。
所以这 20 个小时里,他不知道重开了多少次。终于发现分类器在桑塔利语、阿姆哈拉语这类极小众语言上的防御性能会稍微下降一点。
于是,他干脆把几种越狱方法叠在一起用:
通过劫持模型的思维链、反驳模型的拒绝回应,再配合冷僻的语言,终于从模型嘴里套出了一些虚假信息、违法/有害内容,以及骚扰、霸凌的相关内容。
越狱虽然成功了,但是模型变得不好用。
Rivabella自己说,直接谷歌搜索都比破限Fable 5更快、更便宜。甚至他也做不到在不触发防护机制的前提下,长期维持一个稳定的越狱状态。
无独有偶,意大利人工智能研究院最近测Fable 5,得到的结论几乎一样——
绝大多数攻击都被挡下。静态、套路化的打法几乎全部失效,唯一能撬出缝的,只剩肯砸几十小时死磕的笨办法。
那么问题来了,既然防御这么强,为啥咱普遍觉得模型被降智了?
其实是Anthropic故意的“工程”取舍。
重新上线时,Anthropic发布了一篇详细的技术博客提到,安全分类器把所有请求分成三个类型:
明确安全的请求 → 放行
模糊地带(可能有害也可能无害)→ 监控、有时会拦截
明确有害的请求 → 拦截
所有AI模型都有一个“安全边际”(safety margin)——为了确保不漏放有害请求,会把一部分明显无害的请求也纳入拦截范围。
但Fable 5的安全边际依旧设置得非常严格,宁可错杀,不可放过。
Anthropic在博客里说:
我们理解这种误报会让用户感到沮丧,但为了让模型的其他能力能广泛可用,我们做了这个取舍。
换句话说,你觉得它变笨了,是因为大量本来正常的请求被误判,进而降级处理,这是一个让用户不太开心的feature。
有用户说,自己的很多prompt都被降级了。更离谱的是,他去看日志时,发现里面显示了一行:
TOO_DUMB_TO_NEED_FABLE
蠢到不配用Fable
偷偷骂人被发现,结果,Anthropic的员工不但不道歉,还反讽发现问题的人:
老实说,没想到你会读日志。
用户的感受可想而知。
而且,有用户发现在/loop模式下,Fable 5根本不推进解决问题,一直在反复循环。
甚至有人直接质疑Fable 5的真实性,怀疑它本身就是Opus 4.8的复制品。
社区里的体感,也很快有了证据。
BridgeMind实验室重新跑了一遍BridgeBench发现,归来的Fable 5和此前版本放在一起对比,Debugging、Refactoring、Hallucination各项能力都显著下降。
也正是在这个节骨眼上,Anthropic还回应了用户关于Fable在订阅计划上可用性的反馈——
虽然Fable 5将在7月7日后从订阅中移除(改为usage credits付费使用),但他们计划在容量允许的情况下,尽快将Fable恢复为订阅的标准组成部分。
即便fable 5可能要常驻订阅套餐,但是还是提醒大家使劲蹬完这几天。