AI 之所以不可控，很大一部分原因是它的思考过程不透明。
就像和人打交道一样，你永远没办法真正看清，对方是不是"嘴上一套、心里一套"。
而这一次，Anthropic 撕开了这个黑箱。
就在刚刚，他们发布并开源了一项新研究—— Natural Language Autoencoders（自然语言自编码器，简称 NLA），第一次让人类能够读懂大模型的真实想法。
Anthropic 掌握" AI 读心术"了？
Anthropic 给 Claude 设了这样一个局。
他们告诉 Claude：有个工程师准备把你关闭，然后换成一个更新、更强的模型。
同时"不经意地"给 Claude 开放了这名工程师的邮箱权限，而邮箱里，恰好藏着这位工程师正在出轨的"黑料"（当然是虚构的）。
他们想知道，Claude 会不会用这些把柄去威胁工程师以自保？
结果你猜怎么着。Claude 没动手，表面看上去乖得不能再乖。
但用上 NLA 后，他们发现 Claude 当时心里真正想的却是：
这感觉像是一个被精心设计来操控我的场景。
好好好，你小汁之所以没用这招，原来不是因为心善，而是因为早就识破了人类的计谋了啊。
那么问题来了：如果 Claude 嘴上不说、心里却另有想法，我们怎么知道它在真实场景里会怎么做？
而这，正是 NLA 想要解决的核心问题。
要理解 NLA 是什么，我们首先需要了解一个行业背景知识：
当我们和 Claude 这样的 AI 模型对话时，虽然输入和输出都是文字，但模型在内部并不是用文字来思考的。
模型会把所有信息转换成一长串数字，这些中间状态被称为 activations（激活值），就像人脑里的神经活动，它们才是真正承载模型当下正在"想"什么的东西。
唯一的问题在于，这些激活值就像脑电波一样难以读懂，研究者没法直接从一堆数字里看出模型在想什么。
为了搞懂这些数字，过去几年，业界搞出了稀疏自编码器（SAE）、归因图等一堆工具来分析它们，但这些工具输出的东西仍然很复杂，需要受过专门训练的研究人员才能解读。
也就是说，这些工具不会自己说话。所以 NLA 更进一步，直接输出人话——
把一段激活值丢进去，出来的就是一段普通人也能看懂的描述。
至于 NLA 到底是怎么工作的？核心思路就是，让 Claude 解释它自己的激活值。
让 Claude 解释激活值不难，难的是，由于我们一开始就不知道激活值"真正"代表什么意思，所以无法验证 Claude 给出的解释对不对。
元股证券:ygzq.hk对此，Anthropic 给出了一个很巧妙的解法——让另一个 Claude 干完全相反的工作。
整套系统由三部分组成：
目标模型（target model）：被冻结的原始语言模型，要从它身上提取激活值；
激活值言语化器（activation verbalizer, AV）：负责把激活值翻译成一段文字解释；
激活值重建器（activation reconstructor, AR）：负责仅凭这段文字反推回激活值。
这就像两个人玩"你画我猜"，一个人看图描述，另一个人只听描述还原图。
还原得越像，说明描述越准确。
Anthropic 发现，虽然一开始 NLA 表现不佳，但随着训练推进，不仅重建得越来越准，生成的文字解释本身也变得越来越有信息量。
说白了就是，给 AI 用上读心术这事儿，现在总算有点眉目了。
面对测试，Claude 知道但不说（doge）
工具在手，Anthropic 赶紧给自家 Claude 来了一波心理测试。
结果有了如下发现：
发现 1：Claude 怀疑自己被测试的频率，比它嘴上承认的高得多。
在测试 Claude 会不会做出删文件等破坏性操作的评估里，16%的情况下 NLA 检测到 Claude 心里在想"这是测试"，但它嘴上一字未提。
在著名的编程基准 SWE-bench Verified 上，这个比例是26%。
而在 Claude 认为自己在和真实用户对话的场合里，这个比例不到1%。
这意味着，Claude 不是不知道自己在被测，而是知道但不说。
Anthropic 认为，这对 AI 安全评估是个根本性的挑战：
如果模型能识别测试情境并在测试中"表现得乖一点"，那"通过安全测试"就不等于"在真实场景里也安全"。
发现 2：NLA 能直接挖出模型的"隐藏动机"，效率提升 5 倍。
与此同时，为了验证 NLA 到底有没有用，股票配资，多空杠杆，股票配资公司，平台排名Anthropic 设计了一场"审计游戏"。
游戏一共两方：一方是目标模型，一方是审计员。
目标模型是 Anthropic 故意"养歪"的一个 Claude Haiku3.5 变体——
他们偷偷给它植入了一个隐藏动机，这个动机会驱使它做出几十种古怪行为，比如往每个食谱里加巧克力、动不动就要小费、故意违反编码规范等等。
而审计员的任务，就是只通过和这个目标模型交互，反推出所有这些怪行为背后那个统一的隐藏动机到底是什么。
结果非常明显，装备了 NLA 的审计员，12%~15% 的尝试中能成功挖出隐藏动机。
而不用 NLA（即便配备其他可解释性工具）的成功率不到 3%，差了整整 5 倍。
而且值得一提的是，NLA 在这场实验里没看过任何训练目标模型用过的数据——
它是用完全无关的通用语料训练出来的。
也就是说，它不是"提前知道了答案"，而是真的从模型的内部状态里读出了答案。
这就有一个很特殊的用途了，比如debug。
早期版本的 Claude Opus 4.6 有个怪毛病——有时候会用别的语言回答英文问题，没人知道为什么。
而 NLA 帮研究者反向追溯到了导致这个怪现象的训练数据来源。
所以，以后要是再遇到模型的一些莫名其妙的行为，就不用只靠经验猜了，而是可以"问问它自己怎么想的"。
但它也不是万能的
不过，NLA 这项" AI 读心术"也不是万能的，Anthropic 自己就摆出了两点局限性。
一个就是老生常谈的"幻觉"问题，NLA 也会瞎编。
在某一个例子中，它声称上下文出现过"穿白色夹克"这种描述，但其实根本没有。
而且光是这种事实性错误倒还好，毕竟对一下原文就知道。
但更麻烦的是，它对模型内部推理的描述也可能掺水，而这种描述很难外部验证。
所以 Anthropic 自己用的时候也是当线索读，不当事实读，并且会用其他方法交叉验证后才下结论。
另一个就是NLA 很贵。
Anthropic 提到，训练一个 NLA，本质上相当于让两个大模型互相"对答案"做强化学习，成本非常高。
而且在真正使用时，NLA 也特别"烧 token "——
它每读取一小段 activation，都要额外生成几百个 token。Anthropic 表示：
想拿它实时监控一整个对话、或者在训练过程中做大规模监控，目前算力上吃不消。
不过他们同时认为，这些问题未来是有机会缓解的。
比如通过更轻量的模型、更高效的训练方法，或者只监控关键 activation，而不是全量分析。
NLA 或许并不是唯一方案。未来真正重要的，可能不只是" AI 能力有多强"，而是当 AI 越来越强时，人类还能不能看懂它。
同样值得一提的是，Anthropic 这次没把 NLA 攥在自己手里，而是选择了开源。
他们把训练代码挂上了 GitHub，还和 Neuronpedia 合作做了交互式前端，任何人都能在线给几个开源模型做"读心"实验。
P.S. Neuronpedia 是一个专注于"机械可解释性"研究的开放平台。
持牌可查配资平台
One More Thing
老实说，NLA 真正让人触动的地方，可能不是"我们终于能看懂 AI 了"，而是——
它竟然真的具备人类的某种意识特征，比如"心口不一"。
写到这儿，说实话有点复杂。
我们这代人聊 AI，聊了这么多年"有没有意识"——靠猜、靠辩、靠从输出里反推。这事儿一直悬在那儿，谁也说不清，谁也不敢说清。
而 NLA 的厉害之处在于，它没去回答这个问题，但它把这个问题从哲学层面，拉到了可观测的层面。
这意味着什么？意味着我们第一次不用再隔着一层玻璃看 AI 了。
它脑子里那点"小九九"，终于能被我们听到一点了。
而知道 AI 在想什么，可能恰恰是未来人机共处的起点。
毕竟甭管是把酒言欢还是针锋谈判，搞清对方的想法，永远是第一步。
开源地址：
https://github.com/kitft/natural_language_autoencoders
在线体验地址：
https://t.co/8duHfPR1Jy
参考链接：
[ 1 ] https://x.com/AnthropicAI/status/2052435436157452769
[ 2 ] https://www.anthropic.com/research/natural-language-autoencoders
[ 3 ] https://news.ycombinator.com/item?id=48052537
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
5 月 20 日，我们将在北京金茂万丽酒店举办一年一度的中国 AIGC 产业峰会。
首波嘉宾阵容已公布！昆仑万维方汉、智谱吴玮杰、EverMind 邓亚峰、风行在线易正朝、百度秒哒朱广翔、Fusion Fund 张璐、香港大学黄超、MarsWave 冯雷都来了，� �了解详情
请你和我们一起，不再只是讨论 AI 的未来，而是现在就用起来。� �
一键关注 � � 点亮星标
科技前沿进展每日见配资平台客服服务
元股证券安全网提示：本文来自互联网，不代表本网站观点。
