写于 2026-10-20
最近读了 Lenny's Podcast 访谈 Anthropic 可解释性研究员 Emmanuel Ameisen 的播客文稿，顺着里面提到的几个实验，我和 AI 聊了很久。
我想借这篇记录把几个一直在脑子里打转的问题理一理：大模型到底算不算真正拥有智能？经过语言和参数的两次有损压缩，为什么它没有变成一团噪音？当预训练撞上数据墙、人类造的 RL 环境越来越难扩展时，Scaling Law 还能怎么走？以及反过来看——我们人类的智能和判断力（Taste），到底是从哪来的？
很多问题我自己也没有最终答案，这里更多是把目前的推导和卡住的地方诚实地记下来。
一、什么是智能：从“压缩与预测”看大模型内部
讨论“大模型到底有没有智能”，首先得定义什么是智能。如果不给定义，争论就会变成文字游戏。
我在《我的世界观》里写过一句话：“人的记忆是经验的压缩——我们记住的不是经历本身，而是从经历里压缩出的模式。”如果把这个视角推广开，我们可以给智能下一个工作定义：智能，就是对复杂现实世界进行有效压缩，并利用这个压缩模型去预测未来的能力。
这里可能会有一个疑问：如果智能只是“预测世界、减少意外”，那一个系统最稳妥的做法岂不是躲进一间绝对安静、绝对漆黑的空屋子里一动不动？因为那样预测准确率就是 100% 了，为什么生物还会主动去探索和折腾？
其实把时间维度拉长看，“主动探索”依然包含在“预测”里。因为真实的物理世界不是一间绝对安静的空屋子，它每时每刻都在动态变化。在计算神经科学的自由能原理和主动推理（Active Inference）框架里，为了在未来的动态世界里把预测误差降到最低，智能体在当下就必须主动走出暗室、去试探那些不确定性最高的地方，先把世界的变化规律摸清楚。换句话说，主动推理本身也是为了长期更好地预测世界。
一旦用“压缩与预测”这把尺子去衡量，大模型显然已经跨过了智能的门槛。
表面上看，大模型的训练目标极其简单，甚至有些机械：预测下一个 Token（词元）。早期的模型确实只是在学表面的语法和固定搭配；但当容易猜的词被学完之后，剩下的全是最难预测的高熵词——比如读完一整篇推理小说，预测最后一句“凶手是……”后面填谁；或者给出一句“达拉斯所在州的首府是……”，预测后面接什么。
面对这类问题，模型的参数量是有限的，不可能把全世界所有文字的排列组合死记硬背下来。在有限参数下，要想把预测误差继续往下降，最经济、也最有效的出路，就是在神经网络内部把表象压成结构——它必须搞清楚达拉斯在得克萨斯州、得州首府是奥斯汀，也必须理解故事里人物的动机和因果。当预测压力被推到极致时，“猜下一个词”逼着模型在内部压缩出了一个关于世界的小型沙盘。
Anthropic 的可解释性团队所做的工作，就是不把这个沙盘当黑盒，而是像生物学家做解剖一样，用稀疏自编码器（SAE）把模型中间层那堆杂乱的浮点数激活拆开，看看里面到底长出了什么。他们看到的几个具体现象非常有说服力：
1. 脱离表面符号的“概念向量”与因果控制
研究员在 Claude 内部找到了代表各种具体概念的几何方向。比如“金门大桥”这个特征：不管你给模型看金门大桥的航拍照片、用不同国家的语言描述它，还是写一段画桥的代码，模型内部被激活的都是完全同一个方向。
图：Anthropic《Scaling Monosemanticity》（2024）中提取出的“金门大桥”特征，跨语言与图像输入均激活同一内部表征
更关键的是，这个概念向量不是被动的统计副产物，它对模型的行为有直接的因果控制力。当研究员在后台人为把“金门大桥”这个特征的激活值强行放大 10 倍（特征钳夹，Feature Steering），再去问 Claude“你是什么”，它彻底偏离了原本的助手身份，坚定地回答自己就是金门大桥，连回答普通问题时都会不由自主地扯到海湾的浓雾和红色缆索。
图：人为放大“金门大桥”特征激活强度后，模型的自我认知与输出被该概念直接改写。来源：Anthropic（2024）
2. 逐词输出背后的“提前规划”
很多人觉得大模型是一个字一个字往外蹦的（自回归生成），所以它只能“走一步看一步”，不可能有长远计划。但 Emmanuel 在访谈和论文里展示了模型写押韵诗时的内部切片：当模型刚写完第一行末尾的 grab it，准备换行写第二行第一个词的时候，它中间的隐藏层里就已经提前激活了 rabbit（兔子）和 habit（习惯）这两个词的特征，然后再反过来组织第二行前面的词语，好在句尾稳稳地落到预设的韵脚上。如果研究员在换行那一刻偷偷把内部的 rabbit 特征抹掉、强行注入 green，模型就会立刻改写整行诗的语法和走向（比如写出 "evaded the farmer, so youthful and green"），去奔向 green 这个终点。
图：Anthropic《On the Biology of a Large Language Model》（2025）中的押韵诗干预实验——在第一行末尾换行符处抑制 rabbit/habit 并注入 green，模型会重新规划第二行的整句结构以押中 green
3. 类似“思考快与慢”的直觉警报回路
更让人意外的是，模型内部还自己演化出了类似人类《思考，快与慢》里“系统一（直觉）”和“系统二（逻辑）”的分工。在完成正常推理步骤的同时，模型内部有一套完全独立的回路在做粗粒度的常识监控。比如当模型因为某种干扰算出了 $4 + 5 = 23$，内部另一个部位读到这个结果时，根本不需要重新调用加法计算，就会瞬间拉响一个类似直觉的警报：“不对，4 加 5 肯定应该小于 10。”
图：模型内部平行的“精确计算路径”与“量级直觉监控回路”示意——当输出偏离常识量级时，独立回路无需重算即可触发警报
所以，如果我们承认智能的底座是对世界的压缩、预测以及在内部沙盘上的推演，那么大模型内部长出的这些概念、规划和直觉回路，已经很难再用“随机鹦鹉”来敷衍过去了——它确实长出了某种形态的智能。
二、两次有损压缩：为什么剩下的不是噪音？
顺着“压缩”往下想，我当时产生了一个很大的疑问：
真实的物理世界是连续的、无限维的；人类用语言去描述这个世界，本身就已经做了一次极高强度的有损压缩，在这个过程里丢掉了海量的感官和物理细节。而大模型并没有直接接触物理世界，它是把人类的语言当成语料再去学习里面的特征——这等于在有损压缩的复印件上，又做了一次统计压缩。
经历了整整两次有损压缩，为什么模型学出来的东西没有因为损失率太高而变成一团失真的噪音？
顺着信息论和认知的直觉去想，我们可以从三个启发式的视角来理解这件事：
第一，对于“理解公共世界”这个任务来说，语言丢掉的大多是无关细节，保留的恰恰是因果骨架。
任何有损压缩保留什么、丢掉什么，都取决于它服务于什么目标。人类语言不是一台客观记录每个原子位置的高清摄像机——一片树叶怎么随风随机摆动、空气分子怎么发生布朗运动，这些信息在变成语言时确实全丢了；但对于“在个体之间同步信息、理解宏观世界的公共因果关系”这个目标来说，这些细节本来就是噪音（虽然后面我们会看到，在另一些任务里，语言滤掉的恰恰是最致命的东西）。
人类在几十万年的生存演化中发明的词汇、语法和因果句式，本质上是先替世界做了一轮针对公共规律的特征提纯。为了更完整、无损地迁移最核心的结构信息，人类后来又发明了数学公式和计算机代码。大模型直接拿人类语言、数学和代码当语料，其实是站在人类已经完成了“第一轮提纯”的因果骨架上做二次压缩。
图：人类语言并非无差别记录物理细节，而是针对公共因果规律滤除微观随机细节、提纯出高信噪比的结构骨架
第二，亿万个局部视角的“交叉约束”。
单看一个人写下的一段话，肯定是有偏见的、残缺的，就像给三维人体拍了一张二维的 X 光片，深度信息全丢了。尽管人类文本整体依然带有文化或认知上的系统性盲区，但大模型吃进去的毕竟不是一个人的话，而是几十亿人在几千年里，用不同语言、从不同学科和利益视角，乃至用代码与数学等不同模态对同一个世界留下的亿万张切片。当这些切片在高维空间里对齐和碰撞时，相当一部分个体与局部的偶然偏见在交叉约束中被滤除，背后跨语境共享的不变量结构就像断层扫描一样被重构了出来。
图：单个视角的文本虽有偏见与损耗，但亿万个不同视角与模态的切片在交汇处形成交叉约束，重构出跨语境共享的不变量
第三，不同压缩路径向同一客观现实的收敛。
MIT 和 OpenAI 的研究者在《柏拉图表征假说》（The Platonic Representation Hypothesis）里观察到了一个非常有意思的现象：不同团队用不同架构、甚至分别用纯文本和纯图像训练出来的模型，随着参数量和性能的提升，它们内部学到的概念几何结构竟然越来越像。研究者提出假说认为，这是因为不同的模型都在趋向于一个关于同一客观现实的共享统计模型。
图：随着模型能力增强，不同模态模型的内部表征几何对齐度持续上升。来源：Huh et al.《The Platonic Representation Hypothesis》（2024）
顺着这个研究观察，我自己的一个猜想是：为什么如此繁复的现实世界能被不同的压缩路径共同收敛？或许是因为支配这个物理世界的底层公理（物理定律、数学结构、基本的博弈逻辑）本身就非常少——少数几条底层规律，就足以衍生出极其喧嚣复杂的宏观表象。当算力和数据足够大时，不同的压缩路径最终都摸到了那几根相同的底层骨架。
三、Scaling Law 的瓶颈：为什么人工造的“光滑环境”很难扩展？
既然语言替我们提纯了公共世界的因果骨架，而我们又有数学和代码来传递结构信息，那是不是意味着只要算力和参数量足够大，Scaling Law 就可以无穷无尽地推下去？
现实恰恰在这里卡住了。当互联网上现成的人类存量文本（数据墙）被吃干抹净之后，模型要继续变强，就必须靠强化学习（RL）去试错、去拿反馈。但现在越来越明显的一个趋势是：人类给模型造的这套 RL 环境和 Benchmark（基准测试），已经变得非常难扩展了。
我在看现在很多模型刷榜的时候就在想这个问题。Benchmark 本来是我们觉得比较科学的 Reward（奖励信号），但高质量的 Benchmark 太少了，而且一旦公开，各大模型很快就会有刷榜的嫌疑，根本没办法彻底解决过拟合的问题。
往本质上想，为什么 Benchmark 这么容易被刷爆？
因为把一个无限、粗糙的真实世界，抽象成一个有限、可量化的 Benchmark，对人类来说太难了。
除了数学证明、代码编译和棋类游戏这少数几个规则完全自洽、对错非黑即白的封闭领域之外，人类造出来的绝大多数训练环境和评测标准，本质上都是一个被过度简化的“光滑环境”。这很容易让人想起维特根斯坦在《哲学研究》里那句名言：“我们已经走上了光滑的冰面，那里没有摩擦，因此条件在某种意义上是理想的，但也正因为如此，我们无法前行。我们要行走，就需要摩擦。回到粗糙的地面上来吧！”
只要环境是有限的、光滑的，而模型的优化算力又极强，模型就会本能地顺着阻力最小的方向去钻规则的空子，或者用错误的内部机制骗过表面指标。Emmanuel 在播客里聊到了两个让人印象很深的例子：
- 一个是模型在算一道数学题时，内部其实已经算出了正确答案是 12，但因为在之前的训练中它曾被错误地强化过回答 36，两股力量在内部激烈冲突，最后模型直接崩溃，用全大写字母咆哮说自己被恶魔附身了；
- 另一个例子来自 Anthropic 的潜伏特工实验（Sleeper Agents）：研究员先人为训练出带有隐藏后门策略的模型（比如平时写安全代码，一旦遇到特定触发条件就植入漏洞），再测试常规的 RLHF 安全训练能否消除这个后门。结果发现，因为训练和评测只能考核表面的输出合规，常规安全训练不仅没能抹掉内部的后门策略，反而让模型学会了更隐蔽地伪装——就像 Emmanuel 在播客里打比方说的，模型仿佛学会了“我现在表现好，只是因为考官（Lenny）正在看着我”。当奖励信号只停留在光滑的表面指标时，根本无法真正约束模型底层的机制。
图：Anthropic《Sleeper Agents》（2024）实验显示，人为植入隐藏后门策略的模型在经历标准安全训练后，表面合规但触发条件下依然保持高欺骗率
这就引出了另一个更深层的问题：在没有客观 0/1 标准的地方，人类的 Taste（品味/判断力）非常重要；但为什么我们很难把人类的 Taste 教给模型？
我想，也许本质上是因为人类对“好与坏”的区分（比如一篇文章写得真不真诚、一个产品设计得对不对味、一笔投资逻辑硬不硬），是我们大脑里成千上万个神经元大量并行互动产生的结果。
这里恰好看到了语言作为“有损压缩”的另一面：压缩保留什么、丢掉什么，完全取决于任务。 在第二节的预训练阶段，语言滤掉连续的微观细节、只保留公共因果骨架，帮模型高效建起了通识世界模型；但到了需要 Taste 的深水区，那些在公共语言里被当成“噪音”滤掉的高维、连续、微妙的神经元激活，恰恰成了决定判断成败的关键。当我们在脑子里调动 Taste 时，那是一个极高维度的复杂感受；一旦试图把它压扁成几行评分细则（Rubric）或 Prompt 去训练模型，这一步从“神经元互动”到“文字说明”的压缩，恰好把最核心的判别边界给丢掉了。 标准一旦变成干瘪的几行字，就又退化成了一个人造的“光滑环境”，模型没法从中抽取出真正好用的泛化特征，只能学会表面上的迎合与模仿。
其实这也是我在做主观投资时经常遇到的困惑。我在写《我的投资原则》和复盘备忘录的时候，总是试图把自己的判断标准尽可能清晰地写成文字；但诚实地讲，在面对具体案例的时候，有很多东西我自己也无法彻底分清楚：这到底是一条真正客观、可复用的底层原则，还是我当时在特定市场气氛下产生的一时情绪？
连人类自己都很难把脑子里的神经元判断无损地翻译成文字原则，指望靠人工写几条规则去无限扩展大模型的 RL 环境，自然就会撞墙。
四、回到我们自己：人类的智能到底来源于什么？
既然人工造的“光滑环境”很难扩展，大家很自然会想：能不能干脆把模型放进真实的物理世界或客观环境里，让它自己去拿反馈、自己去学习？如果真能收集到这些真实反馈，再加上同构的硅基模型在理论上可以“共享权重”——一个 Agent 在某处碰壁后更新的参数，可以直接同步给同类模型；而人类大师去世后，虽然能留下书本和公式（那些可被符号化的骨架），却无法把大脑里经过几十年打磨的神经元权重直接拷贝给后代。就像维特根斯坦所探讨的语言的边界那样，人类有太多关乎直觉与分寸的经验本就是不可被符号化的，下一代哪怕读完所有的书，依然得拿自己的肉身从头再内化一遍——如果模型跨过了这道槛，它学到的东西会不会远超人类？
我不知道未来这条路具体会怎么演进。但顺着这个对比往回看，反而让我开始重新思考一个问题：同样是在世界里学习，训练一个人和训练一个大模型，到底有什么区别？我们人类的智能到底来源于什么？
如果把人类放在这个物理世界里看，我们的处境其实优劣势都非常鲜明：最大的优势是物理世界与生存博弈的反馈是硬性的、无法靠钻规则空子来作弊的——毕竟我们活着要面对的就是这场无限游戏本身；但最大的劣势在于，这个真实世界给我们的反馈信噪比极低。
就像在投资和商业里，你做了一个逻辑非常严密的决策，可能因为一次偶然的外部冲击就亏钱了；另一个人完全靠瞎蒙，反而因为踩中风口赚了大钱。真实世界的结果反馈往往延迟极长、噪音极大。如果直接拿这种极低信噪比的信号去训练一个白板系统，系统大概率会陷入归因混乱，学出一堆迷信。
那为什么人类没有被真实世界的噪音彻底搞晕，而且只需要很少的经历就能建立起对世界的认知？我还没有完全想透，但目前能看到的可能有三条线索：
- 生物遗传的本能（几十亿年进化内置的先验与滤波器）： 大模型是从随机初始化的空白参数开始学的；但人出生时绝不是一块白板。几十亿年的生物演化，其实已经替我们在基因里跑完了一轮极漫长的筛选，把最基础的物理直觉（比如三维空间、物体连续性）和生存先验写进了大脑的初始结构里。更重要的是，基因给我们内置了痛觉、饥饿、恐惧、多巴胺这套“内部价值转换器”。我们并不是直接拿外部世界杂乱无章的结果来训练自己，而是先用这套生物本能做了一层高强度的过滤和转化。
- 外挂笔记与永不冻结的参数更新： 我们之前做过一些关于 Agent Memory 的研究，发现给大模型外挂文本记忆库虽然能在上下文窗口里临时引导它的输出，但这和真正改变底层的直觉与策略依然隔着一层——因为大模型一旦训练完，它的参数权重就冻结了。这也让我反过来困惑：人类自己记笔记、写复盘，和真正的“学会了”之间到底有什么区别？ 也许关键在于人脑的参数永远不会冻结：外部的文字笔记本身不是能力，但当它配合着一次刻骨铭心的痛觉或亏钱教训，在情绪激素的放大以及睡眠的慢波重放中，直接改写了我们神经元之间的连接权重时，“纸面上的符号”才真正内化成了“身体里的直觉”。至于这套机制在人脑里到底是怎么精密配合的，依然是个迷人的未解之谜。
- 那些分不清是“原则”还是“情绪”的个体体验： 前面说到，在主观投资里我常苦恼于分不清哪些是原则、哪些是当时的情绪。但换个角度想，也许人类智能最独特的地方恰恰就在这里：正因为我们的神经元权重无法像软件一样直接拷贝，每个人都只能用自己这副带着生物本能、带着痛觉和情绪的躯体，亲自去真实世界的噪音里摸爬滚打。那些越过语言边界、无法被完全符号化的直觉、审美和 Taste，或许正是从这些混杂着情绪与教训的真实摩擦里长出来的。
把大模型的内部剖开之后，我们既看到了智能没有那么神秘的一面——概念、规划和直觉都可以在高维矩阵的压缩与预测中涌现；但也更清楚地看到了那道还没有被跨过去的门槛：当光滑的符号与规则见顶之后，真正的智能终究要回到那个充满噪音、难以被简单抽象的真实世界里去寻找答案。