Terence Tao: Nobody Understands Why AI Actually Works (2025-12-31, deepseek-chat)
1. 导读
Terence Tao 在本期节目中讨论了一个核心问题：为什么我们最成功的数学工具，越来越无法解释自身为何有效？
从大型语言模型的“黑箱”到物理学中未被解答的深层问题，Tao 指出：我们拥有大量极其有效的数学方法，却对它们的边界与失效条件知之甚少。这不仅是数学家的困境，也是整个现代知识体系共同面临的挑战。
2. 核心观点
Tao 认为，当前 AI 的不可理解性、物理学理论的过度灵活以及教育体系验证能力的缺失，共同指向一个根源：人类擅长发明数学工具，却不擅长理解这些工具的适用边界与局限。他的反思主要集中在技术与工具的信任机制上。
“当前 LLM 的根本问题是概率性而非确定性” Tao 指出，大型语言模型的核心缺陷不在于会犯错，而在于无法判断自己是否出错。他类比道：就像一个紧张的学生在黑板上即兴发挥，“可能对，可能错，但一旦偏离轨道，会错得极其离谱。” 这种不可靠属于架构性特征，因为大语言模型本质上是概率生成器，而非确定性推理机。Tao 特别强调，即使它们能生成看似连贯的“思维链”解释，这些解释也可能缺乏事实依据。
“数学语言的高效压缩，是它与物理世界重合的原因” 这是对 Wigner 著名论点“数学在自然科学中不可思议的有效性”的解释。Tao 认为，数学之所以有效，恰恰因为它不是自然语言——它被优化为“对宇宙的最优压缩描述”。数学语言经过长期演化，剔除了冗余与情感色彩，只保留精确结构。例如，爱因斯坦发现广义相对论可以用黎曼几何描述，是因为两者都追求用简洁的数学模型拟合广泛的观测事实。从这个视角来看，压缩效率越高，越接近物理本质。
“高维几何中，人类直觉容易出现系统性偏差” Tao 举例说明：在 1000 维空间中，一个内切球体只占据对应立方体体积的 0.0001%；而在二维或三维中，这个比例可达 50% 至 75%。这对现代数据科学有重要影响：当你用“误差球”来衡量高维数据的准确性时，球和立方体的体积差异会急剧放大，误差估计可能相差数个数量级。高维空间的反直觉现象，正是当前 AI 和信号处理中部分意外成败的数学根源。
“AI 的优势在于规模化解决长尾中等难度问题” Tao 认为，人类数学家倾向于聚焦高价值、高优先级的重点问题，比如千禧年大奖难题。但数学和科学中存在一条长尾：包含数百万个重要但因人力有限而被搁置的中等难度问题。AI 在此处的优势在于处理规模而非顶层洞察。即使 AI 只能解决其中 10% 的问题，也能推动 10 万个具体问题的解决。
“验证能力将取代记忆成为更关键的技能” 这是 Tao 对教育方向的判断。过去低质量信息通常伴随较差的排版或语法，读者容易识别；而 AI 生成的内容往往表面流畅规范，却可能包含根本性错误。这意味着教育重心需要从“获取知识”逐步转向“批判性验证”。例如已有教学实验直接向学生提供 AI 生成的推导或答案，训练学生找出其中的漏洞与错误。
“数学研究的组织与协作方式需要现代化” Tao 提到自己的研究兴趣正转向数学的工作流创新，探索数学如何被创造、协作与传播。数学研究长期依赖纸笔和小团队合作，技术语言门槛高；相比之下，高能物理等领域早已习惯数千人规模的协作。这种传统的协作形态，使得数学界在吸收数据科学等交叉领域问题或利用 AI 工具时面临机制性障碍。
这六个判断串联起一个逻辑链条：从 AI 的不可靠性根源（概率性架构），到数学与物理契合的压缩机制，再到高维几何的直觉陷阱、AI 的长尾应用定位，最终延伸至教育与学术协作方式的演进。
3. 批判与质疑
Tao 的观点体系逻辑清晰，但也存在一些可探讨的局限：
首先，他对大语言模型“概率性输出”的批评固然切中要害，但在实际科研场景中，人类研究者的探索同样带有启发式与试错性质，人类直觉也常有疏漏。两者的核心区别在于纠错机制与验证手段，而非绝对错误的有无。如果以教科书式的完美严谨性来对比 AI 的缺陷，可能简化了人类探索本身的复杂性。
其次，对于数学与物理“重合”的压缩解释，回避了一个前提：为什么客观物理世界本身是能够被高度压缩和数学化的？这依然触及 Wigner 问题的本质——Tao 说明了数学工具的压缩属性，但并未回答物理世界具备这种可压缩性的深层机理。
第三，对于利用 AI 批量解决长尾中等难度问题的设想，在现实中可能受限于验证成本。每个中等问题通常包含特定的边界约束与上下文语义；若 AI 的产出依然需要领域专家逐一审查，大规模验证所耗费的精力可能削弱规模化生成的收益。
此外，如果 AI 的不可靠性源于概率生成，那么当 AI 也被用来辅助验证时，如何防范“看似严谨的伪验证”也是一个尚未彻底解决的技术难题。
4. 行业视野
Tao 的论述与当前技术讨论有几个呼应点：
与可解释 AI（XAI）的呼应：Tao 所指出的“知其然不知其所以然”，与工业界对模型可解释性的追求相一致。不过大多数讨论立足于安全合规与商业落地，而 Tao 则从数学角度指出：我们目前缺乏针对“部分结构化数据”与介观涌现现象的完备理论，因此难以先验预测大模型的性能边界。
与理论物理困境的参照：Tao 提及模型过于灵活的问题，类似于高能物理与宇宙学中某些理论面临的不可证伪性争议。当数学模型越来越脱离可直接观测的实验时，更需要厘清模型建构与物理事实之间的界限。
与教育转型的历史类比：验证能力的重要性上升并非全新话题。正如计算器普及改变了算术心算的教学侧重、搜索引擎改变了死记硬背的价值，大模型的出现促使教学从“生成标准答案”向“审查与调试推导过程”转移。
5. 启示与建议
对话呈现了一个核心转变：专业能力的权重正从“快速给出答案”转向“准确判断答案的可信度”。
针对 AI 研究与工程团队： 不能仅凭流畅的“思维链”输出就判定模型具备可靠推理能力。在生产系统中，需要保留独立于模型本身的验证环节，如形式化验证、确定性规则校验或专家审核。避免将训练集内的良好表现无条件推论到复杂未见任务上。
针对技术投资与创业者： 除了追求替代顶尖专家的通用模型，长尾中等复杂度任务同样具备现实商业价值，例如测试用例补充、标准化代码转译或特定文档审查。这类场景的关键在于将单点人工处理的高成本转化为规模化自动处理，同时保持可控的校验成本。
针对教育工作者： 教学重心可增加“批判性纠错”训练。例如提供 AI 生成的推导过程，让学生识别其逻辑断裂、概念混淆或幻觉漏洞。评价维度从单一的“结果是否正确”扩展至“推导过程的严密性与验证方法”。
在这些讨论中，关于大语言模型架构层面的概率局限和教育体系重视验证的趋势，具备扎实的技术与事实依据；而关于数学协作机制的具体演化路径，仍属于探索阶段的构想，需要后续实践检验。
6. 金句摘录
“The big weakness of these AIs right now is that they can begin to produce output that looks like say a human mathematician reasoning their way through a problem, but it’s not grounded that it’s probabilistic.” “这些 AI 最大的弱点是，它们能生成看起来像人类数学家推理过程的输出，但这不是有根基的——它是概率性的。”
—— Tao 在对比 AI 与人类数学家的信任基础时所说，指出大语言模型的核心问题在于无法感知自身是否犯错。
“The mystery is not so much how they run… but what is surprising is that it works really well for certain tasks, and it doesn’t work well for others. And we don’t know in advance.” “谜题不在于它们如何运行……令人惊讶的是，它对某些任务效果极好，对另一些任务完全不行。而我们事先无法知道。”
—— Tao 解释 AI 复杂性时所说，说明当前对模型的理解多基于经验观察而非完备理论。
“We don’t have good mathematics for partially structured objects… It’s analogous to physics — at the meso scale, there’s lots of intermediate structures, like biological cells. It’s emergent.” “我们没有关于‘部分结构化对象’的好数学理论……这类似于物理学中的介观尺度——有很多中间结构，比如生物细胞。这是涌现现象。”
—— Tao 解释为何难以先验预测 AI 行为，用介观结构类比说明缺少中间尺度的理论描述。
“The way we’ve done mathematics has not changed fundamentally in centuries. You know, we still work with pen and paper… Our collaborations are still very small.” “我们做数学的方式，几百年没有根本变化。依然是笔和纸……合作规模依然非常小。”
—— Tao 描述自己对数学协作方式的研究兴趣时所说，指出了数学界长期以来的小团队组织传统。
“One thing that will become more important is students will need to have much more training in how to validate information that they see… our ability to produce high-quality presentation has far outpaced our ability to produce high-quality content.” “有一件事会变得更重要：学生需要更多训练来验证他们看到的信息……我们生产高质量呈现的能力，已经远超我们生产高质量内容的能力。”
—— Tao 对教育重点演变的判断，强调在表面呈现越发精致的环境中检验实质内容的重要性。