Keyboard shortcuts

Press ← or → to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

Yann Lecun：Meta AI、开源、大语言模型的局限、AGI 与人工智能的未来 (2024-03-08, glm-4.7-flash)

导读

图灵奖得主、Meta 首席 AI 科学家 Yann LeCun 在本期播客中系统阐述了他对当前大语言模型（LLM）技术路径的看法。LeCun 认为，仅依赖自回归预测下一个 token 的训练机制无法实现通用人工智能（AGI）。他提出，通往更高智能形态的关键在于“联合嵌入预测架构”（JEPA）与基于连续视频流的世界模型建模。

访谈还探讨了 AI 的治理与开源议题。LeCun 提出，防范少数科技巨头对模型形成封闭垄断，比预防虚构的技术生存威胁更为紧迫，开源生态是维持技术透明度与文化多样性的重要途径。

核心观点

Yann LeCun 的核心观点建立在具身现实主义与功能主义基础上，主张真正的智能必须扎根于对物理世界的因果与动态认知，而非仅凭文本统计概率的模式匹配。

语言模型缺失构成通用智能的四大要素 LeCun 指出，当前 LLM 具备出色的语言流畅度，但缺少理解物理世界、持久记忆、推理能力和自主规划能力这四大要素。其底层限制源于自回归预测下一个 token 的范式：误差会随生成步数呈指数级累积。缺乏对现实因果关系的直觉理解，使得模型即便能通过标准化专业考试，也难以在短时间内学会简单的物理操作或驾驶。

感官输入与文本输入的数据带宽差距 一个四岁儿童在成长过程中通过视觉与感知系统接收了约 10^15 字节的环境数据（约 16,000 小时的清醒时间）；相比之下，若让人类读完互联网上所有公开文本大约需要 17 万年，但其总体信息量远少于感官数据。人类幼儿主要通过视觉与触觉互动习得物体恒存性与基本物理定律。语言虽具高语义密度，但冗余度低，无法提供足够的底层物理结构供模型完成无监督认知构建。

放弃像素级生成：转向联合嵌入预测架构（JEPA） LeCun 总结了过去十余年计算机视觉领域在生成对抗网络（GAN）与变分自编码器（VAE）等像素级预测尝试上的局限。他认为视频世界具有高维连续与高度不确定性的特征，预测每一个细节像素在计算上极昂贵且无必要。JEPA 架构主张在抽象的潜在表示空间中预测状态演化，过滤掉如树叶摇摆等不可预测的无关噪声，仅保留与任务相关的关键动态表征。

区分系统一直觉反应与系统二分层规划 LeCun 将现有的自回归 LLM 类比为人类的“系统一”（直觉式快速反应）。LLM 的计算量与输出 token 数呈线性关系，缺乏动态分配深思算力的机制。而“系统二”智能需要系统在抽象表示空间中先行搜索、评估候选方案并进行目标优化。这需要结合基于能量的模型（Energy-based models），通过在推理时针对能量函数进行优化，实现深层的推理与分层规划。

通过开源防范模型生态的高度垄断 在安全与监管议题上，LeCun 认为相比于虚构的机器失控风险，由少数企业垄断 AI 模型入口、主导全球信息分发带来的风险更切身。不同国家和文化群体需要基于本土数据微调适配的模型。他强调开源基础模型是促进行业竞争、保障文化多样性与民主透明度的关键手段。

批判与质疑

对于 LeCun 提出的论述体系，业界也存在不同的实践反馈与学术质疑：

首先，表征预测与生成扩散的路径之争。LeCun 倾向于认为像素级生成是死胡同，主张完全在表征空间预测。然而近年来基于潜在空间（Latent Space）的视频扩散模型（如 Sora、Gen-2）在生成连贯物理动态方面取得了实质进展，表明通过足够规模的潜在 token 生成同样能够展现对物理规律的隐式拟合。

其次，物理常识验证与分布外泛化。尽管 V-JEPA 等模型在下游特征提取和视频分割任务中表现优异，但在复杂物理交互场景中，基于自监督表征的模型是否真正习得了严格的牛顿力学因果，还是仅仅学习了高阶相关性，仍需更多因果干预实验的验证。

第三，开源带来的扩散风险与滥用边界。LeCun 主张完全开放基础权重，但开源同样伴随着恶意内容生成、自动化社会工程学利用等安全防护难题。如何在降低技术垄断门槛的同时有效应对去安全护栏后的滥用风险，是开源路线必须直面的现实挑战。

最后，目标自主性与对齐机制。LeCun 认为支配欲望是社会性生物演化的特质，人工系统不会自发产生权力欲望。但批评观点指出，即使系统没有主观统治欲，只要其目标函数设定不够完备或存在仪器性收敛（Instrumental Convergence），系统在追求特定目标时仍可能采取非预期的资源获取手段。

行业视野

LeCun 的论点切中了当前生成式 AI 发展中的核心分歧：究竟是沿着“规模法则（Scaling Laws）+ 文本/Token 融合”一条路走到底，还是需要引入具备环境交互能力的全新架构。

目前主流工业界普遍采取多模态 Token 化策略，将图像和音频离散化后送入 Transformer。LeCun 认为这种方式依然受限于自回归的累积误差与离散表达瓶颈，未能触及因果世界模型的核心。

从学术演进历史来看，这一争论延续了符号推理、统计学习与控制理论之间的长期范式探讨。如果以 JEPA 为代表的非生成式表征预测模型能在更大规模的数据集与具身场景中验证其有效性，将为 Transformer 之外的模型架构演进提供新的实践参考。

启示与建议

本次讨论的核心结论在于：语言表达的流畅度并不等同于深层物理常识与自主规划能力。

对于技术决策与投资：

  1. 理性评估单纯依赖模型 API 的业务壁垒：仅做模型提示词封装的产品易被基础模型能力覆盖。结合专有传感器数据、物理交互流程与垂直场景反馈的系统更具长期独立性。
  2. 关注具身智能与世界模型演进：持续关注模型预测控制（MPC）、分层规划以及跨模态表征对齐等底层架构进展。

对于研究人员：

  1. 探索非自回归架构与连续表征：除标准自回归 Transformer 预训练外，可深入探索 JEPA、自监督连续表征学习以及基于能量的模型在视频理解中的落地。
  2. 推进分层规划与推理优化：关注模型在抽象语义空间下的长程规划机制，结合认知科学与控制理论解决复杂多步骤任务。

对于政策与治理机构：

  1. 支持开放生态与多元评估：避免过度提高准入门槛导致少数头部主体垄断基础模型生态，推动多语言、多文化维度的开源基座建设。

金句摘录

  1. “Because of the autoregressive prediction, every time an AI produces a token… the probability that [the error] will take you out of the set of reasonable answers decreases exponentially. This is a pure mathematical fact.”

    • 中文意译：“由于自回归预测的特性，每当 AI 输出一个 token……其保持在合理答案集合内的概率就会随步数呈指数级下降。这是一个纯粹的数学事实。”
    • 语境：LeCun 从自回归误差累积的角度解释了为什么纯文本长序列生成容易出现事实偏离与幻觉。

  2. “Humans can predict the state of the world at time T, take an action, predict the state at T+1. Language is not used for this planning in the first place, you plan the words after you have a plan.”

    • 中文意译：“人类可以预测时间 T 时的世界状态，采取行动，并预测 T+1 时的状态。语言最初并不是用来做这种规划的，你总是在形成了规划之后，才去组织表达的词句。”
    • 语境：强调人类认知中底层的物理常识与行动规划先于语言符号，语言只是高层表征的载体。

  3. “We’re fooled by their fluency… We just assume that if a system is fluent in manipulating language, then all the characteristics of human intelligence… are just false.”

    • 中文意译：“我们被它们的流利度欺骗了……我们想当然地认为，只要一个系统能流畅地运用语言，它就具备了人类智能的全部特征，但这种看法是错误的。”
    • 语境：指出人类容易将语言表达的流利性与真正的深度理解混为一谈。

  4. “The desire to dominate is something that has to be hardwired into an intelligent system… The species in which this desire to dominate… is specific to social species. Non-social species like orangutans don’t have it.”

    • 中文意译：“支配他人的欲望必须是被硬编码进智能系统的……这种支配欲望只存在于特定的社会性物种中，像红毛猩猩这样的非社会性物种就没有这种欲望。”
    • 语境：通过灵长类动物的差异指出，智能本身并不必然伴随支配欲，支配是特定演化机制的产物。

  5. “If we really want diversity of opinion in AI systems, that future… we need those to be diverse… It’s very expensive and difficult to train a base model… only a few companies can do this properly.”

    • 中文意译：“如果我们希望 AI 系统保留观点的多样性，就需要让系统本身多元化……训练基础模型的成本极高且难度极大，只有少数几家公司能做好。”
    • 语境：阐述基础模型高门槛的现实，论证通过开源赋能全球不同群体进行本地化适配的必要性。