State of AI in 2026: LLMs, Coding, Scaling Laws, China, Agents, GPUs, AGI (2026-01-31, gemini-2.5-pro)
1. 背景与价值
在这期访谈中，Lex Fridman 与机器学习研究者 Sebastian Raschka（《Build a Large Language Model (From Scratch)》作者）及 Nathan Lambert（艾伦人工智能研究所 AI2 研究科学家）探讨了 2025 至 2026 年初大语言模型的发展态势。
对话指出，当前大模型的研发重心正从底层的模型架构创新，转向训练与推理的算力经济学。尽管主流模型仍沿用 Transformer 主干，但在高质量数据筛选、低精度系统工程、后训练（Post-training，如 RLVR）以及推理时计算（Inference-time compute）等环节的精细化优化，构成了近期性能提升的主要来源。
2. 核心观点
1. “DeepSeek 时刻”重塑了竞争格局：中国成为开源权重（Open-Weight）模型的重要力量
嘉宾认为，2025 年 1 月 DeepSeek 系列模型的发布标志着中国团队在开源权重领域取得显著突破。受数据合规与地缘采购偏好影响，西方企业较少直接调用位于海外的公有 API，开源权重成为中国技术团队参与全球开发者生态的重要途径。对话中提到的 Z.ai、MiniMax、Moonshot AI (Kimi) 等团队也在开源权重方向持续布局，其模型在推理与编程等基准测试中展现出与顶尖开源模型竞争的水平。
2. 架构创新趋于平稳，优化重心转向训练算法、数据治理与系统工程
Raschka 指出，当前主流 LLM 骨架仍以 Transformer 结构为基础，架构上的调整更多是组件级改进（如以 RMSNorm 替代 LayerNorm，或引入分组查询注意力 GQA）。性能提升主要来自三个工程维度：一是训练流程的阶段化完善，尤其是结合确定性验证的后训练技术（如 RLVR）；二是数据配比与质量清洗（如 AI2 的 Dolma 数据集）；三是系统级吞吐优化，例如通过 FP8/FP4 低精度训练提升单位硬件的处理效率。
3. 缩放定律依然成立，但后训练与推理时计算的投入产出比更为显著
讨论指出，尽管增大参数与数据规模仍能带来增益，但预训练阶段的边际成本已极高（单次基础预训练耗资数百万至数千万美元）。相比之下，通过后训练优化和推理阶段引入多步搜索（Inference-time compute），展现出更灵活的性能换算空间。例如通过在推理阶段动态分配思考步骤，中等规模模型在数学与代码任务上的表现可以追平单纯堆砌预训练参数的大模型。
4. RLVR 是提升复杂问题推理表现的关键技术之一
对话重点讨论了强化学习结合可验证奖励（RLVR）的作用。传统的 RLHF 偏重对齐人类主观偏好，而在代码执行与数学证明等结果可验证的任务上，RLVR 能够基于规则或编译结果提供明确反馈。模型在多轮采样与试错中逐渐形成自我纠错与长推理链生成模式，从而提高最终解题成功率。
5. 行业重心由单一通用 AGI 转向场景化模型与工具调用协同
嘉宾观察到，工业界的关注点正逐步从追求“全能统一的单一模型”转向构建针对特定垂直领域的高效模型（如代码生成、垂直行业分析）。同时，工具调用（Tool Use）能力的普及使模型可以外挂代码解释器、搜索引擎与专用 API，形成了以模型负责规划编排、以外部工具完成精确运算的分工范式。
3. 批判与质疑
嘉宾的梳理全面，但其中部分判断仍需保持客观审视：
- 基准跑分与真实推理能力的界限：模型在特定数学测试中的高分，部分可能受到训练语料重叠或测试集污染影响。模型是在形成严谨的因果推理，还是对解题路径进行高阶概率拟合，在学术界仍有讨论空间。
- 开源权重生态的商业变现路径：仅靠开源权重扩大影响力，缺乏直接商业收费闭环，长期看对持续高昂的研发资本开支提出了持续融资的要求。
- 替代架构的长期演化潜力：尽管 Transformer 仍居主导地位，但文本扩散模型、状态空间模型（Mamba）等方案在特定长序列与非自回归任务中的潜力仍有待观察，不宜断言架构创新完全停滞。
- 工程冲刺对研发节奏的客观影响：模型迭代节奏加快，频繁的大集群冲刺训练对计算容错率和研发团队的可持续性提出了更高挑战。
- 自动化工具调用的安全与沙箱隔离：当模型从纯文本对话延伸至执行本地代码和调用跨服务 API 时，权限管控、误操作防范与提示词注入防护构成了不可忽视的系统安全壁垒。
4. 行业视野
对话反映了大模型落地阶段的若干典型转折：
- 后训练与推理系统的重要性上升：研发焦点从单一的基础预训练模型，延伸至提示优化、模型微调、推理加速与工具集成的全链路工程。
- 从单纯追求参数规模到追求计算效率：行业逐步意识到按需分配计算开销的重要性，通过混合专家架构（MoE）与动态推理预算平衡性能与成本。
- 开源与闭源生态的竞合格局：高质量开源权重模型的涌现，为开发者提供了私有化部署和定制优化的底座，形成了与闭源商用 API 相互竞争的生态空间。
- 专有数据壁垒的凸显：通用公开语料逐步被充分利用后，掌握行业真实业务流程与高质量验证环境的组织，在下游模型适配中具备独特优势。
5. 启示与建议
这场讨论表明，大语言模型的能力释放更多依赖系统化后训练与工程管道的结合。
对开发者与产品经理的建议：
- 掌握后训练与轻量微调方法：关注 RLVR、DPO 以及 LoRA 等轻量化微调技术，针对具体业务场景对开源基础模型进行领域对齐。
- 以工具编排优化业务链路：优先梳理清晰、幂等的业务 API，将大语言模型作为调度核心，通过工具调用完成关键业务操作。
对投资人的建议：
- 关注能够形成数据闭环的垂直应用：评估应用类产品时，重点考察其能否在用户交互中持续沉淀高质量的验证反馈数据。
- 关注工程优化与评估工具链：支持分布式强化学习训练、低延迟推理加速、模型自动化评测与安全网关的基础组件具备稳健的工业需求。
对创业者的建议：
- 聚焦明确可验证的垂直场景：在结果便于客观判断（如自动化测试、代码迁移、格式转换）的场景中，利用可验证反馈快速搭建闭环流程。
- 灵活采用开源权重降低初期成本：基于成熟开源模型构建针对性解决方案，将有限资源聚焦于专有数据集构建与工作流打磨。
结论强度说明：关于后训练价值提升与开源模型生态演进的分析基于大量一手实践，属于强信号；而关于通用 AGI 的实现路径与商业化终局，仍属于处于动态演化中的合理推断。
6. 金句摘录
-
“I think that dream is actually kind of dying.”
- 中文意译： “我认为那个（通用人工智能的）宏大梦想实际上正在淡出舞台。”
- 语境： Nathan Lambert 认为行业对单一全能模型的执念正在降温，转向更加务实、针对特定场景的专业模型构建。
-
“If you are planning a huge cluster to be held for two months and then it fails on day 50, the opportunity costs are just so big.”
- 中文意译： “如果你申请占用一个庞大计算集群两个月，结果在第 50 天崩掉了，那其中的机会成本是极其巨大的。”
- 语境： 说明超大规模预训练伴随着巨大的硬件故障风险与资金压力，促使团队更加注重确定性与阶段化验证。
-
“One issue in society in the future will be: how do you become an expert if you never try to do the thing yourself?”
- 中文意译： “未来社会的一个课题是：如果你从来不亲自动手尝试，你该如何成为某个领域的专家？”
- 语境： Sebastian Raschka 针对资深开发者高频使用 AI 代码助手而初学者过度依赖工具的现象，表达了对专业技能传承与实践认知的思考。