文章转载于新智元

GPT-4.5出世一个多月，鲜有人知其背后研发故事。

今天凌晨，奥特曼与三位核心研究员在线开启播客对谈，首次揭开了GPT-4.5从愿景到现实的史诗级突破。

早在两年前，OpenAI团队定下了一个大胆的目标，打造一款比GPT-4聪明10倍的模型。

这不仅意味着LLM性能提升，更是对计算、数据、协作的极限挑战。

从左到右：奥特曼、Alex Paino、Amin Tootoonchian和Daniel Selsam

如今，OpenAI在2月底正式交卷，GPT-4.5情商堪称所有模型最强的，并再次Scaling无监督学习的边界。

这款「超级模型」究竟如何创造智能奇迹，全部浓缩在了这45分钟的圆桌对谈中。

一些精彩亮点：

GPT-4.5比GPT-4聪明10倍，研发用时2年，拥有上一代不具备的微妙「魔力」

训练GPT-4.5为OpenAI提供了宝贵的技术经验；现只需要大约5名员工，就可以从头开始训练GPT-4

算力基础设施和大规模GPU扩展带来的小概率问题会捅出大乱子

数据效率成为关键瓶颈，OpenAI下一个主要研究前沿是提高数据效率

「torch.sum bug」等趣事推动模型性能飞跃。

Scaling Law被验证为可能长期有效的「宇宙规律」

1

GPT-4.5聪明10倍

奥特曼开篇说，通常他们开这种会都是为了发布新产品，不过这次打算换个玩法，聊聊GPT-4.5开发背后的故事。

GPT-4.5推出后，用户对它的兴趣特别大，这大大超出了研发团队的预期。

他们首先从「一个巨型模型到底需要什么？」这个话题说起。

「一大堆人、一大把时间，还有海量的计算资源。」主要负责预训练数据的Alex回答说。

Alex表示，他们光是准备阶段就花了很多心思，至于正式的训练，「本身就是个超级大的工程」。

在实际训练中，研究团队经常得做选择：是推迟发布，等更多问题解决；还是早点上线，边跑边解决问题。

这是个平衡，不能让整个训练过程拖得太久。

他们谦虚地认为，对于效率更高的算法及以如何更好地利用现有数据，他们还只是「略知皮毛」。

在不久之前，我们还在受限于算力。但从GPT-4.5开始，我们更多地是处在一个受限于数据的环境里了。

他们说这是一个颠覆性的进展，「整个世界对此还没有充分认识到。」

两年前着手开发GPT-4.5时，他们的目标是比GPT-4聪明10倍。

现在，他们觉得自己达到了这个目标——至少在投入的有效算力下，GPT-4.5实现了比GPT-4聪明10倍的效果。

1

预训练的两个难题

不过，实际的训练时间还是比预想的要长不少。

这里面主要有两个问题。

一个是从1万个GPU增加到10万个GPU，问题会变得多得多。

尤其是一些提前没预料到的小概率问题，在大规模计算时会捅出大乱子。

最容易出问题的就是算力基础设施，由于他们的数据量实在是太大了，有些问题连硬件制造商都没遇见过。

网络架构、单个加速器，这些都会出问题。「我们的工作就是尽量把这些变量的波动降到最低。」

另一个问题是探索前沿科技这件事本身就很难。

在训练GPT-4.5时，OpenAI投入了几百人的努力，耗费了大量的时间，几乎是all in。

但如果他们现在重新训练一个GPT-4水平的模型，大概只需要5到10个人就可以搞定。

专注于数据效率和算法的Dan说，「我觉得做任何新东西都难。但是当你知道别人已经做成过某件事，难度就会大大降低」。

「因为最难的部分是下定决心去做一件事。知道某件事是可行的，简直就像开了挂，瞬间就容易多了。」

Dan接着表示，如果想要将训练规模再扩大10倍甚至是100倍，数据就会成为瓶颈，这时候就需要一些算法上的创新，让模型能用更多的算力从同样的数据里学到更多东西。

1

torch.sum bug趣事

研究团队在GPT-4.5的训练中，发现了一些特别有趣的事情。

比如，在训练过程中不断地优化机器学习算法，做出一些调整。

尤其是团队解决了一些关键问题后，他们看到了模型性能的大幅提升。

那一刻，整个团队的能量都不一样了，大家都特别兴奋，动力满满，要把最后阶段冲刺完成。

「那一刻真的很震撼。这对团队士气的提升，真的特别美妙。」

现场OpenAI的首席系统架构师Amin Chian分享了一个「torch.sum bug」趣事。

在训练过程中遇到bug是常事，通常是找一下到底是硬件故障、数据损坏，还是机器学习相关的Bug。

但在训练GPT-4.5时，有一次好几个问题一直都没有解决。

大家没办法就在一起讨论研究这些问题到底是由不同的Bug引起的，还是同一个Bug导致的。

他们围着桌子投票。结果呢？后来确定的那个Bug在当时得票最少！

就是个简单的「torch.sum」Bug，来自上游的PyTorch库，大家都觉得太不可思议了。

所有的问题都被这一行代码给解决了，真的特别有趣。

为了庆祝，他们还把Slack频道从「多Bug理论」改成了「单Bug理论」，那场面可热闹了。

这个Bug的触发频率特别低，可能每100步、1000步才出一次问题，特别容易被忽略。

但他们有条纪律，在训练过程中不能容忍这种问题出现。

整个过程就是一个坚持不放弃的故事。

1

压缩即智能

几十年来，深度学习的核心一直是提升算力效率。而且，每一次小的改进，都能带来显著的叠加效应。

世界上各地不同的人发现一个提升10%效率的技巧，另一个提出提升20%的优化，这些看似微小的进步累积起来，就能彻底改变模型的表现。

过去，因算力受限，数据效率的研究显得并不划算。但如今，数据效率每一次突破都将可能成为AI发展的临界点。

因此，现在就去预测AI会有瓶颈，有点不明智。

他们还认为更好的预训练和无监督学习能全面提升模型的智能，帮助模型更好地泛化，这一点跟现在模型的推理能力很是互补。

预训练本质上是在压缩数据。压缩数据意味着发现不同事物之间的联系、类比和抽象。而推理则针对某个具体问题，需要一种谨慎思考的技巧。

这种谨慎思考能解锁很多不同领域的问题，但预训练在跨领域压缩数据时，学到的是一种更抽象的东西。

为什么无监督学习会有效？研究员们的答案是「压缩」。

可以说，理想的智能形态就是所谓的「所罗门诺夫归纳」（Solomonov induction）。

简单来说，模型更倾向于简洁的解释。与此同时，它严格遵循贝叶斯原理，把所有可能性都记住，随时根据新信息更新自己的回答。

而他们现在做的预训练——或者说理解预训练的一个视角——就是在做这种「压缩」。

试图找到一个最短的程序（或者模型），来解释所有的数据，以此作为对理想智能的一种近似。

1

Scaling Law是宇宙法则

在播客的最后，奥特曼表示，训练GPT-4.5的整个过程，花了无数的人力、时间和金钱，其实可以看成是一场实验。

一场验证Scaling Law是不是还成立的实验。

结果他们发现，Scaling Law不仅有效，而且还可能会持续很长时间。

奥特曼说他接受Scaling Law就像接受量子力学一样，还不明白为什么Scaling Law会是一种宇宙的规律。

对此Dan试着解释说，模型数据压缩得越多，智能就越高，这个有很强的哲学依据。

他自己比较喜欢的一个解释是，世界上数据的「关键概念」是稀疏的，符合幂律分布（power law）。

比如，第100个重要的概念，可能在每100个文档里只出现一次。

也就是说数据有很强的「长尾效应」。

所以现实是，如果你想抓到「尾巴」里下一个重要的东西，可能得把算力和数据量翻个十倍。

而这个尾巴还很长，可以一直挖下去。