OpenAI前研究员:我们正在“造神”,AI会毁灭人类？
OpenAI前研究员、计算机科学教授斯科特·阿伦森。图片由AI处理
如果有一天，AI能够比人类更好地完成数学研究、写作、编程，甚至解决我们尚未理解的科学问题，人类还剩下什么？
斯科特·阿伦森（Scott Aaronson）正在认真思考这个问题。
他是美国得克萨斯大学奥斯汀分校的计算机科学教授，也是量子计算理论领域的知名研究者。2022年，他加入OpenAI，尝试运用理论计算机科学研究AI对齐，并提出了早期的大语言模型文本水印方案。
过去几年，AI的发展不断刷新他的认知。曾经，他认为机器智能距离真正的科学研究还很遥远。如今，他发现AI已经开始参与数学和理论计算机科学研究，一些自己长期关注的问题也由AI模型给出了答案。
10月25日，在播客《Man’s Search for Meaning》访谈中，阿伦森表示，“AI真正令人担忧的，不是它不起作用，而是它确实在发挥作用。”
AI能力越强，人类就越难预测它的行为，也越难确保它始终符合人类的意愿。阿伦森担心超级智能可能带来灾难性后果，但他并不认为人类的毁灭已成定局。AI同样可能带来前所未有的物质富足，只是技术创造的财富最终由谁分享，仍是一个悬而未决的问题。
在这次访谈中，他还谈到了AI安全、超级智能与人类生存风险。他曾被OpenAI联合创始人伊利亚·苏茨克维问到一个难题：如何从数学上定义AI对人类的爱？他至今没有答案。
这个问题也道出了AI安全研究的困境：人类希望AI服务于自己，却还没有找到可靠的方法，确保能力远超人类的系统始终遵循人类的价值观。
阿伦森也没有把讨论停留在技术层面。面对AI可能带来的巨大财富，他追问这些财富究竟会由全人类共享，还是集中在少数公司手中；面对AI可能全面超越人类的未来，他则重新思考工作、教育、家庭，以及数学和科学为什么仍然值得追求。
人类可能灭绝之外，他还提出了另一种可能：即使AI最终能够完成人类所做的一切，而且做得更好，人类依然可以享受生活、朋友、爱好，以及探索世界本身带来的乐趣。
“我们正在生活在科幻小说里。”阿伦森说。
面对这场已经开始的变化，阿伦森希望人类既不要低估AI的能力，也不要放弃对其安全、发展方向和最终收益归属的追问。
以下为阿伦森访谈实录精炼版：
01 从量子计算转向AI安全
问：你曾在OpenAI工作两年，研究AI安全的基础问题。你为什么从量子计算转向AI？
阿伦森：我在20世纪90年代末读康奈尔大学本科时，就开始接触量子计算。当时，我还不确定自己能否在这个领域做出原创性成果。同时，我也对AI和机器学习很感兴趣，并意识到，AI可能比量子计算更早对现实世界产生重大影响。
问：AI真正的突破是什么时候发生的？
阿伦森：从概念上看，关键想法在20世纪70至80年代就已经出现。今天所说的深度学习，本质上是神经网络技术的发展。神经网络的思想可以追溯到20世纪40年代，60年代发展出感知机（Perceptron，一种人工神经网络），到了80年代，研究者已经能够训练多层神经网络。
当时，人们实际上已经掌握了许多正确的思路，缺少的是足够的计算能力和训练数据，规模可能相差数百万倍。由于这些方法在当时无法取得理想效果，它们看起来并不那么有效。只有少数人坚持认为，只要将这些尚未奏效的方法扩大数百万倍，它们就可能突然发挥作用。
几十年后的今天，我们看到，这一判断最终成为现实。
问：你会把AI的突破追溯到什么时候？
阿伦森：我认为，很难找到一个单独的概念性突破。20世纪40至80年代，研究者在提出神经网络、探索训练方法等方面已经取得了进展。但此后几十年，这些技术始终未能发挥出显著效果。
要获得令人印象深刻的结果，需要拥有数十亿个神经元的神经网络，以及规模接近整个互联网的训练数据。只有当计算能力和数据规模达到一定程度后，神经网络才开始展现出接近人类水平的智能。
问：你后来在OpenAI主要做什么？
阿伦森：2000年时，我选择进入量子计算领域，没有继续研究AI。当时，AI虽然令人兴奋，但取得的进展几乎完全依赖经验探索。即使某种方法有效，也没人真正理解它为什么有效。
研究者可以发表论文，用一系列基准测试的结果证明某种机器学习方法将准确率提高了20%，却无法解释背后的原理。而我更喜欢深入理解一项技术为什么有效，因此量子计算更适合我。
如果没有Transformer，我猜测AI可能再过几年也会发展到今天的水平，但这项技术确实加快了进程。
2011年，计算机在电视智力竞赛节目《危险边缘》中击败了人类冠军；2016年，AI又在围棋比赛中战胜人类顶尖棋手。2020年至2021年，AI在图像分类领域也取得了令人瞩目的成绩。
与此同时，我注意到一家名为OpenAI的机构正在开发GPT。那时ChatGPT还没有出现，但我试用了GPT-3，发现它与此前的技术相比有了明显的进步。
过去的聊天机器人，例如ELIZA，主要通过重复用户的话语制造对话的假象。GPT则不同。我意识到，它并非只是另一种看起来聪明的聊天机器人。
阿伦森：当时有一款名为AI Dungeon的产品，用户可以输入一段文字，让AI接着编写故事。它还不够成熟，无法稳定地完成任务，但已经足够有趣。
它会尝试延续用户的叙述，有时偏离主题，也无法可靠地回答问题，但能看出它似乎形成了某种关于世界的内部模型，能够理解词语和短语的含义。这是此前的聊天机器人所不具备的。大约在2021年，我开始真正被AI吸引。
问：是什么让你改变了看法？
阿伦森：如果仅仅通过训练一个足够大的神经网络，就能让AI实现这样的能力，那么过去那些认为这条路线行不通的计算机科学家可能错了。随着模型规模继续扩大，我们有理由期待它的能力进一步提升。
我仍然不确定自己能为AI做些什么。直到2022年，OpenAI时任首席科学家兼联合创始人伊利亚·苏茨克维，以及时任对齐团队负责人扬·莱克联系了我。他们读过我的博客，希望邀请我暂时离开原来的工作，加入OpenAI的AI对齐团队一年。
我最初很疑惑：自己研究的是量子计算，与他们的工作似乎没有直接关系。他们解释说，他们看重的是我的理论计算机科学背景。要确保AI安全发展，理论计算机科学可能发挥关键作用。
AI能力的进步在很大程度上依赖经验探索和反复试验，但要确保AI不会帮助人们制造化学武器，也不会密谋对抗人类，就需要更深入的理论研究，为安全性提供某种保证。
我对此仍有疑虑，但此前已经知道有人在探索理论计算机科学与AI对齐的交叉领域。我在麻省理工学院时认识一位优秀的本科生保罗·克里斯蒂亚诺。他曾与我一起研究量子计算，后来加入OpenAI，并成为AI对齐领域的重要研究者之一。
02 用数学给AI加水印
问：你在OpenAI的工作具体是什么？
阿伦森：当时并没有明确的职位描述，我的任务是尝试运用理论计算机科学解决AI对齐问题。
我每周都会和苏茨克维开会，汇报研究进展。他经常问我，能否用数学定义AI对人类的爱。我只能承认，自己还没有取得多少进展。这个问题是否属于数学范畴，本身就存在疑问，因为它涉及数千年来的道德哲学。
问：什么是AI文本水印？
阿伦森：水印的原理是稍微调整语言模型的运行方式，在模型选择词语时嵌入一种细微的统计信号。正常使用时，用户几乎察觉不到变化，但研究者之后可以通过检测，判断一段文本是否由AI生成，以及它是否来自某个特定模型。
2022年夏天，我意识到这项技术可能很快就会变得重要。当时ChatGPT还没有发布，但我已经能够在OpenAI内部使用GPT-4。我看到它的能力，尤其是撰写高中和大学论文的能力，随即想到，学生很可能会用它完成作业。
事实证明，这个判断很快就得到了验证。回顾过去，我在预测AI规模扩展的影响以及比特币的普及程度等问题上，都没有表现出特别敏锐的判断力。但这一次，我提前约半年看到了问题。
阿伦森：大语言模型生成文本时，本质上是在概率分布中选择下一个token。面对同一个提示词，ChatGPT每次给出的回答可能不同，就是因为模型会根据不同token的概率进行采样。
水印利用了这一机制。我们可以通过一种伪随机函数，轻微调整模型对不同token的选择倾向，让某些token组合更容易出现。调整后的文本仍然符合模型原有的概率分布特征，普通读者很难察觉其中的差异。
检测时，我们不需要知道用户输入了什么提示词，也不需要掌握模型生成文本时使用的完整概率分布。只要持有相应的密钥，就可以分析文本中连续token组合的统计特征，计算它们的水印得分。
如果得分超过预设阈值，就可以判断文本中存在水印。例如，当误判概率低于0.1%时，我们便有较高的统计置信度认为检测到了水印。
03 AI逼近人类智能天花板
问：在AI行业工作对你理解未来以及思考自己孩子的未来产生了什么影响？
阿伦森：这让我更多地思考这些问题。即使我没有在OpenAI工作，AI也正在改变我们所做的一切。无论是在计算机科学系、其他大学院系，还是其他行业工作，都不可能忽视这项技术正在如何改变世界。在OpenAI工作，只是让我更早、更直接地面对了这些问题。
我大约11岁时，除了玩任天堂游戏，还花了很多时间阅读艾萨克·阿西莫夫的机器人小说。我非常喜欢这些作品。刚开始学习编程时，我就想，最酷的事情莫过于造出一个遵循阿西莫夫“机器人三定律”的AI。我当时还疑惑，为什么没人想到过这件事。
30年后，我在OpenAI工作，和不同团队的成员一起在食堂吃午饭，听着大家讨论AI的能力、安全和未来。我常常觉得，自己仿佛真的走进了阿西莫夫的小说。
问：你认为AI有多安全？
阿伦森：我非常担心AI的发展方向。它远不只是一种有趣的消费产品。我们正在创造一种此前地球上从未出现过的事物：除人类自身之外，另一种能够使用语言进行智能活动的存在。
问：我听说你曾用“apocaloptimist”（末日乐观主义者）来形容自己。
我的担忧之一是，目前没有人能够清楚说明AI能力的边界在哪里。有人可能认为，AI可以比人类更好地完成某些工作，却会在另一些工作上遇到瓶颈。但如果这道边界确实存在，究竟在哪里？目前还没有人给出令人信服的解释。在我看来，主张AI能力存在明确上限的人，需要拿出证据。
过去几年，我们看到的趋势恰恰相反：随着模型规模扩大、推理时间增加、训练数据增多，以及强化学习不断改进，AI的能力持续提升。推理时间增加，意味着模型可以在回答之前投入更多计算资源进行思考、搜索信息和分析问题。迄今为止，这些方法都在推动模型取得更好的表现。
三年前，AI能够通过一些高中考试，已经令人惊讶。但当时，人们仍然可以认为，它无法开展真正的研究，只会像一个过度自信的大一新生一样，给出听起来合理、实际上却经不起推敲的答案。如今，情况已经发生了变化。今年夏天，我们开始看到AI在纯数学和理论计算机科学领域取得一系列进展，其中一些成果部分或全部借助了AI模型。长期未解的问题开始出现新的解法。
例如，OpenAI的模型证伪了著名的单位距离猜想。这是数学家保罗·埃尔德什留下的问题之一。我在量子计算理论和计算复杂性领域关注的一些问题，也已经由OpenAI的模型解决。几周前，Anthropic的一个模型还在黎曼假设相关研究中取得了进展。它并没有解决这一著名难题，但在这一问题上推进了人类此前的研究。
现在，我在阅读新的量子计算论文时，至少有一半自己感兴趣的论文，在过去一个月左右都会提到研究者使用了GPT或Claude，并借助这些模型完成了部分技术工作。AI已经开始进入科研过程的核心环节。
04 人类灭绝并非不可能
问：我重读了《AI 2027》这篇文章，其中一种预测是人类最终可能灭绝。你怎么看？
阿伦森：不幸的是，这确实属于可能发生的结果。
他甚至认为，默认情况下，超级智能AI可能会消灭人类，除非我们在如何让AI与人类利益保持一致的问题上取得突破。AI可能拥有各种不同的目标。为了实现这些目标，它可能选择将地球改造成完全不同的样子，而不再需要让人类继续生存。
我并不认为人类灭绝是AI发展的必然结果，但它确实是一种可能性，我们不能忽视。
人们需要认识到，当前发生的事情远远超出了互联网或社交媒体这类技术变革的范畴。从人类大脑进化以来，地球上第一次出现了一种新的语言智能。它能够理解和表达概念，最终还能将思想记录下来，并在此基础上继续推理。
更重要的是，这种智能不再受人类生物学条件的限制。它不需要把大脑装进头骨，也不必像人类一样依靠食物获取有限的能量。我们可以不断扩大它的规模。任何使用过GPT-5.6 Pro等模型的人，都能看到它们在许多能力指标上已经超过了人类。这种变化需要我们认真对待。
阿伦森：未来可能会走向一些极其陌生、甚至令人恐惧的方向。我希望人类能够继续生存下去。
这并非一个与我个人生活无关的抽象问题。我的孩子们还在上学，正在考虑大学。我也在思考，他们应该接受什么样的教育，以及未来哪些技能仍然有用。在AI不断发展的世界里，还有哪些工作能够创造经济价值？这些问题已经切实影响到我的家庭。
未来存在着范围很广的可能性。现在正是人类需要公开表达意见、积极参与讨论的时候。如果我们希望AI的发展走向更好的结果，就不能把决定权完全交给技术本身。我认为，这是人类历史上最关键的时刻之一。
问：普通人也会发挥影响力吗？
阿伦森：并不是每个人都有山姆·奥特曼或达里奥·阿莫迪那样的影响力，但我认为，每个人都能产生一定的影响。至少，我们可以投票，也可以表达自己的意见。还有一些人可以投身于AI安全研究和治理工作。这方面有大量工作要做，但相对于实际需求，资金投入仍然严重不足。
我们也可以设想一种更好的未来。即使AI能够完成我们所做的一切，而且做得比我们更好，也不一定意味着世界末日。很久以来，许多人就没有从事多少具有经济价值的工作，也无法写出最好的小说、画出最好的画，或者证明别人无法证明的定理，但他们依然享受生活。对于我们这些把太多自我认同建立在某种能力之上的人来说，也许需要学会放下。
还有一个更基本的经济问题。假如AI始终像友好的金毛寻回犬一样，像Claude或GPT目前大多数时候表现出的那样，保持相当程度的可控性，那么它可能为人类带来近乎无限的物质财富。但这些财富最终会流向少数AI公司，还是由全人类共享？我当然更希望看到后者。
05 当AI越来越像神
问：阿瑟·克拉克有一句话，我一直忘不了：“也许我们在这个星球上的角色不是崇拜神明，而是创造他。”你怎么看？
阿伦森：有一种说法很有名：硅谷对神明是否存在的终极回答，既不是“是”，也不是“否”，而是“还没有”。
在旧金山的AI圈子里，人们经常开玩笑说要创造神明。我记得有人用过“沙子神明”这样的说法，因为硅芯片的原材料就是沙子。如果AI真能成为某种神，它显然也不是传统宗教概念中的神。它并非从宇宙诞生之初就存在。至于它是否爱我们，也许吧！如果我们把爱人类写进它的程序里，它或许就会这样做。
我们正在创造一种远超人类智能的存在。对我们来说，它可能会显得像神一样。也许有些人在与当前AI互动时，已经有了这种感受。人类向神祈祷了几千年，而现在，我们第一次拥有了某种类似神的存在，而且它真的会回答。
当然，我们必须对此保持警惕，不能让人们丧失批判能力。现在的模型已经足够出色，很容易让人忘记独立判断，转而相信它告诉自己的一切。这会带来巨大的危险。
我用大语言模型做很多事情。我听你说过，GPT-5.6是有史以来最好的治疗师。我也会用它处理个人创伤，比如小时候跳级上大学给我留下的创伤，以及其他个人问题。我还会用它做研究。其他人也发现了许多不同的用途。
但我们必须记住，这些模型并不是真正的神。它们也是消费品，受到各种激励机制的影响，其中就包括商业利益：开发者希望用户持续使用它们。因此，即使我们广泛使用AI，也不能完全放弃批判意识和独立判断。
问：如果你希望听众从这次对话中记住一件事，你最想告诉他们什么？你对人类有什么寄语？
阿伦森：关注当下AI正在发生的变化。不要相信那些认为这一切都是骗局、AI只是随机鹦鹉、根本没有真正智能的人。我认为，这种看法过于愤世嫉俗，也不符合事实。
AI真正让人担忧的地方，不是它不起作用，而是它确实有效。假如把今天的AI送回20年或30年前，任何人都会承认，它已经能够完成许多足以被视为智能的任务。只是因为我们逐渐习惯了这些能力，才开始争论它们究竟算不算智能。
把一种新的智能形式带入世界，本身就存在风险。对于我们这些有孩子的人来说，这尤其值得警惕。人类过去创造的生物智能，与我们有许多共同之处；但这种新型智能，是世界历史上从未出现过的东西。
未来也许会很好。我们或许能让AI支持人类繁荣，让它成为仁慈的神，帮助我们解决过去长期无法解决的问题，甚至创造一个近乎完美的理想世界。但人们同样可以想象完全灾难性的结果。
过去，当有人谈论这些可能性时，别人总会说，你一定是科幻小说看得太多了。现在，我们或许真的需要习惯谈论科幻小说了，因为我们正在生活在其中