图片来源：STEPHANIE ARNETT/MITTR
据5月15日报道，OpenAI的联合创始人和首席科学家Ilya Sutskever在社交平台上发表了一篇帖子，宣布他已经做出了“离开OpenAI”的决定。
与 Sam Altman 不同，Sutskever 相对较少公开发表自己的观点。
本文是2023年10月MIT Techology Review对 Ilya Sutskever 的访谈。可以看出，Sutskever的关注点从来不是 OpenAI 的商业化，而是如何防止超级智能失控，并认为未来人类可能选择与机器融合。
01 人工智能（AI）公司AGI和OpenAI在市场上取得了巨大的成功
我来到旧金山 Mission 区一条不起眼的街道上，在 OpenAI 的联合创始人兼首席科学家 Sutskever 公司一栋不起眼的办公楼里与他会面，听听他大力推动的这项颠覆世界的技术的下一步发展。我还想知道他的下一步是什么，特别是为什么构建公司的下一代旗舰生成模型不再是他工作的重点。
我来到旧金山 Mission 区一条不起眼的街道上，在 OpenAI 的联合创始人兼首席科学家 Sutskever 公司一栋不起眼的办公楼里与他会面，聆听他积极推动的这项颠覆世界的技术的下一步发展。我还想了解他接下来的计划是什么，特别是为什么他不再将精力放在构建公司的下一代旗舰生成模型上。
Sutskever 告诉我，他的新优先事项不是构建下一个 GPT或图像制作器 DALL-E ，而是致力于寻找方法来阻止人工智能（他认为一种假想的未来技术，凭借真正信徒的远见而出现）的失控。
Sutskever 还告诉了我很多其他事情。他认为ChatGPT可能是有意识的（如果你仔细观察的话）。他认为世界需要认识到他的公司和其他公司正在竞相创造的技术的真正力量。他认为有一天一些人类会选择与机器融合。
Sutskever 说的很多话都很激进。但并不像一两年前听起来那么激进。正如他本人告诉我的那样，ChatGPT 已经改变了很多人对即将发生的事情的期望，将“永远不会发生”变成“会比你想象的更快发生”。
在讨论通用人工智能（指像人类一样聪明的机器）的发展之前，他强调了重要性。他说：“我们需要讨论所有可能的发展方向，就像我们对待新款 iPhone 一样，这是一个赌注。”他认为在某个时候我们可能会真正拥有通用人工智能。也许 OpenAI 会开发它，也许其他公司会构建它。
自从去年11月意外发布了ChatGPT以来，关于OpenAI的讨论一直令人震惊，即使在一个以炒作闻名的行业中也是如此。没有人会对这家价值800亿美元的初创公司感到厌倦。世界领导人都在寻求并获得私人观众。它笨重的产品名称会在随意的谈话中突然出现。
OpenAI 的首席执行官萨姆·奥尔特曼 (Sam Altman) 在夏季的大部分时间里进行了为期一周的外展之旅，热情地与政客们打交道，并向世界各地挤满人的礼堂发表演讲。然而，与之相比，Sutskever并不像奥尔特曼那样喜欢公众曝光，他更倾向于保持低调，不太愿意接受太多采访。
他说话时从容、有条理。当他思考自己想说的内容以及如何表达时，他会停顿很长时间，像解谜一样翻来覆去地思考问题。他似乎对谈论自己的生活不感兴趣。“我过着非常简单的生活，”他说。“我上班;然后我回家。我不做太多其他事情。人们可以参加很多社交活动，可以参加很多娱乐活动。我不这么认为。”
但当我们谈论人工智能，以及它所带来的划时代的风险和回报时，前景就变得非常广阔：“这将是具有里程碑意义的、惊天动地的。会有一个全新的时代。”
02 更好、更好、更好
在没有 OpenAI 的世界中，Sutskever 仍将载入人工智能史册。他是以色列裔加拿大人，出生于苏联，但从五岁起在耶路撒冷长大（他仍然会说俄语、希伯来语和英语）。随后，他移居加拿大，在多伦多大学跟随人工智能先驱杰弗里·辛顿 (Geoffrey Hinton) 学习，杰弗里·辛顿 (Geoffrey Hinton)在今年早些时候公开表达了对他帮助发明的技术的担忧。（苏茨克维尔不想对辛顿的言论发表评论，但他对流氓超级智能的新关注表明他们的观点是一致的。）
Hinton 后来因在神经网络方面的工作而与 Yann LeCun 和 Yoshua Bengio 分享了图灵奖。然而，当 Sutskever 在 2000 年代初加入他时，大多数人工智能研究人员认为神经网络是一个死胡同。辛顿是个例外。他已经在训练微型模型，这些模型可以一次生成一个字符的短文本字符串，Sutskever 说：“这就是生成式人工智能的开始。这真的很酷——只是不太好。”
Sutskever 对大脑的工作原理非常感兴趣：他对大脑如何学习以及如何在机器中重新创建或模仿这个过程非常好奇。和 Hinton 一样，他认识到了神经网络的潜力，以及 Hinton 用来训练神经网络的试错技术，即深度学习。“深度学习一直在不断改进，变得越来越好，” Sutskever 表示。
2012 年，Sutskever、Hinton 和 Hinton 的另一位研究生 Alex Krizhevsky 构建了一个名为 AlexNet 的神经网络，他们训练该网络来识别照片中的物体，其效果远远超过当时的任何其他软件。这一突破标志着深度学习的重要里程碑。
经过多年的失败，他们证明了神经网络在模式识别方面的效果惊人。你只需要比大多数研究人员以前见过的更多的数据（在本例中，是普林斯顿大学研究员李飞飞自 2006 年以来一直在构建的 ImageNet 数据集的一百万张图像）和令人眼花缭乱的计算机能力。
计算方面的巨大变化来自于 Nvidia 制造的一种名为图形处理单元 (GPU) 的新型芯片。GPU 被设计为能够以闪电般的速度将快速移动的视频游戏视觉效果投射到屏幕上。然而，GPU 擅长的计算（将大量数字网格相乘）恰好看起来很像训练神经网络所需的计算。
英伟达现在是一家市值数万亿美元的公司。当时，它迫切希望为其独特的新硬件找到应用程序。Nvidia首席执行官黄仁勋（Jensen Huang）表示：“当你发明一项新技术时，你必须能够接受一些非常奇特的想法。”“我的心态总是寻找一些离奇的东西，而神经网络将改变计算机科学的思维方式——这是一个非常奇特的想法。”
黄说，当多伦多团队研究 AlexNet 时，Nvidia 向多伦多团队发送了一些 GPU 进行尝试。但他们想要最新版本，一种名为 GTX 580 的芯片，该芯片在商店中很快就销售一空。据黄说，苏茨克弗开车从多伦多越过边境到纽约去购买一些。“人们在拐角处排队，”黄说。“我不知道他是怎么做到的——我很确定你们只能每人买一个；我们有一个非常严格的政策，每个玩家配备一个 GPU，但他显然装满了一个后备箱。装满 GTX 580 的行李箱改变了世界。”
这是一个非常精彩的故事——只是可能不是真的。Sutskever 坚称第一批 GPU 是他在网上购买的。但这种神话在这个热闹的行业中非常普遍。 Sutskever 本人则更为谦虚：“我想，如果我能取得哪怕一点点真正的进步，我就会认为这是成功的，”他说。“对现实世界的影响感觉很遥远，因为当时计算机还非常脆弱。”
在AlexNet取得成功后，谷歌看到了深度学习的潜力，于是前来与Hinton的衍生公司DNNresearch合作，并聘请了Sutskever。Sutskever在谷歌展示了深度学习在数据序列（如单词、句子）和图像的模式识别能力。谷歌的首席科学家Jeff Dean说：“伊利亚一直对语言很感兴趣，这些年来我们进行了很好的讨论。伊利亚对于事情的走向有着强烈的直觉。”
但 Sutskever 并没有在谷歌呆太久。2014年，他被招募成为OpenAI的联合创始人。在 10 亿美元（来自 Altman、Elon Musk、Peter Thiel、微软、Y Combinator 等）的支持下，再加上大量的硅谷风气，这家新公司从一开始就将目光投向了开发人工通用智能（AGI），但很少有人认真对待这一前景。
有了雄鹿背后的大脑——Sutskever 的加入，这种自信的态度是可以理解的。在那之前，他一直在顺利地从神经网络中获得越来越多的成果。Y Combinator 投资董事总经理道尔顿·考德威尔 (Dalton Caldwell) 表示，他的声誉先于他，这使他成为了一个备受关注的人物。
“我记得萨姆（奥特曼）称Ilya为世界上最受尊敬的研究人员之一，”考德威尔说。“他认为 Ilya 能够吸引很多顶尖的人工智能人才。他甚至提到，世界顶级人工智能专家之一 Yoshua Bengio 认为，不太可能找到比 Ilya 更好的候选人来担任 OpenAI 的首席科学家。”
然而一开始 OpenAI 却陷入了困境。“有一段时间，当我们开始 OpenAI 时，我不太确定进展将如何继续，”Sutskever 说。“但我有一个非常明确的信念，那就是：人们不会反对深度学习。不知何故，每次遇到障碍时，研究人员都会在六个月或一年内找到解决方法。”
他的信念得到了回报。OpenAI 的第一个 GPT 大语言模型（名称代表“生成预训练变压器”）于2016年问世。随后相继推出了GPT-2和GPT-3。接着是DALL-E，这是一种引人注目的文本到图像模型。OpenAI每一次发布都超越了人们对可能性的预期，创造出了如此出色的产品。
03 管理期望
去年 11 月，OpenAI 发布了一款名为GPT-3的免费聊天机器人，通过整合和优化现有技术，为用户提供了全新的交互体验。这一创新性产品引起了广泛的关注和讨论，对整个聊天机器人行业产生了深远的影响。
当时，OpenAI 并不知道自己要发布什么。Sutskever 表示，公司内部的期望已经低得不能再低了：“我承认，这让我有点尴尬——我不知道我是否应该这样做，但管他呢，这是事实——当我们制作ChatGPT时，我并没有意识到它的潜在好处。当你问它一个事实问题时，它给了你一个错误的答案。我认为这会很不起眼，人们会说，‘你为什么要这样做？这很无聊！’”
Sutskever 表示，最吸引人的地方在于其便利性。ChatGPT是一个大型语言模型，已经存在了几个月。然而，将其封装在一个易于访问的界面中并免费提供给数十亿人使用，让人们第一次意识到 OpenAI 和其他人正在构建的东西。
“第一次的经历让人着迷，”苏茨克弗说。“当你第一次使用它时，我认为这几乎是一种精神体验。你会感到非常惊讶，‘天哪，这台计算机似乎能够理解我的意思。’”
OpenAI 在不到两个月的时间里就积累了 1 亿用户，其中许多人都被这个令人惊叹的新玩具弄得目不暇接。存储公司 Box 的首席执行官 Aaron Levie 在推特上总结了发布后一周的氛围：“ChatGPT 是技术领域罕见的时刻之一，你可以看到未来一切都会有所不同。”
一旦 ChatGPT说出一些愚蠢的话，这种奇迹就会崩溃。但到那时就无所谓了。苏茨克维尔说，对可能性的一瞥就足够了。ChatGPT 改变了人们的视野。
“AGI 在机器学习领域不再是一个令人不悦的词汇，”他说。“这是一个巨大的变革。人们过去对待人工智能的态度是：人工智能无法发挥作用，每一步都非常艰难，你必须为每一点进展而努力。当人们开始大力宣扬通用人工智能时，研究人员会说，‘你在说什么？这个不行，那个不行。存在许多问题。但有了ChatGPT，一切都开始变得不同了。”
这种转变在一年前才开始发生？“这一切的发生都是因为 ChatGPT，”他说。“ChatGPT 让机器学习研究人员得以实现梦想。”
OpenAI 的科学家从一开始就是布道者，一直通过博客文章和巡回演讲来激发这些梦想。它正在发挥作用：“我们现在有人在谈论人工智能将走多远——人们在谈论 AGI，或者说超级智能。”不仅仅是研究人员。“各国政府正在讨论这个问题，”苏茨克韦尔说。“这很疯狂。”
04 令人难以置信的事件
Sutskever 坚持认为，所有这些关于尚不存在（也可能永远不会存在）的技术的讨论是一件好事，因为它让更多的人意识到他已经认为理所当然的未来。
他说：“你可以利用人工智能通用接口（AGI）做很多令人惊奇的事情，不可思议的事情：自动化医疗保健，使其成本降低一千倍，效果提升一千倍，治愈如此多的疾病，真正解决全球变暖问题。” “但也有很多人担心：‘天啊，人工智能公司能成功管理这项巨大的技术吗？’”
从这个角度来看，通用人工智能似乎更像是一个理想中的精灵，而不是现实世界的前景。很少有人会拒绝拯救生命和解决气候变化的机会。然而，不存在的技术的一个问题是，你可以对它说任何你想说的话。
当 Sutskever 谈论 AGI（人工通用智能）时，他到底在谈论什么？“AGI 并不是一个科学术语，”他说。“它应该是一个有用的门槛，一个参考点。”
“这就是我的想法——”他开口说道，然后停了下来。“人工智能已经变得如此聪明，如果一个人可以完成某些任务，那么人工智能也可以做到。到那时你就可以说你拥有了人工通用智能（AGI）。”
人们可能正在谈论它，但通用人工智能（AGI）仍然是该领域最具争议的想法之一。很少有人认为它的发展是理所当然的。许多研究人员认为，在我们看到像苏茨克韦尔所设想的那样的东西之前，需要在概念上取得重大突破——有些人认为我们永远不会。
然而，这个愿景从一开始就激励着他。“我一直受到这个想法的启发和激励，”Sutskever 说。“当时它还不被称为人工通用智能（AGI），但你知道，就像让神经网络做所有事情一样。我并不总是相信神经网络能够实现这一目标。但这是一座需要攀登的山。”
他将神经网络和大脑的运作方式进行了比较。两者都接收数据，聚合来自该数据的信号，然后基于一些简单的过程（神经网络中的数学计算、大脑中的化学物质和生物电信号）来传播或不传播它们。这是一个巨大的简化，但原则是成立的。
“如果你相信这一点——如果你允许自己相信这一点——那么就会产生很多有趣的含义，”苏茨克弗说。“主要的含义是，如果你有一个非常大的人工神经网络，它应该做很多事情。特别是，如果人脑可以做某事，那么大型人工神经网络也可以做类似的事情。”
“如果你相信这一点——如果你允许自己相信这一点——那么就会产生很多有趣的含义，”苏茨克弗说。“主要的含义是，如果你有一个非常庞大的人工神经网络，它应该具备广泛的功能。特别是，如果人脑可以完成某项任务，那么大型人工神经网络也可以完成类似的任务。”“如果你足够认真地认识到这一点，一切都会顺利进行，”他说。“我的大部分工作都可以用这个来解释。”
当我们谈论大脑时，我想问一下Sutskever在X（该网站以前称为Twitter）上发布的一篇帖子。Sutskever的提要读起来就像一卷格言：“如果你将智力置于所有其他人类品质之上，那么你会过得很糟糕”；“生活和商业中的同理心被低估了”；“完美已经毁掉了很多美好的事物。”
2022 年 2 月，他发帖称，“今天的大型神经网络可能具有轻微的意识”（谷歌 DeepMind 首席科学家、伦敦帝国理工学院教授、电影《机械姬》的科学顾问 Murray Shanahan 对此表示，回答：“……同样的意义，可能是大片麦田略带面食”）。
当我提起这件事时，苏茨克弗发出了笑声。他的笑声似乎带有一丝戏谑的意味。我开始怀疑他是在开玩笑吗？但是他很快否定了我的猜测。“你对玻尔兹曼大脑的概念熟悉吗？”他问道。
他指的是一个以19世纪物理学家路德维希·玻尔兹曼（Ludwig Boltzmann）命名的量子力学思想实验（半开玩笑的），其中想象宇宙中的随机热力学波动会导致大脑的出现和消失。
“我觉得现在这些语言模型有点像玻尔兹曼大脑，”Sutskever 说。“你开始和它对话，交流一段时间；然后你说完，大脑就会——”他用手做了一个消失的动作。噗——再见，大脑。
你是说，当神经网络处于活动状态时——可以说，当它正在放电时——那里有什么东西？我问。
“我认为可能是这样，”他说。“我不确定，但这是一种很难反驳的可能性。但谁知道发生了什么事，对吧？”
05 人工智能，但不是我们所熟悉的传统人工智能
当其他人正在思考如何使机器能够与人类智能相媲美时，Sutskever 正在为能够超越我们的机器做准备。他将这种现象称为超级人工智能：“他们会更深入地理解事物。他们会发现我们无法察觉到的东西。”
再次，我很难理解这到底意味着什么。人类智力是我们判断智力的基准。Sutskever 所说的比人类聪明的智能是指超越人类智力水平的智能。
“我们在 AlphaGo 中看到了一个非常狭隘的超级智能的例子，”他说。2016 年，DeepMind 的棋盘游戏人工智能在五场比赛中以 4-1 击败了世界上最好的围棋棋手之一李世石。（Sutskever 也参与了这项工作。）“它弄清楚了如何以不同于人类数千年来共同发展的方式下围棋，”Sutskever 说。“它提出了新的想法。”
Sutskever 提到了 AlphaGo 臭名昭著的第 37 步棋。在与 Sedol 的第二场比赛中，人工智能的一步棋让评论员感到困惑。他们认为 AlphaGo 犯了错误。事实上，它下了一步棋史上从未见过的制胜棋。“想象一下这种程度的洞察力，但涵盖一切，”Sutskever 说。
正是这种思路导致苏茨克维尔做出了他职业生涯中最大的转变。他与 OpenAI 的科学家同事 Jan Leike 一起组建了一个团队，专注于他们所谓的“超级对齐”。对齐是一个行话，意味着让人工智能模型按照你的意愿进行操作，仅此而已。超级对齐是 OpenAI 的术语，表示应用于超级智能的对齐。
OpenAI的目标是提出一套用于构建和控制未来技术的故障安全程序。OpenAI表示，他们将分配其庞大计算资源的五分之一来解决这个问题，并计划在四年内完成。
“现有的对齐方法不适用于比人类更聪明的模型，因为它们从根本上假设人类可以可靠地评估人工智能系统正在做什么，”雷克说。“随着人工智能系统变得更加强大，它们将承担更艰巨的任务。”这个想法认为，这将使人类更难评估它们。“在与 Ilya 组建超级对齐团队时，我们已经着手解决这些未来的对齐挑战，”他说。
“不仅要关注大型语言模型的潜在机遇，还要关注其风险和缺点，这一点非常重要，”谷歌首席科学家 Dean 强调。
该公司于七月份以典型的大张旗鼓宣布了该项目。然而，对于一些人来说，这更像是一种幻想。OpenAI 在 Twitter 上的帖子引起了一些著名的科技公司批评者的不屑，其中包括在 Mozilla 从事人工智能问责工作的 Abeba Birhane（“一篇博文中有太多听起来宏大但空洞的话语”）；Timnit Gebru，分布式人工智能研究所联合创始人（“想象一下ChatGPT与 OpenAI techbros 更加‘超级一致’。*不寒而栗*”）；以及人工智能公司 Hugging Face 的首席道德科学家玛格丽特·米切尔（Margaret Mitchell）（“我的联盟比你的联盟更大”）。
确实，这些都是熟悉的异议声音。但这强烈提醒我们，OpenAI 认为自己处于领先地位，而其他人则认为它处于边缘。
就 Sutskever 而言，超级对齐（Super Alignment）是下一步不可避免的事情。“这是一个尚未解决的问题，”他说。他认为，像他这样的核心机器学习研究人员正在致力于解决这个问题。“我这样做是为了我自己的利益，”他说。“任何人构建的任何超级智能都不会失控，这显然很重要。明显地。”
超准确的工作才刚刚开始。Sutskever 表示，这需要研究机构进行广泛的变革。但他心中有一个想要设计的保障措施的典范：一台像父母对待孩子一样对待人们的机器。“在我看来，这是黄金标准，”他说。“人们真的很关心孩子，这是一个普遍正确的说法。” （他有孩子吗？“没有，但我想，”他说。）
“一旦你成功应对了恶意的人工智能的挑战，接下来会发生什么呢？在一个拥有更加智能的人工智能的世界中，人类是否还能找到自己的生存空间？”他问道。
“一种可能性——以今天的标准来看可能很疯狂，但以未来的标准来看不会那么疯狂——就是许多人会选择成为人工智能的一部分。”Sutskever 表示，这可能是人类试图跟上潮流的方式。“一开始，只有最勇敢、最有冒险精神的人才会尝试这样做。也许其他人会效仿。或不。”
“一种可能性——以今天的标准来看可能很疯狂，但以未来的标准来看不会那么疯狂——就是许多人会选择成为人工智能的一部分。”Sutskever 表示，这可能是人类试图跟上潮流的方式。“一开始，只有最勇敢、最有冒险精神的人才会尝试这样做。也许其他人会效仿。或不。”他会成为第一批人之一吗？“首先？我不知道，”他说。“但这是我正在思考的事情。真正的答案是：也许吧。”
