最近，奥特曼面临了新的困扰，这次的困扰是OpenAI公司的员工们要进行抗议。
6月5日，一封由13位OpenAI和谷歌DeepMind前员工、现员工联合发布的公开信，在全球范围内引起了广泛的关注和讨论。
这封信不仅揭发了OpenAI的鲁莽和保密文化，强调了前沿AI技术的严峻风险，还表达了对AI公司在开发和推广AI技术时利益优先、打压异见者和规避监管等种种行为的担忧。
更加令人震惊的是，这封信的署名者竟然包括：被誉为“人工智能教父”的杰弗里·辛顿（Geoffrey Hinton）、因其开创性的人工智能研究而获得图灵奖的约书亚·本吉奥（Yoshua Bengio）以及在人工智能安全领域有着卓越贡献的学者斯图尔特·罗素（Stuart Russell）。
连这些经验丰富的专家们都亲自下场掐架了，可见这封信的声望和影响力，定然非同寻常。
01
这封公开信的目的是什么？
看完这封公开信后，给大家归纳了几个要点：
第一，人工智能（AI）可能会加剧现有的不平等现象，例如在就业市场上造成更大的失业差距。此外，AI也可能被用于操纵和传播误导信息，对社会造成负面影响。另外，由于自主人工智能系统的复杂性，可能无法完全控制其行为，这可能最终威胁到人类的生存。
第二，人工智能（AI）公司出于财务利益的考虑，通常会避免接受有效监管。作者认为，特别设计的企业治理模式并不能改变这种情况。
第三，AI公司掌握着大量的内部信息，目前与政府分享这些信息的责任较为有限，而且没有与民间社会分享的义务。这些公司中，现任和前任员工是为数不多的能够向公众负责的人，但保密条款阻碍了这种忧虑的表达。
AI公司拥有大量的内部信息，但目前只有少数现任和前任员工能够向公众负责。然而，由于保密条款的限制，这些员工无法充分表达他们的忧虑。第四，希望领先的AI企业承诺遵循一些原则，包括承诺不会签订或执行任何禁止对公司的风险相关担忧进行负面评价或批评的协议，也不会因员工进行风险相关的批评而阻碍其既得经济利益做出报复。
第五，希望建立一个可验证的匿名机制，供现任和前任员工使用。
第五，希望建立一个可验证的匿名机制，供现任和前任员工使用，以便他们能够匿名地提交反馈和意见。OpenAI 前员工丹尼尔·科泰洛 （Daniel Kokotajlo）作为联名信公开署名人员中的一位，曾在社交平台发文提到，“我们中一些最近从 OpenAI 辞职的人聚集在一起，要求实验室对透明度作出更广泛的承诺。”
据了解，今年 4 月，丹尼尔刚从 OpenAI 辞职，其原因之一就是对 OpenAI 在构建通用人工智能方面未采取负责任的行为，失去了信心。
在丹尼尔看来，人工智能系统不是普通的软件，它们是通过学习大量数据的人工神经网络。关于可解释性、对齐和控制的科学文献正在迅速增多，但这些领域仍处于起步阶段。如果不小心，可能会在长期内造成灾难性后果。
当丹尼尔离开OpenAI时，他曾被要求签署一份文件。这份文件中包含一项不贬低公司形象的条款，禁止他发表任何对公司的批评言论。然而，丹尼尔拒绝了签署这份文件，最终导致他失去了自己的既得股权。
02
OpenAI造反的远不止这些人
巧合的是，今年4月，从OpenAI离开的还有奥波德·阿申布伦纳（Leopold Aschenbrenner）。
不同的是，他不是自己主动辞职，而是被OpenAI以泄露公司机密的行为为由开除的。
阿申布伦纳是OpenAI前超级对齐部门成员，他可能曾与5月刚离职的OpenAI联合创始人、首席科学家Ilya Sutskever一起共事。
但他被开除的真实原因，其实是他给几位董事会成员分享了一份OpenAI安全备忘录，结果招致OpenAI高层的不满。
据说，OpenAI当时很明确地告诉他，开除他的主要原因就是他写的这份备忘录。
随后，之后阿申布伦纳上线了一个网站，用165页PDF文件汇总了他在OpenAI工作期间所了解的信息，这份文件被看作是“硅谷最激进的人工智能研究人员提出的一份未来10年人工智能发展的纲领性文件”。
在他看来，深度学习没有遇到瓶颈，人类在2027年，就能实现人工通用智能（AGI）。而在2030年左右，AGI很有可能会发展出全面超越人类的超级人工智能，但是人类似乎还没有做好准备。
他还预言，人工智能即将带来的，绝不仅是多数专家认为的“另一场互联网规模的技术变革”。
有趣的是，阿申布伦纳最近成立了一家专注于人工通用智能（AGI）的投资公司，主要投资人包括Patrick Collison（移动支付巨头Stripe联创兼CEO）、John Collison（同为Stripe联创）、Nat Friedman（前Github的CEO）和Daniel Gross（Y Combinator前人工智能主管）。
03
多名OpenAI核心成员加入“叛军”阵营
5月15日，OpenAI 联合创始人、首席科学家 Ilya Sutskever ，突然宣布已离开 OpenAI。
Ilya Sutskever 在5月15日宣布他已经离开OpenAI。
自去年11月OpenAI宫斗事件中，由于对公司模型的安全性有所担忧，Ilya曾联合董事会成员发起过反对Sam Altman的行动。事后，Ilya几乎没有出席过任何学术演讲或接受任何采访，从此销声匿迹。
此后，业界一直很关心”Ilya看到了什么？他去哪了，又在做什么？”
Ilya 此前曾在一段视频中提到，在人工通用智能（AGI）实现的那一天，人工智能未必会对人类怀有仇恨，但它们对待人类的方式可能会类似于人类对待动物。人类可能无意伤害动物，但如果你想修建一条城际高速公路，你不会征询动物的意见，而是直接去做。当面临这种情况时，人工智能可能也会自然而然地做出类似的选择。
当时，很多人可能没注意，与 Ilya 同步宣布离开的，还有超级对齐团队的共同领导者 Jan Leike。
他是OpenAI的安全主管，曾与Ilya Sutskever共同领导OpenAI的超级对齐团队，该团队的任务是确保超级智能不会失控。
据JanLeike透露，他与OpenAl高层在公司的核心优先事项上存在长期分歧，双方的分歧严重到无法调和的地步。团队在推动其研究项目和争取计算资源时遇到了重大阻碍，缺乏资源严重影响研究的进度和质量。
不久前，5月18日，OpenAl超级对齐团队在原地解散，剩余成员被整合到核心研究团队中。现在回顾起来，这个过程就像是提前排练好的一样。
5月29日，Jan Leike正式宣布加入OpenAI的竞争对手Anthropic。
他在X上称：“我很兴奋能加入Anthropic团队，继续推进超级对齐任务！我的新团队将致力于可扩展的监督机制、弱到强泛化以及自动化对齐研究。如果你也对加入我们感兴趣，欢迎通过私信联系我。”
Anthropic是谁？据了解，Anthropic是由原OpenAI员工组建的公司，因为一些发展理念不合才选择了独立发展，并成为了OpenAI的竞争对手。
Anthropic是由前OpenAI员工Dario Amodei和Daniela Amodei兄妹于2021年创立的公司。亚马逊已经投资了40亿美元，并持有少数股权。该公司一直致力于成为比竞争对手OpenAI更注重安全性的公司。
今年3月，Anthropic刚发布的Claude3系列模型，已经在多模态和语言能力指标上取得了巨大的优势，远远超过了GPT-4。
关于Anthropic与OpenAl的对抗故事，似乎刚刚开始，后续可能会有更多精彩的情节发展。
最后的话
从去年11月OpenAI宫斗事件开始，关于OpenAI大模型的安全性问题，其实一直都存在一些争议。
也许就是从那时起，OpenAI 内部就分裂成了两个派系：
一个是以奥特曼为首的发展派，他们主张积极推动社会进步和科技发展。
但结局很明显，以 Ilya 为首的安全派丧失了话语权，整个超级对齐团队被彻底解散，为了继续推行自己的发展理念和相关进程，奥特曼仍在继续清除异己。
人工通用智能（AGI）是否能够在各个方面超越人类并达到超级人工智能的水平？当这一天到来时，我们是否能够从容应对？
这些问题的答案还重要吗？你怎么看？
附：以下是对此封公开信的完整编译和翻译
《警告先进人工智能的权利》
我们是各大前沿人工智能（AI）公司的现任和前任员工，我们坚信AI技术具有巨大的潜力，能够为人类带来前所未有的好处。
我们也理解这些技术带来的严重风险。这些风险包括加剧现有的不平等、操纵和误导信息、以及失控的自主人工智能系统可能导致人类灭绝。人工智能公司自身已经承认了这些风险，政府和其他人工智能专家也有类似的看法。
我们希望这些风险能够在科学界、政策制定者和公众的充分指导下得到有效的缓解。然而，人工智能（AI）公司有强烈的财务动机避免有效的监督，我们不相信公司为自己量身定制的治理结构能够改变这一点。
人工智能（AI）公司拥有大量关于其系统能力和局限性的非公开信息，包括系统的保护措施和各种风险水平。然而，根据目前的情况，他们只需要向政府分享部分信息，并没有义务向政府汇报，也没有义务向社会公众分享任何信息。因此，我们认为他们不太可能完全自愿地分享这些信息。
只要这些公司没有有效的政府监督，那现任和前任员工就是少数能够让公司负起责任的公众人士之一。然而，广泛的保密协议阻止了我们表达担忧，除非是向那些可能未能解决这些问题的公司报告。普通的举报者保护不足以应对此类问题，因为它们主要关注非法活动，而我们关心的许多风险尚未受到监管。考虑到行业历史上一些案例中的各种报复行为，我们中的一些人合理地担心会受到各种形式的报复。我们并不是第一个遇到或谈论这些问题的人。
因此，我们强烈要求先进的人工智能（AI）公司承诺以下原则：
公司不会签订或执行任何禁止因风险相关问题而对公司进行诋毁或批评的协议，也不会通过阻碍任何既得经济利益来报复风险相关的批评；
公司将建立一个可验证的匿名流程，使现任和前任员工能够匿名地向公司的董事会、监管机构以及具有相关专业知识的适当独立组织提出与风险相关的担忧。
公司将积极支持员工公开批评的文化，并鼓励现任和前任员工向公众、公司的董事会、监管机构或具有相关专业知识的适当独立组织提出他们对技术风险的相关担忧，只要在保护商业秘密和其他知识产权利益的前提下。
公司不会对那些在其他流程失败后，公开分享风险相关机密信息的现任和前任员工采取报复措施。我们明白，任何报告风险相关担忧的努力都应避免不必要地泄露机密信息。因此，如果存在一个足够安全的匿名提出担忧的流程，现任和前任员工应首先通过这种流程提出担忧。然而，如果这样的流程不存在，现任和前任员工应保留向公众报告他们的担忧的自由。
