我们经常说，只要有人存在的地方，就会存在着各种社交圈子和人际关系，其中必然会有炒作、揭露和虚伪的现象。然而，令人意想不到的是，即使在人工智能领域，这些问题也同样存在。
4月9日，一位自称有35年软件工程师经验的网络博主卡尔逐帧复现了人工智能软件师Devin的演示视频，并根据这个视频提出了4点质疑。他认为Devin所展示的编程能力存在一定的欺骗性，并且“所处理的任务并非随机，而是演示者精心选择的刻意呈现”。
这个Devin极其独特，被誉为“全球首个AI人工智能软件师”，它受到了造假的质疑，这一事件足以震惊整个硅谷，甚至全球AI领域。
深入剖析全球首个人工智能程序员的上线经过…
让我们首先了解一下Devin的背景。
Devin是由Cognition Labs于今年3月12日发布的一项人工智能编程产品，它最大的宣传点是“全球首位人工智能工程师”。
主创介绍，Devin在长程推理和规划方面投入了大量的努力，可以处理需要数千个决策才能完成的复杂软件工程任务。具体来说有6大功能：端到端构建和部署程序，不仅解决代码问题，还包括整个工作流程；自主查找并修复bug；训练和微调自己的AI模型；修复开源库；为成熟的生产库做贡献；具备超强的学习能力，可以实时补充知识和能力短板。Devin的完整技术报告显示，在SWE-bench基准测试中，无需人类辅助，Devin可以解决13.86%的问题。
这个数据看似平平无奇，但其实已经超过了此前所有AI大模型的成绩。要知道，目前数一数二的GPT-4，在同个测试中的成绩只有1.74%，且必须配备一个人类，提示它要处理哪些文件。
Cognition Labs始终没有开放公测，但陆陆续续给出了一些内测名额。有趣的是，很多人在当时尝试了这个产品，并且给出了很高的评价。例如，热衷于人工智能的沃顿商学院教授Ethan Molick试用后对Devin表示赞赏，认为其新颖的实时交互方式是最值得关注的。他要求Devin开发一个解释“创业公司融资中的股权稀释”的网站，并且透露，人工智能目前还无法在没有任何帮助的情况下，自主且无差错地完成这项工作。
被广泛认为是一种炒作行为！所谓的专业实力，实际上只是自己制造的“自导自演”。
可反转突然间以一种毫无预兆的方式出现了。
在Cognition官网发布的长达1分50秒的演示视频里，Devin只需一句指令，就能实现端到端地处理整个开发项目。视频中还表示，Devin具备自主学习新技术的能力，可以自动进行端到端的应用构建和部署，还可以自主查找和修复代码问题等。此外，Devin还可以根据用户需求同时执行多个步骤的工作流程，程序员们可以实时观察其进度，当发现错误时，只需跳出指令就能进行修正。
但博主卡尔却站出来质疑，认为这些宣传是不实的。Devin在操作过程中看似修复了许多问题，但这些问题很多都是Devin的“自导自演”。他认为，在上述演示视频的2.936秒处，屏幕左上角显示“他们搜索过这个任务”，这意味着演示视频中Devin处理的任务并非随机，而是演示者选择的，甚至还出现了“自己现写bug然后当场修复”的骚操作。
除此之外，Devin还有很多其他的问题：例如号称能解决任何Upwork任务，但演示中解决的问题并不是prompt要解决的那一个，简直是在做无用功。或者看起来在修复bug，但是这些bug毫无意义，因为真正的人类程序员根本就不会犯那种错误。还有些时候，Devin就是在做没有意义的事情，很多事情简单两步就能搞定，但它却花里胡哨的一顿操作，把简单的问题复杂化。
关于Devin修改代码的实际水平，只能说是令人难以置信。在演示视频中，Devin花费了整整6个小时才完成了任务，而这些内容，博主卡尔仅用了不到一个小时就完成了。
大瓜引发了广泛的讨论！专业人士普遍认为：博主提出的质疑具有充分的理由和依据。
博主卡尔的质疑在圈内引起了极大的关注和广泛的讨论，这一事件在推特和YouTube上引发了热议，成为了网友们争论的焦点。
一个月前，Devin的诞生成功引起了整个人工智能领域的关注；如今，Devin的塌房再次吸引到了整个人工智能领域的目光。
而这起事件所带来的影响也是非常重大的。需要注意的是，Devin所在的公司Cognition AI是一家备受瞩目的企业，他们拥有10个IOI金牌，而且最近还宣布成功融资了2100万美元。
Cognition AI背后的团队成员共有10人，其中核心团队由3人组成，分别是Scott Wu，Steven Hao和Walden Yan。团队成员都非常年轻且富有才华。全体成员共拥有10枚国际信息学奥林匹克竞赛（IOI）金牌，许多成员在青少年时期也参加过信息学国际奥林匹克竞赛等类似比赛。在发布“全球首个AI程序员Devin”这一信息后，Cognition AI备受外界关注。根据公开资料显示，此前，Cognition AI已经获得了彼得·蒂尔的Founders Fund基金领投的2100万美元A轮融资。一旦造假事件被证实，将会带来巨大的负面影响。
对于博主卡尔的质疑，网络上的舆论大多支持博主的观点，很多网友对Devin的虚假行为表示不屑。有人还戏称，“Devin至少掌握了看起来很忙的技巧”，很多专业人士也认为卡尔的质疑有充分的理由。
仔细回顾一下，大家会发现Devin和Cognition AI的疑点早已存在。直到今天Devin仍然没有开放使用，只能通过邮箱提交申请。因此，外界对Devin的了解主要来自官方提供的演示视频，以及少数第三方开发和产品人员的评价，很少有人有机会真正体验和评估它。
所以，我们有理由相信，从呈现出的结果来看，Devin的确有虚假炒作，过度包装的嫌疑。如果是头部巨头发布新产品新工具，诸如微软Copilot这样的，都会提供充足的上下文。Devin显然没有做到，甚至连对程序的逻辑理解都不到位。
然而，我们不能因为AI程序助手的发展经历了一些困难和挫折就否定整个事情的意义。尽管Devin的功能被夸大了，但这并不能否认AI编程的发展趋势。AI程序员的存在确实可以帮助人们独立完成一些简单的开发工作，甚至可以不依赖真正的程序员的帮助，从而减少大量不需要创新的重复劳动，比如批量修改代码的命名风格和代码的依赖关系等。程序员们仍然需要各种代码辅助工具的帮助，这是不可避免的趋势。
