今天凌晨的苹果WWDC证实了一点：人工智能（AI）推理算力将在未来三到五年内主要依赖于云端服务。是的，苹果与OpenAI建立了战略合作，计划将下一代iOS系统与ChatGPT深度融合；但是绝大部分生成式AI推理，包括文字和图片生成任务，仍将上传到ChatGPT的数据中心，在云端完成。关于这一点，OpenAI在公告中已经说得很清楚了。苹果的“端侧AI”主要仍局限于软件层面。
如果连苹果都做不到推理算力的“端侧化”，那么其他手机厂商就更做不到了。PC端可能比移动端的进展稍微好一点，但是在可见的未来，大部分AI PC（包括桌面工作站）仍将基于英伟达的桌面级显卡，而且只能执行参数规模相对较小的（蒸馏后的）大模型推理。无论从技术角度还是成本角度考虑，大模型及应用开发商都会更乐意在云端即数据中心完成大部分推理任务。资本市场再次认识到了这一点，所以WWDC举行之后，苹果股价下跌而英伟达股价微涨。
在未来很长一段时间里，我们不必过多考虑“端侧算力”。既然如此，国内AI算力紧缺的问题，就不可能通过发展所谓“端侧算力”的方式去解决。自从2022年11月底ChatGPT横空出世以来，国内AI算力几乎始终处于紧缺状态，这是由下列因素共同决定的：
全球人工智能（AI）算力非常稀缺，特别是在制造领域。目前，只有台积电能够代工英伟达的H系列显卡（三星无法代工），这导致产能瓶颈将持续数年。
由于美国对芯片出口的禁令越来越严格，尤其是在2023年下半年进行了全面加强之后，国内厂商购买数据中心级显卡变得越来越困难。
我们知道，AI大模型所需算力分为训练和推理两种，前者的要求更高一些；国内的现状则是两种算力都不足。讽刺的是，前几年国内发展云游戏期间，互联网大厂和电信运营商均采购了一批英伟达Turing架构的显卡用于架设RTX刀片服务器，这些显卡可以用于AI推理；如果没有云游戏，国内推理算力的瓶颈将更加严重。中国游戏产业是一个任劳任怨的背锅产业，谁都能来踩一脚，谁都能污名化，但是拯救所谓“硬科技”产业偏偏还得靠它！
即便如此，国内人工智能推理算力的供需关系仍然非常紧张。所以，过去一个月国内生产的大型模型的“降价”举措，很大程度上只是一种表面上的行为艺术。尤其是对于企业客户而言，无论大型模型应用程序接口的调用价格降到多低，关键在于能否购买到足够的数量。现在的问题是“有价无市”：只有非常小规模的采购才能按照“刊例价”执行，稍大规模的采购就必须与销售人员单独洽谈并排队，实际成交价格难以预测（肯定远高于“刊例价”）。
不要说B端用户，哪怕C端用户也能感受到推理算力的紧张：国内的几个最流行的AI大模型应用，免费用户在高峰期几乎一定会遇到需要排队的状况，必须充值或打赏才能加快进度。要知道，目前国内主流生成式AI应用的DAU普遍只有几百万量级，推理算力就已经如此匮乏；如果真的出现上亿DAU的AI超级应用，算力几乎肯定是跟不上的——所以目前国内不可能出现这样的超级应用。（注：文心一言和通义千问均自称累计用户超过1亿、每日API调用次数超过1亿，但是与1亿DAU还差很远；豆包估计也差很远。）
可以想象，比推理要求更高的训练算力更加紧缺。2024年2月，字节跳动在一篇论文当中公布了它于前一年9月组建的“万卡集群”。遗憾的是，它是由1.2万张（比较落后的）A100显卡组成，而美国科技巨头早已换上了由（更先进的）H100组成的“万卡集群”，例如Meta的LLaMA-3就是由2.5万张H100组成的集群训练的；以亚马逊为代表的云计算大厂正在积极转向（更更先进的）B100及GB200算力集群。A系列显卡发布于2020年，当时芯片禁令尚未出台，国内采购没有多大障碍；H系列显卡发布于2022年，芯片禁令已经出台，但是国内仍然可以通过采购“专供版”（主要是H800）的方式绕过；B系列显卡于2024年发布，此时绕过芯片禁令的途径已经非常狭窄、朝不保夕。
长期、严重的算力瓶颈，给国内AI产业带来了两个深刻影响。首先，算力紧缺意味着算力价格高昂（无论以自购显卡还是租用的形式），国内所有大模型厂商的售价均无法覆盖训练+推理成本，有些甚至无法覆盖边际推理成本，卖一单亏一单（最近一波降价之后可能亏的更严重）。其次，国内大部分算力集中在少量科技大厂手中，创业公司高度依赖它们，十分渴望它们以算力的方式投资入股。 结论就是大模型创业在国内是一门非常差的生意，远远比不上当年的移动互联网创业。
下面我们可以通过问答的形式，进一步说明国内AI算力的现状。问题是市场上最关心的那些问题，回答则不是来自我本人，而是来自我在云计算和AI行业的信赖的朋友，我只是总结他们的答案罢了。
问：目前国内人工智能算力储备及分布状况大致如何？
答：先说训练使用的“大卡”。如果把A100-800、H100-800均算作“大卡”的话，那么国内的“大卡”储备肯定超过六位数，甚至可能超过了20万张。问题在于随着技术进步，A系列已经很难再被视为“大卡”了。如果按照扎克伯格所谓的“H100等效算力”，国内的储备肯定不超过六位数，而仅仅Meta一家的“H100等效算力”就已经超过了30万张，2024年底将突破65万张，远远超过了国内所有大厂的算力储备之和。
具体到算力分布，有两个标准：第一是“掌握的算力”，第二是“能调用的算力”。阿里巴巴这样的云计算大厂掌握了巨大的算力资源，但其中很大一部分要出租给客户，自家用于大模型训练和推理的可调用算力未必有绝对优势。如果只考虑“掌握的算力”，国内第一的无疑是阿里巴巴，其次是百度、字节跳动，腾讯可能稍微少一些。许多互联网公司都掌握了一两千张大卡的算力，因为内容推荐算法、自动驾驶训练等环节都需要使用。
关于推理算力的分布情况更加复杂多样。前文已经提到，云游戏所使用的显卡可以用于一定程度的推理任务，目前国内的推理算力可能有相当一部分来自于之前的云游戏算力。
问：如何评估国内替代AI算力的发展情况？
答：在训练端的难度非常大，即使某些国产显卡声称其技术参数可以达到A100的水平，但它们缺乏NVlink互联技术和CUDA开发环境，因此无法胜任大规模模型训练的任务。此外，A100是英伟达在2020年发布的产品，到2024年追赶这款产品的水平已经落后了四年，因此并没有先进性可言。大规模模型不是原子弹，它是一种注重性价比的民用商品，使用非主流硬件开发的大规模模型可能没有商业价值。
但是在推理端，不是完全没有可能，因为推理卡对NVlink和CUDA的依赖程度很小。然而，在推理端，虽然英伟达的市场份额仍然很高，但相比于训练端，它的竞争力要稍逊一筹。推理算力的技术路线也在不断演变，而英伟达仍然是技术变革的领导者。如果有选择的话，主流大厂肯定会倾向于采购英伟达的推理解决方案。然而，国内厂商由于芯片禁令的限制，无法选择，只能在推理端努力进行国产替代，虽然相对于没有替代方案来说，还是有一定的优势。
问：如何评估Groq以及国内某些厂商推出的“超越英伟达”的推理卡的性能？
答：在高度特化的技术路线下，确实有可能开发出表现技术远超英伟达同期产品的推理卡——但是这样做的代价是应用场景十分狭窄。这样的显卡不仅仅适用于大型模型的推理，甚至可能只适用于某一特定类型的推理任务。大型公司在建立数据中心时需要考虑到通用性和未来的升级需求，而高度特化的显卡无法满足这些需求。前面提到过，云游戏所使用的显卡可以用于推理任务，但是高度特化的推理卡能够执行图形渲染任务吗？能够执行自动驾驶等非生成式的推理任务吗？
而且，硅谷那些财大气粗的大公司，现在流行使用“大卡”同时进行训练和推理任务：这样可以提高速度、增加灵活性，并且更方便管理。你的训练任务在全年中并不是均匀分布的，可能在这三个月内训练消耗的计算能力更多，接下来推理消耗的计算能力更多，因此建立一个统一的“大卡”集群有助于提高灵活性。当然，这样做并不经济，所以推理任务主要还是由推理卡执行。我只是想说，英伟达在训练端和推理端的竞争优势是相辅相成的，而不是彼此孤立的。
问：绕过芯片禁令的可能性大吗？目前大家的替代方案是什么？
答：很多人认为，芯片禁令可以以“非正常”手段绕过。但他们忽视了两点：第一，英伟达高端显卡近年来一直供不应求，所以不存在大量的二手及散货市场，即使是海外大厂淘汰下来的显卡一般也是内部处理。第二，即便你能通过其他途径获取一些显卡，也无法获得英伟达官方的技术支持。
H系列和B系列训练卡都不是单片出售的，而是以服务器（训练机）为单位出售。B系列训练机已经非常类似于高端数控机床这样的高精尖设备，内部可以植入地理位置判断系统，一旦发现地理位置偏移，就能自动停机。因此，无论从理论上还是实践中来看，只要英伟达愿意严格执行芯片禁令，就很难绕过它。尽管英伟达肯定愿意增加客户数量、开拓中国市场，但目前它的显卡销售情况非常好，短期内也不太可能主动承担违反禁令的风险。
当然，一切都是可以商量的。只要双方都有真诚的意愿进行交易，并愿意提供一些利益的交换，没有什么生意是无法达成的。关键在于双方对于做生意的决心有多强烈！我们不能低估解决问题的难度——因为只有充分认识到问题的难度，才能从实际角度解决问题。片面低估难度并假装问题已经解决是不可取的，相信真正的专业人士不会这样做。
