首个国产全功能GPU的万卡集群来了!“中国英伟达”出品(万卡互联是什么)

AIGC动态欢迎阅读

原标题:首个国产全功能GPU的万卡集群

来了!“中国英伟达”出品

关键字:集群,线程,模型,显存,效率

文章来源:量子位

内容字数:0字

内容摘要:

金磊 发自 凹非寺量子位 | 公众号 QbitAI纯国产GPU的万卡集群,它来了!

而且还是国内首个全功能GPU,兼容CUDA的那种。

这个集结了超过10000张高性能GPU的超复杂工程,它的算力有多大?

不卖关子,直接揭晓答案——

总算力超万P,专为万亿参数级别的复杂大模型训练而设计。

规模还只是它的特点之一,其它亮眼的地方还包括:

有效计算效率(MFU)目标最高达60%,可达到国际水平

周均训练有效率目标最高可达99%以上,平均无故障运行15天以上,也是对标业界最高标准

通用场景设计,加速一切大模型

生态Day0级快速迁移,与CUDA兼容

这便是江湖人称“中国版英伟达”的摩尔线程,对自家智算中心全栈解决方案夸娥(KUAE)升级后的最新 “打开方式”。

而纵观国内算力的发展进程,仅是今年上半年便陆陆续续有不少“头部玩家”先后宣布布局万卡集群,“打群架”之势,好不热闹。

但,万卡国产GPU,确实很少见。

加之以生成式AI为主旋律的大模型热潮当道,Scaling Law的“魔法”仍在持续奏效,训练GPT-4

所需要的GPU数量便已经达到了25000个。

以及在大模型架构方面也不只是围绕Tr

原文链接:首个国产全功能GPU的万卡集群来了!“中国英伟达”出品

联系作者

文章来源:量子位

作者微信:QbitAI

作者简介:追踪人工智能新趋势,关注科技行业新突破

0
分享到:
没有账号? 忘记密码?