豪赌!哈佛辍学华人竟然发布了只支持Transformer一种算法的AI芯片,一张顶20张H100 ,比GB200快(哈佛学子面对面)

AIGC动态欢迎阅读

原标题:豪赌!哈佛辍学华人竟然发布了只支持Transformer一种算法的AI芯片

,一张顶20张H100 ,比GB200快

关键字:芯片,模型,创始人,投资人,公司

文章来源:夕小瑶科技说

内容字数:0字

内容摘要:

夕小瑶科技说 分享来源 | 量子位首款大模型推理专用ASIC芯片问世,一上来就要挑战英伟达——

一张顶20张H100

700亿参数Llama 3吞吐量达到每秒500000(五十万)tokens

比英伟达下一代芯片GB200快一个数量级,还更便宜

Sohu芯片,来自初创公司Etched,一经推出就引起业界墙裂关注。

作为专用集成电路ASIC,与通用计算的GPU不同,它只支持Transformer一种算法,无法运行同为神经网络的CNN、LSTM、以及Mamba等状态空间模型。

Etched公司也刚刚完成1.2亿美元A轮融资(约8.7亿元人民币),Peter Thiel、GitHub现任CEO Thomas Dohmke等重量级天使投资人参与。公司还透露,已有某客户预定了价值数千万美元的硬件产品。

今天的每个SOTA模型都基于Transformer,ChatGPT

、Sora、Gemini、Stable Diffusion 3等。假如有一天Transformer被SSM、RWKV或任何新架构取代,我们的芯片将毫无价值。但如果我们是对的,Sohu将改变世界。

对此,Mamba作者Tri Dao也

原文链接:豪赌!哈佛辍学华人竟然发布了只支持Transformer一种算法的AI芯片,一张顶20张H100 ,比GB200快

联系作者

文章来源:夕小瑶科技说

作者微信:xixiaoyaoQAQ

作者简介:专业、有趣、深度价值导向的科技媒体。聚集30万AI工程师、研究员,覆盖500多家海内外机构投资人,互联网大厂中高管和AI公司创始人。一线作者来自清北、国内外顶级AI实验室和大厂,兼备敏锐的行业嗅觉和洞察深度。商务合作:zym5189

0
分享到:
没有账号? 忘记密码?