MIT系初创打破Transformer霸权!液体基础模型刷新SOTA,非GPT架构首次显著超越Transformer(液体怎么建模)

AIGC动态欢迎阅读

原标题:MIT系初创打破Transformer霸权!液体基础模型刷新SOTA,非GPT架构

首次显著超越Transformer

关键字:模型,团队,架构,神经网络,序列

文章来源:新智元

内容字数:0字

内容摘要:

新智元报道编辑:Aeneas 好困

【新智元导读】就在刚刚,MIT系初创公司Liquid AI推出液体基础模型LFM,1B模型在基准测试中成为SOTA,这是非GPT架构首次显著超越Transformer模型!背后功臣,就是基于团队提出的液体神经网络(LNN)。就在刚刚,MIT系初创公司Liquid AI团队官宣:推出首批多模态非Transformer模型——液体基础模型LFM。

作为通用人工智能模型,LFM可用于建模任何类型的顺序数据,包括视频、音频、文本、时间序列和信号。

目前,LFM有三种不同的规模:

1.3B的稠密模型,适用于资源高度受限的环境

3.1B的稠密模型,为边缘部署进行了优化

40.3B的混合专家(MoE)模型,专为处理更复杂的任务而设计

在各种规模上,这三个模型都实现了最佳质量表现,同时保持了更小的内存占用和更高效的推理能力。

公司的后训练主管Maxime Labonne表示,LFM是「我职业生涯中发布的最自豪的产品」

这是因为,Liquid AI的新模型保留了液体神经网络适应性的核心优势,允许在推理过程中进行实时调整,而不会产生与传统模型相关的计算开销,能够高效处

原文链接:MIT系初创打破Transformer霸权!液体基础模型刷新SOTA,非GPT架构首次显著超越Transformer

联系作者

文章来源:新智元

作者微信:

作者简介:

0
分享到:
没有账号? 忘记密码?