国产最大MoE开源模型发布!腾讯AI Lab创始人带队,已融2亿美元(腾讯的ai智能厉害吗)

AIGC动态欢迎阅读

原标题:国产最大MoE开源模型发布!腾讯

AI Lab创始人带队,已融2亿美元

关键字:腾讯,模型,数据,专家,性能

文章来源:智东西

内容字数:0字

内容摘要:

2550亿参数、免费可商用,前腾讯副总裁创业。

编辑|香草

智东西9月13日报道,今日,大模型创企元象XVERSE发布国内最大MoE开源模型XVERSE-MoE-A36B,其总参数2550亿,激活参数360亿,实现了达到千亿级别模型的性能“跨级”跃升。

同时,这款MoE模型与其Dense模型XVERSE-65B-2相比,训练时间减少30%,推理性能提升100%,每token成本大幅下降。

元象“高性能全家桶”系列全部开源,可无条件免费商用,为中小企业、研究者和开发者提供可按需选择的多款模型。

01.

国内最大开源MoE模型

无条件免费商用

不少行业前沿模型,包括谷歌Gemini-1.5、OpenAIGPT-4

、马斯克xAI的Grok等,都使用了MoE架构。

MoE是业界前沿的混合专家模型架构,将多个细分领域的专家模型组合成一个超级模型,打破了传统扩展定律(Scaling Law)的局限,可在扩大模型规模时,不显著增加训练和推理的计算成本,并保持模型性能最大化。

在权威评测中,元象MoE效果大幅超越多个同类模型,包括国内千亿MoE模型Skywork-MoE、传统MoE霸主Mixtral

原文链接:国产最大MoE开源模型发布!腾讯AI Lab创始人带队,已融2亿美元

联系作者

文章来源:智东西

作者微信:

作者简介:

0
分享到:
没有账号? 忘记密码?