100B 的「跨级」跃升!元象发布最大 MoE 开源大模型,「高性能全家桶」系列全部免费(上海元象模型有限公司)

AIGC动态欢迎阅读

原标题:100B 的「跨级」跃升!元象发布最大 MoE 开源大模型

,「高性能全家桶」系列全部免费

关键字:腾讯,模型,专家,数据,权重

文章来源:AI前线

内容字数:0字

内容摘要:

作者 | 华卫

9 月 13 日,元象 XVERSE 发布中国最大 MoE 开源模型:XVERSE-MoE-A36B。该模型总参数 255B,激活参数 36B,能 达到 100B 模型的性能「跨级」跃升,同时训练时间减少 30%,推理性能提升 100%,使每 token 成本大幅下降。

并且,元象「高性能全家桶」系列全部开源,无条件免费商用,海量中小企业、研究者和开发者能按需选择。

MoE(Mixture of Experts)是业界前沿的混合专家模型架构 ,将多个细分领域的专家模型组合成一个超级模型,打破了传统扩展定律(Scaling Law)的局限,可在扩大模型规模时,不显著增加训练和推理的计算成本,并保持模型性能最大化。出于这个原因,行业前沿模型包括谷歌 Gemini-1.5、OpenAIGPT-4

、马斯克旗下 xAI 公司的 Grok 等大模型都使用了 MoE。

免费下载大模型

Hugging Face:https://huggingface.co/xverse/XVERSE-MoE-A36B

魔搭:https://modelscope.cn/models/xvers

原文链接:100B 的「跨级」跃升!元象发布最大 MoE 开源大模型,「高性能全家桶」系列全部免费

联系作者

文章来源:AI前线

作者微信:

作者简介:

0
分享到:
没有账号? 忘记密码?