卷疯了!最强开源大模型Llama 3发布,最大参数4000亿,小扎内心:大模型比元宇宙香多了(这些价值超百万的ai开源模型,聪明人已经都下载好了)

AIGC动态欢迎阅读

原标题:卷疯了!最强开源大模型

Llama 3发布,最大参数4000亿,小扎内心:大模型比元宇宙香多了

关键字:模型,小米,字节跳动,人工智能,数据

文章来源:AI前线

内容字数:10898字

内容摘要:

作者| 冬梅

Meta 首席执行官马克·扎克伯格在声明中表示:“我们相信 Meta AI 现在是您可以自由使用的最智能的人工智能助手。”

北京时间 4 月 19 日,Meta 官宣发布了其最先进开源大型语言模型的下一代产品——Llama 3。

据悉,Llama 3 在 24K GPU 集群上训练,使用了 15T 的数据,提供了 80 亿和 700 亿的预训练和指令微调版本。

Meta 在官方博客中表示,“得益于预训练和后训练的改进,我们的预训练和指令微调模型是目前 80 亿 和 700 亿 参数尺度下最好的模型。”最大 4000 亿参数,性能直逼GPT-4

值得注意的是,此次的大模型通过后期训练程序上的改进很大程度上降低了 Llama 3 的错误拒绝率,提高了对齐度,并增加了模型响应的多样性。Meta 研发团队还发现,推理、代码生成和指令跟随等能力也有了很大提高,这使得 Llama 3 的可操控性更强。

80 亿参数模型与 Gemma 7B 和 Mistral 7B Instruct 等模型相比在 MMLU、GPQA、HumanEval 等多项基准上均有更好表现。而 700 亿参数模型

原文链接:卷疯了!最强开源大模型Llama 3发布,最大参数4000亿,小扎内心:大模型比元宇宙香多了

联系作者

文章来源:AI前线

作者微信:ai-front

作者简介:面向AI爱好者、开发者和科学家,提供大模型最新资讯、AI技术分享干货、一线业界实践案例,助你全面拥抱AIGC。

0
分享到:
没有账号? 忘记密码?