Meta发布最强开源模型Llama 3.1 405B,扎克伯格:明年开源大模型全面领先闭源(开源im推荐)

【创富AI】7月24日消息,Meta推出开源模型Llama 3.1,包括3个大小版本,分别是迄今为止最强大的开源模型Llama 3.1 405B,以及全新升级的Llama 3.1 70B和8B模型。

Meta CEO扎克伯格的公开信也在官网贴出,他指出,开源大模型正在迅速缩小差距。去年,Llama 2 还只能与上一代闭源模型性能相当;今年,Llama 3 与最先进的模型相媲美,并在某些领域处于领先地位;从明年开始,预计未来的Llama模型将成为业内最先进的。

同时,Meta AI宣布已接入Llama 3.1 405B,并推出AI图片编辑、AI编程等新功能。

Llama 3.1 405B性能超GPT-4o,采用超16000个H100 GPU训练

Meta在公开文档中介绍,Llama 3.1将上下文长度扩展到 128K,增加了对八种语言的支持。

其中,Llama 3.1 405B在基于15万亿个Tokens、超16000个H100 GPU上进行训练,这是Meta有史以来第一个以这种规模进行训练的Llama模型。

Llama 3.1 405B 在常识、可操纵性、数学、工具使用和多语言翻译方面的最先进能力方面可与GPT-4o、Claude 3.5 Sonnet和Gemini Ultra等顶级 AI 模型相媲美。

最新推出的Llama 3.1

0
分享到:
没有账号? 忘记密码?