【创富AI】7月24日消息,Meta推出开源模型Llama 3.1,包括3个大小版本,分别是迄今为止最强大的开源模型Llama 3.1 405B,以及全新升级的Llama 3.1 70B和8B模型。
Meta CEO扎克伯格的公开信也在官网贴出,他指出,开源大模型正在迅速缩小差距。去年,Llama 2 还只能与上一代闭源模型性能相当;今年,Llama 3 与最先进的模型相媲美,并在某些领域处于领先地位;从明年开始,预计未来的Llama模型将成为业内最先进的。
同时,Meta AI宣布已接入Llama 3.1 405B,并推出AI图片编辑、AI编程等新功能。
Llama 3.1 405B性能超GPT-4o,采用超16000个H100 GPU训练
Meta在公开文档中介绍,Llama 3.1将上下文长度扩展到 128K,增加了对八种语言的支持。
其中,Llama 3.1 405B在基于15万亿个Tokens、超16000个H100 GPU上进行训练,这是Meta有史以来第一个以这种规模进行训练的Llama模型。
Llama 3.1 405B 在常识、可操纵性、数学、工具使用和多语言翻译方面的最先进能力方面可与GPT-4o、Claude 3.5 Sonnet和Gemini Ultra等顶级 AI 模型相媲美。
最新推出的Llama 3.1