AIGC动态欢迎阅读
原标题：Llama 4训练已开启！Meta科学家最新采访，揭秘Llama 3.1是如何炼成的
关键字：模型,基准,数据,论文,架构文章来源：新智元
内容字数：0字内容摘要：
新智元报道编辑：乔杨
【新智元导读】最近，Latent Space发布的播客节目中请来了Meta的AI科学家Thomas Scialom。他在节目中揭秘了Llama 3.1的一些研发思路，并透露了后续Llama 4的更新方向。刚刚发布的开源「巨无霸」Llama 3.1虽然自带论文，但依旧激起了广大网友强烈的好奇心和求知欲。
Llama 3.1都使用了哪些数据？其中有多少合成数据？为什么不使用MoE架构？
后训练与RLHF流程是如何进行的？模型评估是如何进行的？
我们什么时候可以见到Llama 4？Meta是否会发展agent？
恰逢Llama 3.1刚刚发布，Meta科学家就现身播客节目Latent Space，秉持着开源分享的精神，对以上问题都作出了清晰的回答。
受访者Thomas Scialom现任Meta的人工智能研究科学家，领导了Llama 2和Llama 3的后训练，并参加了CodeLlama、Toolformer、Bloom、GAIA等多个项目。
以下是采访内容的节选。
Llama 3.1研发思路如何决定参数规模其实LLM的参数规模的选择需要考虑多种因素，包括scalin原文链接：Llama 4训练已开启！Meta科学家最新采访，揭秘Llama 3.1是如何炼成的
联系作者
文章来源：新智元
作者微信：
作者简介：
