OpenAI掀小模型血战!苹果DCLM强势登场,碾压Mistral 7B全开源

AIGC动态欢迎阅读

原标题:OpenAI掀小模型血战!苹果

DCLM强势登场,碾压Mistral 7B全开源

关键字:模型,数据,权重,苹果,任务

文章来源:新智元

内容字数:0字

内容摘要:

新智元报道编辑:桃子 乔杨

【新智元导读】小模型时代来了?OpenAI带着GPT-4

o mini首次入局小模型战场,Mistral AI、HuggingFace本周接连发布了小模型。如今,苹果也发布了70亿参数小模型DCLM,性能碾压Mistral-7B。小模型的战场,打起来了!

继GPT-4o mini、Mistral NeMo发布之后,苹果也入局了。

DCLM小模型包含两种参数规模——70亿和14亿,发布即开源。最大70亿参数超越了Mistral-7B ,性能接近Llama 3、Gemma。

根据苹果ML小组研究科学家Vaishaal Shankar(也是DCLM研发人员)的说法,这是迄今为止性能最好的「真正开源」的模型,不仅有权重和训练代码,而且是基于开放数据集DCLM-Baseline。

相比模型性能,DCLM做出的「真正开源」的典范更加引人关注。

对比大部分科技巨头只搞闭源模型,或「犹抱琵琶半遮面」,只开源代码或权重的做法,大方的苹果获得了网友的好评。

此外,Shankar还预告说,之后会继续上线模型中间检查点和优化器状态。

难道,这就是LLM开源社区的春天了吗?

DCLM

原文链接:OpenAI掀小模型血战!苹果DCLM强势登场,碾压Mistral 7B全开源

联系作者

文章来源:新智元

作者微信:

作者简介:

0
分享到:
没有账号? 忘记密码?