阿里开源Qwen2系列模型,72B有望成为开源第一!(阿里开源工作流)

AIGC动态欢迎阅读

原标题:阿里开源Qwen2系列模型

,72B有望成为开源第一!

关键字:模型,上下文,效果,中文,问题

文章来源:算法邦

内容字数:0字

内容摘要:

01写在前面书接上回,开源时代,沸腾期待。

期待已久的Qwen2,他如约而至,他来了,他带着5个尺寸的大模型迎面走来了。

Blog:https://qwenlm.github.io/blog/qwen2/HF:https://huggingface.co/collections/Qwen/qwen2-6659360b33528ced941e557fQwen2本次开源了4个Dense模型和1个MoE模型,Dense模型包括0.5B、1.5B、7B和72B 4个尺寸,MoE模型总参数为57B,激活参数14B。

Qwen2系列模型为多语言模型,除英文和中文外,还支持其他27种语言;同时具有RAG、工具调用、角色扮演、Agent等多种功能。

02模型细节Qwen2模型跟Qwen1.5模型一致,主要采用更多的数据(据说数据量在7T以上)进行模型训练。

几种模型支持最大上下文不同:

0.5B、1.5B模型支持最大上下文为32K;

57B-A14B MoE模型支持最大上下文为64K;

7B、72B模型支持最大上下文为128K。

除英文和中文外的27种语言如下:

西欧:德语、法语、西班牙语、葡萄牙语、

原文链接:阿里开源Qwen2系列模型,72B有望成为开源第一!

联系作者

文章来源:算法邦

作者微信:allplusai

作者简介:智猩猩矩阵账号之一,聚焦生成式AI,重点关注模型与应用。

0
分享到:
没有账号? 忘记密码?