纯国产万卡集群炼出万亿参数大模型,被这家央企率先做到了!(万卡集团有限公司)

AIGC动态欢迎阅读

原标题:纯国产万卡集群炼出万亿参数大模型

,被这家央企率先做到了!

关键字:模型,中国电信,数据,报告

,集群

文章来源:量子位

内容字数:0字

内容摘要:

金磊 发自 凹非寺量子位 | 公众号 QbitAI首个由万卡集群训练出来的万亿参数大模型,被一家央企解锁了。

具体而言,为纯国产人工智能探索出这条路的正是中国电信人工智能研究院(TeleAI),是由中国电信集团 CTO、首席科学家、中国电信人工智能研究院院长李学龙教授带领团队完成。

据了解,训练使用的万卡集群由天翼云上海临港国产万卡算力池提供,并基于天翼云自研“息壤一体化智算服务平台”和电信人工智能公司自研“星海 AI 平台”的支持,可以实现万亿参数的常稳训练,平均每周仅有1.5次训练中断,集群训练稳定性达到国际领先水平。

而且基于此,TeleAI 还开源了由国产深度学习框架训练的千亿参数大模型——星辰语义大模型TeleChat2-115B。

TeleChat 是央企里首个开源的系列语义大模型,而 TeleChat2-115B 则在 TeleChat 的基础上,通过对训练数据量、数据质量和配比、模型架构等多维度的优化,取得了更进一步的效果提升!

在九月份的 C-Eval 评测 Open Access 模型综合榜单中,TeleChat2-115B 以86.9分的成绩,一举拿下了榜单第一!

原文链接:纯国产万卡集群炼出万亿参数大模型,被这家央企率先做到了!

联系作者

文章来源:量子位

作者微信:

作者简介:

0
分享到:
没有账号? 忘记密码?