8B模型奥数成绩比肩GPT-4!上海AI Lab出品(basu模型讲述)

AIGC动态欢迎阅读

原标题:8B模型奥数成绩比肩GPT-4

!上海AI Lab出品

关键字:节点,模型,成绩,答案,样本

文章来源:量子位

内容字数:0字

内容摘要:

克雷西 发自 凹非寺量子位 | 公众号 QbitAI只要1/200的参数,就能让大模型拥有和GPT-4一样的数学能力?

来自复旦和上海AI实验室的研究团队,刚刚研发出了具有超强数学能力的模型。

它以Llama 3为基础,参数量只有8B,却在奥赛级别的题目上取得了比肩GPT-4的准确率。

这款模型名为MCTSr,是将AlphaGo中用到的蒙特卡洛算法与Llama3结合而成。

它能用少量的数据实现和GPT-4等的相同效果,让网友感叹Q*成真了,小模型在数学上也能做的和GPT-4等著名模型一样好。

就此又有网友表示,MCTSr能用极少的参数实现相同的效果,加上有时候训练收益随规模递减,表明架构才是当前AI的瓶颈,而不是运算。

这样的趋势也让人想起了AI算力霸主英伟达,开始思考规模化是不是不那么重要了,会不会利空老黄呢?

所以,MCTSr具体运用了什么样的方法呢?

将蒙特卡洛引入大模型MCTSr名字里是MCT,指的就是蒙特卡洛树(Monte Carlo Tree),而Sr则指的是自我完善(Self-Refine)。

蒙特卡洛树又称随机抽样或统计试验方法,是指一种使用重复随机采样生成合成模拟数据

原文链接:8B模型奥数成绩比肩GPT-4!上海AI Lab出品

联系作者

文章来源:量子位

作者微信:QbitAI

作者简介:追踪人工智能新趋势,关注科技行业新突破

0
分享到:
没有账号? 忘记密码?