OpenAI开启推理算力新Scaling Law,AI PC和CPU的机会来了(Openai开发小册子 阿铭)

AIGC动态欢迎阅读

原标题:OpenAI

开启推理算力新Scaling Law,AI PC和CPU的机会来了

关键字:向量,模型,解读,政策,英特尔

文章来源:量子位

内容字数:0字

内容摘要:

梦晨 金磊 发自 凹非寺量子位 | 公众号 QbitAIOpenAI的新模型o1,可谓是开启了Scaling Law的新篇章——

随着更多的强化学习(训练时计算)和更多的思考时间(测试时计算),o1在逻辑推理能力上已经达到了目前天花板级别。

尤其是在北大给出的一项评测中,o1-mini模型的跑分比o1-preview还要高:

这就展示一种新的思路和可能性——

小模型专门加强推理能力,放弃在参数中存储大量世界知识。

OpenAI科学家赵盛佳给出的解释是:

o1-mini是高度专业化的模型,只关注少部分能力可以更深入。

但与此同时,也出现了另一个问题:

若是想让AI同时掌握高阶推理能力和大量知识的任务应该怎么办?

于是乎,技术的聚光灯再次对焦到了大模型和RAG的组合。

具体而言,向量数据库让大模型能够快速有效地检索和处理大量的向量数据,为大模型提供了更丰富和准确的信息,从而增强了模型的整体性能和应用范围。

可以说是让大模型有了“好记忆”,减少出现答非所问的情况。

而且这一次,小模型专业化的新趋势还对RAG中的向量数据库提出了更高的要求:

一方面是小模型存储的知识少了,对于外部知识存储和检索

原文链接:OpenAI开启推理算力新Scaling Law,AI PC和CPU的机会来了

联系作者

文章来源:量子位

作者微信:

作者简介:

0
分享到:
没有账号? 忘记密码?