DeepMind新方法:训练时间减少13倍,算力降低90%(Deep Learning Toolbox)

AIGC动态欢迎阅读

原标题:DeepMind新方法:训练时间减少13倍,算力降低90%

关键字:数据,模型,团队,据点,视觉

文章来源:量子位

内容字数:0字

内容摘要:

一水 发自 凹非寺量子位 | 公众号 QbitAI大幅节省算力资源,又又又有新解了!!

DeepMind团队提出了一种新的数据筛选方法JEST——

将AI训练时间减少13倍,并将算力需求降低90%。

简单来说,JEST是一种用于联合选择最佳数据批次进行训练的方法。

它就像一个智能的图书管理员,在一大堆书(数据)中挑选出最适合当前读者(模型)阅读的几本书(数据批次)。

这样做可以让读者更快地学到知识(训练模型),还能节省时间(减少迭代次数)和精力(减少计算量)。

研究显示,JEST大幅加速了大规模多模态预训练,与之前的最先进水平(SigLIP)相比,迭代次数和浮点运算次数减少了10倍。

对于上述结果,有网友惊呼:

新研究将成为AI训练的游戏规则改变者!

还有人点出了关键:

对于担心人工智能需求过高的电网来说,这可能是个极好的消息!

那么,新方法究竟是如何运作的?接下来一起看团队成员相关揭秘。

揭秘新方法JEST首先,现有的大规模预训练数据筛选方法速度慢、成本高,并且没有考虑到批次组成或训练过程中数据相关性的变化,这限制了多模态学习中的效率提升。

因此,DeepMind团队研究了联合选择数

原文链接:DeepMind新方法:训练时间减少13倍,算力降低90%

联系作者

文章来源:量子位

作者微信:QbitAI

作者简介:追踪人工智能新趋势,关注科技行业新突破

0
分享到:
没有账号? 忘记密码?