米开朗基罗怎么说?谷歌DeepMind推出长上下文评估新框架(米开朗基罗的)

AIGC动态欢迎阅读

原标题:米开朗基罗怎么说?谷歌DeepMind推出长上下文

评估新框架

关键字:上下文,模型,企鹅,长度,长上

文章来源:新智元

内容字数:0字

内容摘要:

新智元报道编辑:alan

【新智元导读】近日,来自谷歌DeepMind的研究人员提出了Michelangelo,「用米开朗基罗的观点」来测量任意上下文长度的基础模型性能。米开朗基罗,文艺复兴时期著名的雕塑家。

曾有人问他是如何创作出如此伟大的作品,他回答说:

「The sculpture is already complete within the marble block, before I start my work. It is already there, I just have to chisel away the superfluous material.」

「在我开始工作之前,雕塑已经在大理石块中完成了。它已经在那里了,我只需要凿掉多余的材料。」

(小编PS:在我写稿之前,稿子已经在字典里完成了……)

这种写意的表述可以类比到许多工作,比如大语言模型从上下文中理解信息。

LLM可能面对着很长的语境(大理石),需要「凿掉」其中不相关的信息,才能理解有效的内部结构(雕塑)

所以,对于LLM来说,米开朗基罗的能力就可以是长上下文的能力。

然而,无论是用户还是研究者都不

原文链接:米开朗基罗怎么说?谷歌DeepMind推出长上下文评估新框架

联系作者

文章来源:新智元

作者微信:

作者简介:

0
分享到:
没有账号? 忘记密码?