Agent再升级!清华团队提出智能体GitAgent,可以利用GitHub自主扩展工具。(清华大学智能产业研究院将以人工智能)

谷歌最新研究:利用机器学习增强语言模型

AIGCBench:全面评估 人工智能 视频生成

PLLaMa:植物科学领域的开源重要工具

清华团队最新研究:巨型模型如何影响心理学研究?

标题最新研究:在语音对话中合成 “人类”

Auffusion:一个全新的文本转语音生成系统

LARP:一种以开放世界游戏为基础的角色扮演游戏

清华团队推出了一款名为GitAgent的智能工具,可以在GitHub上自主扩展。

DeepMind 提出 AutoRT:用更强大的模型更有效地训练智能机器

人工智能 能像人类一样具备创造力吗?

1. 谷歌最新研究:利用LLM提升LLM性能

这些基础模型拥有数十亿个参数,并经过大量数据语料的训练,在多个领域展现出了出色的技能。然而,由于它们庞大且单一的结构,对它们进行增强或传授新技能是具有挑战性且成本高昂的。另一方面,由于这些模型具备适应能力,目前正在训练一些新实例,以应对新领域和新任务。

为此,来自 Google DeepMind 和 Google Research 的研究团队探讨了如何高效、实际地将现有基础模型与更具体的模型组合起来,从而实现新能力,并提出了 CALM,它通过模型间的交叉注意力机制来组合它们的表征。据介绍,CALM 的显著特点包括:

1)通过“重用”现有的大型语言模型(LLMs),以及少量额外的参数和数据,在新的任务中扩展LLM;

2)保持现有模型权重不变,从而保留了现有的功能;

3)适用于各个领域和环境。

研究结果显示,通过使用在低资源语言上训练的较小模型来增强PaLM2-S,在诸如翻译成英语和低资源语言的算术推理等任务上,可以实现高达13%的绝对性能提升。同样地,当PaLM2-S与专门的代码模型结合时,在代码生成和解释任务上实现了相对性能提升40%,与完全微调的模型相当。

Agent再升级!清华团队提出智能体 GitAgent,可基于 GitHub 自主扩展工具

0
分享到:
没有账号? 忘记密码?