大语言模型的涌现能力（Emergent）｜OpenBMB论文速读第 8 期（语言模型的困惑度）

【论文速读】是OpenBMB发起的大模型论文学习栏目，用 高效的思维导图形式，带领大家在 10min内快速掌握一篇 前沿经典论文。我们邀请来自清华大学自然语言处理实验室以及各大高校、科研机构的 学术达人作为主讲人分享大模型领域论文。

本期论文速读带大家了解前沿的研究者是如何发现大模型（Large Language Model）的涌现能力——Emergent Abilities of Large Language Models (2022.10)，由清华大学计算机系博士研究生胡声鼎进行领读。 B站视频链接：https://www.bilibili.com/video/BV1qX4y1i78J/?spm_id_from=333.999.0.0&vd_source=cd29f4e20ef69babd26f4f34cc7c8b3f

01  作者信息 

Jason Wei：Google Research 高级研究员，主要研究大模型 scaling，是inverse scaling 的发现者

Yi Tay：Google Researc 研究员，主要研究大模型 scaling、efficient transformers‍

Percy Liang：Stanford

Jeff Dean ：Google Brain

02  论文简介 

关键词 KeyWords LLMs Emergent Ability Scaling 摘要概览 Abstract

下游任务能力在大模型上的不可预测性

不能从小模型的的性能外推

是否能通过继续扩大模型规模来获得更多涌现能力

03  研究设计 

涌现现象 通常的涌现现象：系统中的定量变化导致行为的质变。 大模型的涌现现象：能力不存在于较小的模型中，而是存在于较大的模型中。 实验框架

Performance 和 FLOPs（计算量）的关系

Performance 和 Model Parameters 的关系

叠甲：emergent 与很多因素有关，本文指 emergent 现象普遍存在。

‍

04  实验及结果 

实验 01 涌现能力在数据集上的实验‍

上图 A-H 这些 task 以 fewshot 形式展示过以后都有 emergent

不同模型 emergent scale 不一样

有的 task 只有 540B 的 Palm emerge

‍

实验 02‍ 增强语言模型能力的 emerge 现象

指令微调（Instruction tuning）、思维链（Chain-of-thought）等增强语言模型能力的方法都有一定程度的涌现

联想：之前的 prompt tuning，parameter efficient tuning，都是某种随着模型规模扩大的涌现

‍‍‍‍‍

05   结果讨论 

Emergent 现象的解释

多步能力说     每个子能力达到 90% -> 一无是处     每个子能力达到 95% -> 能完成一些任务了 指标缺陷说

奇怪的现象：交叉熵损失不是 emergent 的，而是在逐步下降

Emergent 的阈值可能会越来越小

更干净的数据，更好的训练技巧，更优秀的模型结构都可以使 Emergent 阈值变小

未来方向

继续扩大模型规模，远未达到上限

一些新结构的 scaling、数据的 scaling

理解 prompt 机制

用更前沿的 task 来指导 emergent

理解 emergence

06  论文贡献

优点

第一次正式提出emergent实验 做了充分的实验表明该现象在各种数据集上广泛存在 甚至验证了一些”方法”的涌现 提出了一些解释该现象的观点,并提出质疑

局限‍‍

没有解释 emerge 现象到底由什么因素导致

实验采用各种不同模型，无法得出哪个计算量级对哪种能力有 emerge

 ▾ 传送门   论文链接 

? https://arxiv.org/pdf/2206.07682

 ▾   公众号回复 「论文速读」 即可获得高清完整版思维导图 

我们为读者准备了一份高清思维导图，包括了论文中的重点亮点以及直观的示意图。点击下方名片关注 OpenBMB ，后台发送“论文速读” ，即可领取论文学习高清思维导图和 FreeMind ！

本期论文速读视频版已发布于 视频号 和 B站 （视频讲解比文字阅读更加详细易懂），欢迎大家评论和分享~

以上是本期论文速读的全部内容，后续 OpenBMB 会围绕大模型介绍更多前沿论文，欢迎大家持续关注！‍

除涌现外，还发现了大模型的更多有趣特性？欢迎参与 BMPrinciples 的共建！

 ➤  BMPrinciples

? https://github.com/OpenBMB/BMPrinciples

 ➤ 加社群/ 提建议/ 有疑问 

请找 OpenBMB 万能小助手： 官方网站 https://www.openbmb.org GitHub https://github.com/OpenBMB https://github.com/thunlp

长期开放招聘｜含实习

开发岗  |  算法岗  |  产品岗

交流QQ群 735930538