73年前，香农已经给大模型发展埋下一颗种子（香农是谁）

AIGC动态欢迎阅读

原标题：73年前，香农已经给大模型发展埋下一颗种子

关键字：英语,冗余,字母,语言,单词

文章来源：机器之心

内容字数：0字

内容摘要：

机器之心报道

编辑：泽南、杜伟AI 考古，追溯到了祖师爷头上。当今 AI 领域爆火的大语言模型（LLM），其原理是香农提出来的？

今天，普林斯顿大学教授承现峻（Sebastian Seung）抛出了这样一个观点：1951 年，在贝尔实验室（总部位于新泽西州 Murray Hill）工作的克劳德・香农提出了预测下一个单词的问题，这成为了当前大语言模型（LLM）的种子。

如今很多看似新潮前沿的概念，其实距离提出已经相隔了好几十年，即使在计算机科学这样的新兴领域，例子也屡见不鲜。这个观点以及提到的 Murray Hill 引起热议，图灵奖得主、Meta 首席科学家 LeCun 表示，新泽西州的 Murray Hill、Florham Park 和普林斯顿都「诞生」了很多有影响力的工作。

LeCun 又列举了很多知名的研究成果：

Hopfield 网络（美国科学家 Hopfield 同时在贝尔实验室和普林斯顿大学任职）。

ConvNets

Boosting/Adaboost

非负矩阵分解

支持向量机（SVM）和核机

结构化预测

计算学习理论 / VC 理论中的大量内容那么说在这其中，香农给如今

原文链接：73年前，香农已经给大模型发展埋下一颗种子