MLP一夜被干掉!MIT加州理工等革命性KAN破记录,发现数学定理碾压DeepMind(麻省理工大学加州理工大学)

AIGC动态欢迎阅读

原标题:MLP一夜被干掉!MIT加州理工等革命性KAN破记录,发现数学定理碾压DeepMind

关键字:函数,参数,变量,研究人员,解释性

文章来源:新智元

内容字数:11271字

内容摘要:

新智元报道编辑:桃子 LRS

【新智元导读】无需怀念MLP,新网络KAN基于柯尔莫哥洛夫-阿诺德定理,带着更少的参数、更强的性能、更好的可解释性来了,深度学习架构革新进入新时代!一夜之间,机器学习范式要变天了!

当今,统治深度学习领域的基础架构便是,多层感知器(MLP)——将激活函数放置在神经元上。

那么,除此之外,我们是否还有新的路线可走?就在今天,来自MIT、加州理工、东北大学等机构的团队重磅发布了,全新的神经网络结构——Kolmogorov–Arnold Networks(KAN)。

研究人员对MLP做了一个简单的改变,即将可学习的激活函数从节点(神经元)移到边(权重)上!

论文地址:https://arxiv.org/pdf/2404.19756

这个改变乍一听似乎毫无根据,但它与数学中的「逼近理论」(approximation theories)有着相当深刻的联系。

事实证明,Kolmogorov-Arnold表示对应两层网络,在边上,而非节点上,有可学习的激活函数。

正是从表示定理得到启发,研究人员用神经网络显式地,将Kolmogorov-Arnold表示参数化。

值得一

原文链接:MLP一夜被干掉!MIT加州理工等革命性KAN破记录,发现数学定理碾压DeepMind

联系作者

文章来源:新智元

作者微信:AI_era

作者简介:智能+中国主平台,致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展,关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响,领航中国新智能时代。

0
分享到:
没有账号? 忘记密码?