Transformer要变Kansformer?用了几十年的MLP迎来挑战者KAN(挑战者v)

AIGC动态欢迎阅读

原标题:Transformer要变Kansformer?用了几十年的MLP迎来挑战者KAN

关键字:函数,报告,表示,定理,作者

文章来源:机器之心

内容字数:15115字

内容摘要:

机器之心报道

机器之心编辑部MLP(多层感知器)用了几十年了,真的没有别的选择了吗?多层感知器(MLP),也被称为全连接前馈神经网络,是当今深度学习模型的基础构建块。

MLP 的重要性无论怎样强调都不为过,因为它们是机器学习中用于逼近非线性函数的默认方法。

然而,MLP 是否就是我们能够构建的最佳非线性回归器呢?尽管 MLP 被广泛使用,但它们存在明显的缺陷。例如,在 Transformer 模型中,MLP 几乎消耗了所有非嵌入式参数,并且通常在没有后处理分析工具的情况下,相对于注意力层来说,它们的可解释性较差。

所以,是否有一种 MLP 的替代选择?

今天,KAN 出现了。这是一个灵感来源于 Kolmogorov-Arnold 表示定理的网络。

链接:https://arxiv.org/pdf/2404.19756

Github:https://github.com/KindXiaoming/pykan

该研究一经发布,就在国外社交平台引起了广泛的关注与讨论。

有网友称,Kolmogorov 早在 1957 年就发现了多层神经网络,比 Rumerhart、Hinton 和 Willi

原文链接:Transformer要变Kansformer?用了几十年的MLP迎来挑战者KAN

联系作者

文章来源:机器之心

作者微信:almosthuman2014

作者简介:专业的人工智能媒体和产业服务平台

0
分享到:
没有账号? 忘记密码?