反转了?在一场新较量中,号称替代MLP的KAN只赢一局(反转再反转的段子)

AIGC动态欢迎阅读

原标题:反转了?在一场新较量中,号称替代MLP的KAN只赢一局

关键字:函数,数据,参数,解读,表示

文章来源:机器之心

内容字数:0字

内容摘要:

机器之心报道

机器之心编辑部KAN 在符号表示中领先,但 MLP 仍是多面手。

多层感知器 (Multi-Layer Perceptrons,MLP) ,也被称为全连接前馈神经网络,是当今深度学习模型的基本组成部分。MLP 的重要性无论怎样强调都不为过,因为它是机器学习中用于逼近非线性函数的默认方法。

然而,MLP 也存在某些局限性,例如难以解释学习到的表示,以及难以灵活地扩展网络规模。

KAN(Kolmogorov–Arnold Networks)的出现,为传统 MLP 提供了一种创新的替代方案。该方法在准确性和可解释性方面优于 MLP,而且,它能以非常少的参数量胜过以更大参数量运行的 MLP。

那么,问题来了,KAN 、MLP 到底该选哪一种?有人支持 MLP,因为 KAN 只是一个普通的 MLP,根本替代不了,但也有人则认为 KAN 更胜一筹,而当前对两者的比较也是局限在不同参数或 FLOP 下进行的,实验结果并不公平。

为了探究 KAN 的潜力,有必要在公平的设置下全面比较 KAN 和 MLP 了。

为此,来自新加坡国立大学的研究者在控制了 KAN 和 MLP 的参数或 FLO

原文链接:反转了?在一场新较量中,号称替代MLP的KAN只赢一局

联系作者

文章来源:机器之心

作者微信:

作者简介:

0
分享到:
没有账号? 忘记密码?