MLP一夜被干掉,全新神经网络架构KAN破纪录!MIT华人一作,轻松复现Nature封面AI数学研究(神经网络mpc)

AIGC动态欢迎阅读

原标题:MLP一夜被干掉,全新神经网络架构KAN破纪录!MIT华人一作,轻松复现Nature封面AI数学研究

关键字:函数,表示,定理,参数,连续函数

文章来源:夕小瑶科技说

内容字数:4146字

内容摘要:

夕小瑶科技说 分享来源 | 量子位一种全新的神经网络架构KAN,诞生了!

与传统的MLP架构截然不同,且能用更少的参数在数学、物理问题上取得更高精度。

比如,200个参数的KANs,就能复现DeepMind用30万参数的MLPs发现数学定理研究。

不仅准确性更高,并且还发现了新的公式。要知道后者可是登上Nature封面的研究啊~

▲image在函数拟合、偏微分方程求解,甚至处理凝聚态物理方面的任务都比MLP效果要好。

而在大模型问题的解决上,KAN天然就能规避掉灾难性遗忘问题,并且注入人类的习惯偏差或领域知识非常容易。

来自MIT、加州理工学院、东北大学等团队的研究一出,瞬间引爆一整个科技圈:Yes We KAN!

甚至直接引出关于能否替代掉Transformer的MLP层的探讨,有人已经准备开始尝试……

有网友表示:这看起来像是机器学习的下一步。

让机器学习每个特定神经元的最佳激活,而不是由我们人类决定使用什么激活函数。

还有人表示:可能正处于某些历史发展的中间。

GitHub上也已经开源,也就短短两三天时间就收获1.1kStar。

对MLP“进行一个简单的更改”跟MLP最大、也是最

原文链接:MLP一夜被干掉,全新神经网络架构KAN破纪录!MIT华人一作,轻松复现Nature封面AI数学研究

联系作者

文章来源:夕小瑶科技说

作者微信:xixiaoyaoQAQ

作者简介:专业、有趣、深度价值导向的科技媒体。聚集30万AI工程师、研究员,覆盖500多家海内外机构投资人,互联网大厂中高管和AI公司创始人。一线作者来自清北、国内外顶级AI实验室和大厂,兼备敏锐的行业嗅觉和洞察深度。商务合作:zym5189

0
分享到:
没有账号? 忘记密码?