KAN结合Transformer,真有团队搞出了解决扩展缺陷的KAT(结合的结合是什么意思)

AIGC动态欢迎阅读

原标题:KAN结合Transformer,真有团队搞出了解决扩展缺陷的KAT

关键字:函数,模型,作者,参数,初始化

文章来源:机器之心

内容字数:0字

内容摘要:

机器之心报道

编辑:小舟、陈陈Transformer 是现代深度学习的基石。传统上,Transformer 依赖多层感知器 (MLP) 层来混合通道之间的信息。

前段时间,来自 MIT 等机构的研究者提出了一种非常有潜力的替代方法 ——KAN。该方法在准确性和可解释性方面表现优于 MLP。而且,它能以非常少的参数量胜过以更大参数量运行的 MLP。

KAN的发布,引起了AI社区大量的关注与讨论,同时也伴随很大的争议。而此类研究,又有了新的进展。

最近,来自新加坡国立大学的研究者提出了 Kolmogorov–Arnold Transformer(KAT),用 Kolmogorov-Arnold Network(KAN)层取代 MLP 层,以增强模型的表达能力和性能。论文标题:Kolmogorov–Arnold Transformer

论文地址:https://arxiv.org/pdf/2409.10594

项目地址:https://github.com/Adamdad/kat

KAN 原论文第一作者 Ziming Liu 也转发点赞了这项新研究。将 KAN 集成到 Transformer

原文链接:KAN结合Transformer,真有团队搞出了解决扩展缺陷的KAT

联系作者

文章来源:机器之心

作者微信:

作者简介:

0
分享到:
没有账号? 忘记密码?