MoE再下一城!港大提出AnyGraph:首次开启「图大模型」Scaling Law之路(港大研究生申请条件及费用)

AIGC动态欢迎阅读

原标题:MoE再下一城!港大提出AnyGraph:首次开启「图大模型

」Scaling Law之路

关键字:模型,数据,专家,特征,方法

文章来源:新智元

内容字数:0字

内容摘要:

新智元报道编辑:LRST

【新智元导读】AnyGraph聚焦于解决图数据的核心难题,跨越多种场景、特征和数据集进行预训练。其采用混合专家模型和特征统一方法处理结构和特征异质性,通过轻量化路由机制和高效设计提升快速适应能力,且在泛化能力上符合Scaling Law。图数据,作为一种不可或缺的数据表现形式,广泛渗透于社交网络、学术科研网络、交通管理系统及生物信息网络等诸多领域。作为最广泛应用的图学习范式,图表征学习致力于学习图中节点的表示向量,融合结构特性与节点特征,以实现精准的预测与分析。

近年来涌现出了大量的图学习方法,包括图神经网络、图自监督学习、图预训练和微调方法、以及图大语言模型。这些方法不断精进图学习模型的建模能力和预测精度,近年的一些方法探索了增强图模型泛化能力的途径。然而,当前方法普遍依赖于复杂的调优流程,难以灵活应对实际图数据复杂多变的结构与特征特性。当图数据涉及多个领域,且模型在训练阶段未曾见过时,当前模型难以处理,体现了现有方法在跨领域的零样本预测任务上泛化性能的不足。

为了解决这一问题,香港大学的研究人员提出AnyGraph这一图基础模型。论文链接:https:/

原文链接:MoE再下一城!港大提出AnyGraph:首次开启「图大模型」Scaling Law之路

联系作者

文章来源:新智元

作者微信:

作者简介:

0
分享到:
没有账号? 忘记密码?