港大开源图基础大模型OpenGraph: 强泛化能力,前向传播预测全新数据(港大pcll)

AIGC动态欢迎阅读

原标题:港大开源图基础大模型OpenGraph: 强泛化能力,前向传播预测全新数据关键字:数据,模型,节点,性能,团队

文章来源:量子位

内容字数:7339字

内容摘要:

OpenGraph 投稿向 凹非寺量子位 | 公众号 QbitAI图学习领域的数据饥荒问题,又有能缓解的新花活了!

OpenGraph,一个基于图的基础模型,专门用于在多种图数据集上进行零样本预测。

背后是港大数据智能实验室的主任Chao Huang团队,他们还针对图模型提出了提示调整技术,以提高模型对新任务的适应性。

目前,这项工作已经挂上了GitHub。

据介绍,这项工作主要深入探讨增强图模型泛化能力的策略(特别是在训练和测试数据存在显著差异时)。

而OpenGraph旨在通过学习通用的图结构模式,并仅通过前向传播进行预测,实现对全新数据的零样本预测。

为了实现目标,团队解决了以下3点挑战:

数据集间的token差异:不同图数据集常有不同的图token集,我们需要模型能够跨数据集进行预测。

节点关系建模:在构建通用图模型时,有效地建模节点关系至关重要,这关系到模型的扩展性和效率。

数据稀缺:面对数据获取的难题,我们通过大型语言模型进行数据增强,以模拟复杂的图结构关系,提升模型训练质量。

通过一系列创新方法,如拓扑感知的图Tokenizer和基于锚点的图Transformer,Ope

原文链接:港大开源图基础大模型OpenGraph: 强泛化能力,前向传播预测全新数据

联系作者

文章来源:量子位

作者微信:QbitAI

作者简介:追踪人工智能新趋势,关注科技行业新突破

0
分享到:
没有账号? 忘记密码?