抛弃自回归，连接一致性Diffusion和LLM！UCSD上交新作热度紧追AF 3（ucsd communication）

AIGC动态欢迎阅读

原标题：抛弃自回归，连接一致性Diffusion和LLM！UCSD上交新作热度紧追AF 3

关键字：模型,语言,算法,论文,序列

文章来源：新智元

内容字数：4063字

内容摘要：

新智元报道编辑：乔杨 好困

【新智元导读】来自加州大学圣地亚哥分校和上海交通大学的几位研究者发表了他们关于「一致性大语言模型」的研究成果（Consistency LLM），使用Jacobi解码算法实现并行化并使用「一致性损失函数」，将文字生成速度提升了2.4-3.4倍。DeepMind新发布的AlphaFold 3是科技圈今天的绝对大热门，成为了Hacker News等许多科技媒体的头版头条。

Hacker News热榜上紧随其后的则是今年2月发布的论文「一致性大语言模型」。

到底是什么样的成果，竟然可以顶着AlphaFold 3的热度出圈？

这篇论文不仅切中了大语言模型推理速度慢的痛点，而且实现了性能大幅度提升。

CLLM在多个下游任务上都取得了2-3倍的加速，且推理过程没有引入额外成本。在GSM8K和Spider两个任务中，相比今年1月刚发布的Medusa 2都有了明显提升。

论文的两位共同一作都是一年级博士生，分别是来自上海交通大学的寇思麒和来自加州大学圣地亚哥分校的胡岚翔，他们的指导老师是交大的邓志杰教授和UCSD的张昊教授，后者也是Vicuna/vLLM/Chatbot A

原文链接：抛弃自回归，连接一致性Diffusion和LLM！UCSD上交新作热度紧追AF 3

联系作者

文章来源：新智元

作者微信：AI_era

作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。