字节开源大模型量化新思路，2-bit量化模型精度齐平fp16（字节和mb之间的关系）

AIGC动态欢迎阅读

原标题：字节开源大模型量化新思路，2-bit量化模型精度

齐平fp16

关键字：字节跳动,模型,部分,精度,整数

文章来源：机器之心

内容字数：8643字

内容摘要：

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com随着深度学习大语言模型的越来越火爆，大语言模型越做越大，使得其推理成本也水涨船高。模型量化，成为一个热门的研究课题。

近日，字节跳动语音团队推出一个全新的量化思路，抛弃传统的量化范式，从数学优化的角度来对量化任务建模。文章放在了 arXiv，代码已经开源，可以一键复现文中的所有结果：论文链接：https://arxiv.org/abs/2404.12759

项目链接：https://github.com/bytedance/decoupleQ

W2 算子：https://github.com/NVIDIA/TensorRT-LLM/pull/1568

1. 背景

大模型的迅速发展，使得推理成本越来越高。模型量化，作为一个降低推理成本的技术方案，得到了越来越多的

原文链接：字节开源大模型量化新思路，2-bit量化模型精度齐平fp16