大模型降价又来新玩家——Claude,长文本缓存功能,最高节省 90% 成本(大模型 ai)

AIGC动态欢迎阅读

原标题:大模型降价又来新玩家——Claude,长文本缓存功能,最高节省 90% 成本关键字:缓存,成本,提示,模型,美元

文章来源:Founder Park

内容字数:0字

内容摘要:

Claude 深夜上新重磅功能——API 长文本缓存。

新版 API 可以「记住」一整本书或整个代码库,不需要再重复输入了。

这样一来,不仅处理长文本的延时更低,更是能节省最高 90% 的成本。

来看看这降本的效果:

假定重复部分为 1 万 Token,模型为 3.5 Sonnet,只计算输入今年 5 月,谷歌在 Gemini 更新中提出了这项功能,然后是国内的 Kimi 和 DeepSeek 团队,总之现在又轮到了 Claude。

值得一提的是,厂商 Anthropic 的推文当中提到,提示词缓存功能可以让用户用更长、更有指导性的提示词对模型进行「微调」。

有网友看了之后感慨,人们本来就很难分清提示工程(prompting)和微调(fine-tune),这下更不好区分了。

当然在这种场合下,也难免会有人点名或不点名地 cue 起隔壁的 OpenAI

以下文章转载自「量子位」。01成本节约高至 90%提示词缓存的作用,就是一次给模型发送大量 prompt,然后让它记住这些内容,并在后续请求中直接复用,避免反复输入。

对此,博主 Dan Shipper 做了这样的一个比喻:

假设你在一

原文链接:大模型降价又来新玩家——Claude,长文本缓存功能,最高节省 90% 成本

联系作者

文章来源:Founder Park

作者微信:

作者简介:

0
分享到:
没有账号? 忘记密码?