我处理了 5 亿 GPT tokens 后:langchain、RAG 等都没什么用(处理好这件事情的英文)

AIGC动态欢迎阅读

原标题:我处理了 5 亿 GPT tokens 后:langchain、RAG 等都没什么用

关键字:元宇宙,报告,模型,提示,上下文

文章来源:AI前线

内容字数:10763字

内容摘要:

作者 | KEN KANTZER

译者 | 平川

策划 | 褚杏娟

本文最初发布于 KEN KANTZER 的个人博客。

在过去的六个月里,我的创业公司 Truss(gettruss.io)发布了多项倚重 LLM 的功能,而我在 Hacker News 上读到的关于 LLM 的故事现在已经和我的实际情况脱节了,所以我想在处理过 5 亿多(我估计)tokens 之后,分享一些更“令人惊讶”的经验教训。

本文要点:

我们正在使用 OpenAI

模型,如果你想知道我对其他模型的看法,请阅读底部的问答部分。

在我们的用例中,GPT-4

占 85%,GPT-3.5 占 15%。

我们专门处理文本,因此不涉及 GPT-4-vision、Sora、whisper 等。

我们有一个 B2B 用例——重点是汇总 / 分析 – 提取,你的情况可能有所不同。

5 亿 tokens 其实并不像想象的那多,也就大概 75 万页文本,要正确看待。对于提示,少即是多我们发现,不要在提示中给出确切的列表或指令——如果这些东西已经是常识的话,这样可以获得更好的结果。GPT 并不愚蠢,你提供的细节过多,反而会让它混乱。

原文链接:我处理了 5 亿 GPT tokens 后:langchain、RAG 等都没什么用

联系作者

文章来源:AI前线

作者微信:ai-front

作者简介:面向AI爱好者、开发者和科学家,提供大模型最新资讯、AI技术分享干货、一线业界实践案例,助你全面拥抱AIGC。

0
分享到:
没有账号? 忘记密码?