RAG（Retrieval Augmented Generation）是一种基于检索的生成技术，它通过从大规模语料库中检索相关信息来辅助生成文本。长文本是指长度较长的文本，通常包含多个句子或段落。在自然语言处理（NLP）领域，长文本建模是一个重要的研究方向，它旨在提高语言模型对长文本的理解和生成能力。
虽然 RAG 可以减轻模型的记忆负担，但它并不能取代模型本身的语言理解和推理能力。在代码生成方面，研究人员分享了一个最新技术：Task Weaver。Task Weaver 是微软的框架，用 GPT 的一个常规模型来完成。它本质是把一个复杂任务拆成很多小部分，然后再把每个小部分再去做 code intervention，中间用代码的形式来交互。在每一个小部分里面，开始套各种套模板。这种用在长文本的话，可以解决掉内容丢失的问题。但是这个模型上下文不长，超过 8K 就结束了。特别是它里面有个 Tools 叫 RAG，它占用上下文很大，每次调用 Tools，就会把 RAG 里面的东西全部抛进来，RAG 会作为一个 Tools 的 Observation 返回给 Agent。之后，把整个 Agent 的结果成为下一个 RAG 的内容，在下一次 Agent 的时候再套，再把这个记录套回去。如果长文本技术的发展提升，Agent 上限可能会提高。
总的来说，RAG 和长文本各有所长，它们可以相互补充，提高语言模型的性能和泛化能力。
