rag 是什么(rag是什么意思英文翻译)

RAG(Retrieval-Augmented Generation)是一种结合检索和生成能力的自然语言处理架构,旨在为大语言模型(LLM)提供额外的、来自外部知识源的信息。简单来说,就是通过检索的模式,为大语言模型的生成提供帮助,从而使大模型生成的答案更符合要求。

在这个过程中,首先检索外部数据,然后在生成步骤中将这些数据传递给 LLM。我们可以将一个 RAG 的应用抽象为 5 个过程:

文档加载(Document Loading):从多种不同来源加载文档。LangChain 提供了 100 多种不同的文档加载器,包括 PDF 在内的非结构化的数据、SQL 在内的结构化的数据,以及 Python、Java 之类的代码等。 文本分割(Splitting):文本分割器把 Documents 切分为指定大小的块,我把它们称为“文档块”或者“文档片”。 存储(Storage):存储涉及到两个环节,分别是: 将切分好的文档块进行嵌入(Embedding)转换成向量的形式。 将 Embedding 后的向量数据存储到向量数据库。 检索(Retrieval):一旦数据进入向量数据库,我们仍然需要将数据检索出来,我们会通过某种检索算法找到与输入问题相似的嵌入片。

LangChain 是一个用于构建高级语言模型应用程序的框架,它提供了一系列的工具和组件,使得开发人员能够更容易地使用大型语言模型(LLM)来创建各种应用程序。RAG 是一种结合了检索(检索外部知识库中相关信息)和生成(利用 LLM 生成文本)的技术。RAG 能够为 LLM 提供来自外部知识源的附加信息,使得 LLM 在应对下游任务时能够生成更精确和上下文相关的答案,并减少 LLM 的幻觉现象。

LangChain 和 RAG 之间的关系可以概括为:LangChain 是一个用于构建高级语言模型应用程序的框架,而 RAG 是一种结合了检索和生成的技术,是 LangChain 框架中的一部分。

0
分享到:
没有账号? 忘记密码?