检索是什么-(截词检索是什么?)

检索是检索增强生成(RAG)框架的核心组件之一,负责从外部数据源或知识库中获取与用户查询相关的信息。其质量和效率对 RAG 系统的性能至关重要,直接影响生成的文本或回答的准确性和相关性。

与检索相关的一些关键概念和技术包括:

检索策略:RAG 系统需确定何时进行检索以及如何选择要检索的信息,可根据任务和上下文调整以提高效率和性能。 检索粒度:能以不同粒度进行,如单个标记、实体、更大的文本块或知识图,选择取决于任务要求和数据结构。 检索方法:有多种可选,如基于关键字的检索、实体检索、自然语言查询和知识图检索等,每种方法都有适用情境和优势。 检索效率:高效检索是关键,尤其在实时应用中,需优化检索过程以降低延迟和资源消耗。 外部数据源:RAG 系统可从多种外部数据源检索,包括互联网上的文档、知识库、数据库和 API,选择合适的数据源对获取准确丰富的信息很重要。

在 LangChain 应用开发中,检索器是一个能根据文本查询返回相关文档对象的对象,常见实现如向量存储器检索器,它利用向量存储器的相似度搜索功能实现检索。使用 LangChain 构建 RAG 应用的一般流程为:首先加载数据,根据数据源类型选择合适的数据加载器,如网页可使用 WebBaseLoader;然后将文档对象分割成较小的对象,根据文本特点选择合适的文本分割器,如博客文章可用 RecursiveCharacterTextSplitter。

0
分享到:
没有账号? 忘记密码?