RAG库排名

以下是关于 RAG 库排名的相关信息:

在检索阶段获取匹配的文档片后,会有一个排序环节,通常基于文档片与输入问题之间的相似度分数来进行,确保最相关的片段排在前面。 RAG 是检索增强生成(Retrieval Augmented Generation)的简称,是当前最火热的企业级 LLM 应用方案,概括起来就是知识检索+内容生成。其主要组成包括数据提取、embedding(向量化)、创建索引、检索、自动排序(Rerank)、LLM 归纳生成。 在重排 rerank 方面,搜到相似信息后存在选择策略,如默认取 TOP 10、TOP 25 等。大部分场景下选择最相似的通常没问题,但由于向量化基本是平权的,存在优化空间,特别是对于私有化数据,可引入来源机制进行调整,对向量化的数据进行综合评分,如相似度*置信度等,然后再进行 rebank。

0
分享到:
没有账号? 忘记密码?