因此在prompt中,把query放到头部和尾部,同时根据相似度,把相似度大的文档放到context的两端,是什么意思,要如何做到(因此用英语怎么说)

在开发产品视角的大模型 RAG 应用的 Prompt 阶段,匹配出与问句向量最相似的 top k 个 chunk 后,将匹配出的文本和问句添加到配置好的 prompt 中提交给 LLM。在这个过程中,根据论文《Lost in the Middle:How Language Models Use Long Contexts》,由于大模型对上下文中间位置的知识点提取较差,所以把 query(即问句)放到 prompt 的头部和尾部,同时按照相似度,将相似度大的文档放置在 context(上下文)的两端,这样做能够提升回答效果。要做到这一点,需要在进行 prompt 工程时,选择最合适的 prompt 模板,并按照上述原则对 query 和相似度大的文档进行合理的位置安排。

0
分享到:
没有账号? 忘记密码?