大模型和知识库的结合是一个关键问题。目前，大模型在通用知识方面表现出色，但对专业领域知识了解有限，这阻碍了其更广泛的应用。
运行几百亿个参数的大模型，存算一体的架构是较好的选择，能避免数据搬运。
把大模型和私域知识结合有以下 5 种方法，按对模型改造的侵入性从左到右依次为：
重新训练：使用私域数据重新训练大模型。 微调：用私有数据对大模型进行 fine-tuning。 RAG：将知识库里的知识搜索后送进大模型。 关键词工程：写好提示词。 加长 Context：当 Context 能无限长时，理论上可将相关知识和记忆都 prefill 到 Context 里。