大模型的架构主要包括以下几种：
Encoder-only：通常适用于自然语言理解任务，如分类和情感分析，代表模型是 BERT。 Encoder-decoder：结合了 Transformer 架构的 encoder 和 decoder 来理解和生成内容，用例包括翻译和摘要，代表是谷歌的 T5。 Decoder-only：更擅长自然语言生成任务，众多 AI 助手采用此结构，如 ChatGPT。这些架构均由谷歌 2017 年发布的论文“attention is all you need”中提出的 Transformer 衍生而来，Transformer 包括 Encoder 和 Decoder 两个结构。目前的大型语言模型多为右侧只使用 Decoder 的 Decoder-only 架构。大模型的特点在于：
预训练数据非常大，往往来自互联网，包括论文、代码、公开网页等，先进的大模型一般用 TB 级别的数据进行预训练。 参数非常多，如 Open 在 2020 年发布的 GPT-3 就已达到 170B 的参数。此外，运行几百亿个参数的大模型，存算一体的架构是较好的选择，因其避免了数据搬运。当前大模型在通用知识方面表现出色，但对专业领域知识了解有限，将领域知识结合进大模型是阻碍其更大规模应用的关键问题。把大模型和私域知识结合的方法按对模型改造侵入性从左到右分为：重新训练（拿私域数据重新训练大模型）、微调（拿私有数据 fine-tuning 大模型）、RAG（将知识库里的知识搜索送进大模型）、关键词工程（写好提示词）、加长 Context（当 Context 能无限长时，可将私域知识和记忆 prefill 进去）。
