大模型微调相关知识如下：
大模型的概念：大模型输入大量语料，让计算机获得类似人类的“思考”能力，能进行文本生成、推理问答、对话、文档摘要等工作。可以用上学参加工作来类比大模型的训练和使用过程，包括找学校（需要大量 GPU 进行训练）、确定教材（需要大量数据）、找老师（选择合适算法）、就业指导（微调）、搬砖（推导）。 Llama3 部署和微调教程：由大圣编写，适合小白。亮点包括教购买算力、手把手下载并部署 Llama3 模型、使用甄嬛数据集微调并实验、了解微调意义和概念。但不讲解微调技术性原理和 Python 代码，需充值 50 元购买算力。 微调的技术路线：从参数规模角度，分为全量微调 FFT（对全量模型参数进行全量训练）和 PEFT（只对部分模型参数进行训练）。PEFT 是目前业界较流行的微调方案。 微调的好处：在较小的特定领域数据集上继续 LLM 的训练过程，可通过调整模型参数大幅提高模型在特定任务中的性能。能输入更多示例，经过微调的模型可能会失去一些通用性，但在特定任务中会有更好表现。 OpenAI 官方微调教程：https://github.com/openai/openai-cookbook/blob/main/examples/How_to_finetune_chat_models.ipynb
