以下是一些关于大模型 LoRA 技术的书籍或文章推荐：
LoRA：Low-rank adaptation of large language models（2021）：这项来自 Microsoft 的研究为在新数据上训练 LLM 提供了一种比微调更有效的替代方案。它现在已经成为社区微调的标准，特别是对于图像模型。 同时提供了 LoRA 微调和全量参数微调代码，关于 LoRA 的详细介绍可以参考论文“LoRA:Low-Rank Adaptation of Large Language Models”以及微软 Github 仓库LoRA。 创作方面，在打造虚拟专家时，除了传统的全量训练和 freeze 冻结某些层方式以外，最近发展出了很多种高效的微调方法，其中包括 LoRA 技术。本篇主要采用 LoRA 方式，主要思路就是训练一个参数量较小的分支，然后再与底模合并，从而在模型中注入新的知识。