以下是关于大模型测试开发的知识梳理:
《Perplexity 指标究竟是什么?》:作者小 A 从自身经验出发,总结梳理新手友好的 transformer 入坑指南,计划从算法 1(NLP 中的 transformer 网络结构)、算法 2(CV 中的 transformer 网络结构)、算法 3(多模态下的 transformer 网络结构)、训练(transformer 的分布式训练)、部署(transformer 的 tvm 量化与推理)五个方面介绍。 《初探 LLM 基座模型》:主要介绍 LLM 基座模型里常见的 3 种 transformer 架构,包括 encoder-only、encoder-decoder 和 decoder-only。 《从 0 到 1 了解大模型安全,看这篇就够了》:介绍了 transformer 的架构,如 encoder-only 适用于自然语言理解任务,encoder-decoder 用于理解和生成内容,decoder-only 擅长自然语言生成任务;还提到大模型的特点,如预训练数据大(来自互联网,包括论文、代码、公开网页等,常以 TB 级别计)、参数多(如 GPT-3 已达 170B)。 《开发:产品视角的大模型 RAG 应用》:从产品视角分享大模型 RAG 应用,包括 LangChain 初体验,预计分成 3 篇分享,分别是项目背景、初步体验和评测结果,调优思路分享,如何测评。