评估模型输出通常需要一个“黄金标准”的答案。假设我们清楚某个问题的正确答案应包含哪些事实（得分点），就可以使用模型查询和计算的方法总结这些得分点来为模型输出质量打分。这是监督学习的一部分，能让模型在人类指导下改善性能。评估过程通常由另一个模型执行，以降低人力成本。
例如，杨志磊对各模型的答辩状 prompt 进行了评测，按照满分 10 分的标准，各模型得分如下：ChatGPT 为 6 分，Bard 为 5.5 分，Kimi chat 为 6.5 分，智谱清言为 5 分，讯飞星火为 5 分，文心一言 3.5 为 4 分，通义千问为 6.5 分，腾讯混元为 5 分，百川大模型为 7 分，豆包 AI 为 5 分，Copilot 为 9 分，Claude 2.0 为 6 分。
斯坦福发布的大模型排行榜 AlpacaEval 相比其他 LLM 自动评测器，如 alpaca_farm_greedy_gpt4、aviary_gpt4、lmsys_gpt4 及人类评估，有其特别之处。在 AlpacaEval set 上，通过与 2.5K 条人工标注结果对比，其采用的 GPT-4 评测方式取得了最高的人类一致性、较低的误差，且只需约 1/22 的人类标注成本。另外，团队还从统计角度研究了什么评估数据能最好地区分模型，并发现 Self-Instruct 数据集产生的统计能力最小，可从评估集中删除。AlpacaEval 支持两种模式的模型评估方式。
