7 月 31 日消息，人们正在越来越广泛地应用大型模型来完成各种任务，无论是翻译、文章摘要还是金融诈骗识别，这些大型模型都展现出了全面的应用潜力。尽管这些模型具备惊人的能力，但它们有时会产生错误的答案，并且对这些错误答案表现出过度自信，对正确答案则缺乏信心，这使得用户对于大型模型的信任程度产生了怀疑。
据 MIT NEWS今日报道，麻省理工学院（MIT）和 MIT-IBM Watson AI Lab 的研究人员提出了一种专为大型语言模型量身定制的校准方法。他们的方法被称为“温度计”，其原理是在大语言模型之上构建一个较小的辅助模型来对其进行校准。
图源 Pexels
据报道，这种名为“温度计”的技术不仅需要更少的计算能力，同时还能保持模型的准确性，使其能够更好地适应未曾遇到过的任务。
通过对各种任务对大语言模型进行有效校准，“温度计”能够帮助用户发现模型对错误预测过于自信的情况，从而最终防止用户在可能失败的情况下部署该模型。
有关论文的第一作者、麻省理工学院电子工程和计算机科学研究生沈茂豪（注：音译）表示，“我们希望向用户提供一个明确的信号，告诉他们模型的回应是准确还是不准确，以反映模型的不确定性，让他们知道模型是否可靠。”
借助“温度计”，研究人员开发出了一种多功能技术，利用一种被称为“温度缩放”的经典校准方法，为新任务有效地校准大语言模型。在此背景下，“温度”是一个缩放参数，用于调整模型的“信心”以与其预测准确性一致。
研究人员训练了一个辅助模型，该模型在大型语言模型之上运行，自动预测校准新任务所需的“温度”。“温度计”只需要访问大型语言模型内部的一个小部分，就能预测出特定任务数据点的正确“温度”，以校准其预测。
该团队希望未来扩展“温度计”的功能，使其能够处理更为复杂的文本生成任务，并将这项技术应用于更大规模的语言模型。
