《大模型工具学习》报告由清华大学自然语言处理实验室（THUNLP）的秦禹嘉撰写，探讨了人工智能（AI）在工具使用方面的能力。报告指出，基础模型通过强大的语义理解、广泛的世界知识和推理规划能力，能够像人类一样使用工具。工具学习分为工具增强学习和面向工具的学习两种类型。报告介绍了工具学习的框架，包括环境、感知者、工具集和控制器等组件，以及意图理解、工具理解、规划与推理等关键技术。
此外，LLM 中 Token 被视为模型处理和生成的文本单位，在将输入进行分词时，会对其进行数字化，形成一个词汇表，同时把 Token 表示成稠密矩阵向量，这个过程称之为 embedding，常见的算法有基于统计、基于深度网络、基于神经网络等。以 Transform 为代表的大模型采用自注意力（Self-attention）机制来学习不同 token 之间的依赖关系，生成高质量 embedding。
