Embedding 是一种在深度学习和自然语言处理（NLP）中常用的特征工程方法，本质上是将高维度的数据（如单词、短语、句子等）转换为低维度的向量。其主要目的是降低数据的抽象性和复杂性，以便机器学习模型更有效地理解和处理数据，同时帮助模型理解语义关系，如单词之间的相似性、句子的情感等。
以下是几个关于 Embedding 的例子：
电影推荐系统：假设存在一个电影推荐系统，用户可给电影打分，目标是预测用户未看过电影的评分。此时，每个用户和电影都可视为独特分类标签，直接处理这些高维度且稀疏的标签较困难。通过为每个用户和电影创建 Embedding（低维度向量），可捕捉用户兴趣和电影特性，进而通过比较 Embedding 来预测评分。 文本分类：在文本分类任务中，Embedding 可将文本转换为适合模型处理的向量形式。此外，在 Stable Diffusion 中，Embedding 相当于提示词打包的功能，能将大量提示词汇总到一个文件里，调用该文件就相当于输入了很多提示词，尤其在负向提示词中，当文本量很大且固定不变时，使用打包好的负向提示词 Embedding 可达到一词顶一百词的效果。
Embedding 是一个浮点数的向量（列表），两个向量之间的距离可度量它们的相关性，小距离表示高相关性，大距离表示低相关性。Embedding 有词、句子、文档、图像等分类。在大模型中，Embedding 具有重要价值，例如从数据集中获取 Embedding 结果并保存为 csv 文件。进阶到企业级应用开发的大模型技术还会涉及利用开源的 Embedding 模型、向量数据库去做检索增强生成（RAG），以及购买 GPU 服务器去基于开源大模型搭建企业级大模型项目。
参考链接：OpenAI 官网文档 https://platform.openai.com/docs/introduction
