目前热门的大模型主要有以下几种：
语言模型：如 GPT、PaLM 等。 多模态模型：例如视觉-语言模型 CLIP、Stable Diffusion 等。大模型因其强大的能力，在众多领域有着热门的应用场景：
文本生成和内容创作：可用于撰写文章、生成新闻报道、创作诗歌和故事等。 聊天机器人和虚拟助手：能够与人类进行自然对话，提供客户服务、日常任务提醒和信息咨询等服务。 编程和代码辅助：实现代码自动补全、bug 修复和代码解释，提高编程效率。 翻译和跨语言通信：理解和翻译多种语言，促进不同语言背景用户之间的沟通和信息共享。 情感分析和意见挖掘：分析社交媒体、评论和反馈中的文本，识别用户情感和观点，为市场研究和产品改进提供支持。 教育和学习辅助：创建个性化学习材料、自动回答学生问题和提供语言学习支持。 图像和视频生成：如 DALL-E 等模型可以根据文本描述生成相应的图像，未来可能扩展到视频内容的生成。最近，多模态大模型取得重大进展。随着数据集和模型规模不断扩大，传统的多模态模型带来巨大计算量，尤其是从头开始训练。研究人员意识到多模态研究重点在于各个模态的连接，合理方法是利用现成训练好的单模态基础模型，尤其是语言模型。这样可减少多模态训练费用，提升训练效率。多模态大模型利用语言模型为各种多模态任务提供认知能力，语言模型具有良好的语言生成、zero-shot 和 ICL 的能力，其他模态的基础模型提供高质量表征。考虑到不同模态模型是分开训练的，如何将不同模态连接起来，实现协同推理，是核心挑战。主要工作通过多模态预训练和多模态的指令微调，来实现模态之间的对齐，以及模型输出与人类意图的对齐。
