LLM 能胜任的场景包括以下方面：
提示执行/推理： 开发初期，通常使用 OpenAI API 启动新的 LLM 应用，如 gpt-4 或 gpt-4-32k 模型，其在广泛输入领域运行，无需微调或自托管，能为应用性能提供最佳场景。 项目投入生产并规模化时，有更多选择。例如，切换到 gpt-3.5-turbo，它比 GPT-4 便宜约 50 倍，速度更快，适用于不需要 GPT-4 级别准确性但需要低延迟推理和对免费用户成本有效支持的应用。 与其他专有供应商（如 Anthropic 的 Claude 模型）进行实验，Claude 提供快速推理、GPT-3.5 级精度、针对大客户的更多定制选项以及高达 100k 的上下文窗口，但精度会随长度增加而降低。 将一些请求分流到开源模型，在高流量的 B2C 用例（如搜索或聊天）中可能尤其有效，适用于查询复杂性差异大且需要为免费用户提供便宜服务的情况。 赋予模型使用工具的能力：通过从知识挖掘转向行动导向，增加“手臂和腿部”的能力，有望在消费者和企业领域实现一系列用例。如消费者方面，LLMs 可能给出菜谱建议并订购食材、推荐早午餐地点并预订餐桌；企业领域，创始人可通过接入 LLMs 使应用程序更易用，如在 Salesforce 等应用中，用户用自然语言进行更新，模型自动更改，减少维护 CRM 所需时间。 作为多模态 Agent： 优点：高度的灵活性和扩展性，可根据任务需求调用最合适模型处理任务，适应多样化任务和数据类型，优化资源使用，提升效率；无需训练，系统开发周期快，成本低。 局限性：调试和工程化难度较高，维护和升级可能需要更多成本和技术投入；多个组件紧密耦合，单点故障可能导致整个系统风险增加；没有涌现出新的能力。 适用场景包括多种任务和数据类型的处理。