LLM应用场景_2(llm是啥缩写)

LLM 的应用场景包括以下方面:

模型成本与部署:将模型的训练和部署推理成本降低至接近企业两年服务支出费用,实现一年投入、两年回本,通过应用工程让 LLM 与企业业务流快速顺畅打通,促成多业务场景落地。 应用工程方向: 基于行业数据微调小体量模型,通过指令数据实现小模型对固定任务的有效处理,适用于稳定且多年不变的行业业务,如白电企业基于知识库的问题分析和解决。 采用 LangChain、Agent 思路的流程自动化工程框架,结合各种工具与企业数据库对接,实现更先进、可用性更高、泛化性更强的 RPA 方案,这是 ToB 业务 Agent 的主流方向,与企业业务数字化相辅相成。 提示执行/推理: 开发初期通常使用 OpenAI API 的 gpt-4 或 gpt-4-32k 模型,为应用性能提供最佳场景。 项目规模化时,可考虑切换到 gpt-3.5-turbo,其比 GPT-4 便宜约 50 倍且速度更快;也可与其他专有供应商如 Anthropic 的 Claude 模型进行实验;还可将部分请求分流到开源模型,在高流量的 B2C 用例中可能尤其有效。 具体任务: 实现 NLP 中的意图识别与分类任务,需收集上千条业务数据并人工标注,训练 bert 模型及针对性优化,时长可能一个月,有时使用句式规则维护更新更优。 构建知识图谱复杂,周期长,需与行业专家深度讨论,预见企业业务发展制定 schema,稍有不慎可能图谱与业务错位。 NLG 以拼接为主,人工规则决定智能程度。LLM 的出现对 NLP、NLG、KG 有较大提升,使这三类场景有更好更多的落地可能。

0
分享到:
没有账号? 忘记密码?