LLM应用场景(ims应用)

LLM 的应用场景包括以下方面:

模型成本与部署:将模型的训练和部署推理成本降低至接近企业两年服务支出费用,实现一年投入、两年回本,通过应用工程让 LLM 与企业业务流快速顺畅打通,促成多业务场景落地。 应用工程方向: 基于行业数据微调小体量模型,通过指令数据实现小模型对固定任务的有效处理,适用于稳定且业务多年不变的行业,如白电企业基于知识库的问题分析和解决。 采用 LangChain、Agent 思路的流程自动化工程框架,结合各种工具与企业数据库对接,实现更先进、可用性更高、泛化性更强的 RPA 方案,与企业业务数字化相辅相成。 提示执行/推理: 开发初期通常使用 OpenAI API 的 gpt-4 或 gpt-4-32k 模型,投入生产规模化时,可考虑切换到 gpt-3.5-turbo,其比 GPT-4 便宜约 50 倍且速度更快;也可与其他专有供应商如 Anthropic 的 Claude 模型进行实验;还可将部分请求分流到开源模型,在高流量的 B2C 用例中尤其有效。 NLP 相关任务:LLM 出现前,实现 NLP 任务如业务意图识别与分类,需收集上千条业务数据并人工标注训练 bert 模型,耗时一个月且交付后新增意图和任务泛化较难;构建知识图谱复杂,周期长,易与业务错位;NLG 以拼接为主。LLM 出现后,对 NLP、NLG、KG 有较大提升,使这些场景有更好更多的落地方式。

0
分享到:
没有账号? 忘记密码?