今年是大模型产业落地元年。从年初到现在，客户对大模型的预期越来越高，要求解决更多的业务场景问题。
在这个过程中，智能体正在迸发——越来越多的客户希望他们的应用能向下一代智能体的方向发展。
简单说，如果将大模型比作大脑，智能体就像是大脑的手脚和四肢。它能拆解客户复杂的需求，调用工作流和工具，成为一个真正的业务小助手。因为它的门槛非常低，可以让更多人入门。而如今大多数AI原生应用几乎都可以通过智能体来构建。
业界所有大模型公司和生态企业都在做智能体。这也意味着，大模型落地已进入“必卷智能体”的阶段。
在7月30日于上海举办的2024京东云峰会上，京东正式发布言犀智能体平台，它是一站式智能体开发平台。京东云判断，智能体、数字人、具身智能是未来大模型与终端用户的核心交互介质。其中，智能体更偏云端，是企业AI原生应用的重要推手。
原文直接返回，因为没有需要扩写的内容。
实际上，京东云此次发布了包括言犀智能体平台在内的、支持大模型落地的全栈产品，加速大模型全场景落地。
“通用大模型靠算力堆出来，企业大模型则靠业务跑出来。”京东技术委员会主席、京东云事业部总裁曹鹏在云峰会上说。通过日臻完善的产品和工具平台体系，大模型才能与产业结合，发挥最大潜力。
数智前线获悉，京东云大模型全栈产品是在京东供应链这一超级孵化器中孵化而来。目前，在京东内部已有超过100个大模型的应用，支撑了超过60万员工和20万的商家的应用。
01
“一线对智能体的热情令我惊讶”
京东相关负责人表示，在实践中感受到，智能体是今年大型模型落地实施中，应用效果最为显著的工具平台之一。
京东发布的言犀智能体平台，实际上是一个“内生外化”的产品。它从去年10月开始研发，今年春季在京东和一些生态链企业开放使用，仅仅几个月时间里，员工竟然搭建了超过3300个智能体。“让我们惊讶。”该负责人说。同时，平台上也形成了上千个工作流、知识库，受欢迎程度，超出预期。
“这可能与京东业务人员较多，链条又足够长有关。”一个有趣的现象是，过去几年，京东在核心的零售供应链上投入了大量AI算法团队。而这次大模型的变革，却为那些过去未受AI影响的群体，带来了革命性的改变。一线业务、职能、产品经理等都结合自己的工作，创建Agent。
比如，有人搭建了长视频剪辑代理人。因为京东内部有大量培训视频要剪辑，过去大家要手动去找到相应部分，再用剪辑软件去剪，一周只能剪几个。现在这个视频剪辑助手，只要上传视频和要求，就可以利用大模型多模态能力，找到对应的帧，员工再去剪辑，一周可以完成上百个。
另一个智能小哥助手，为快递员做路径规划、提供智能提示，解放他们的双手；在京东的智能体市场上，有大量活跃的代理人。有电话营销质检智能体，已产生百万级访问量，替代人工进行营销电话的审核与校验……此外，京东拥有超过60万员工，还有大量通用场景智能体，如报销类、学习类。
由于针对大量一线员工使用，言犀智能体平台提供了零代码开发的支持，让没有算法背景的员工，也能通过可视化、拖拽方式来搭建智能体。“智能体平台就是让每一份AI灵感都能快速落地。”京东相关负责人对此深有体会。
智能体给组织协作也带来了改变。之前一些业务部门协同时，要找对方拉会，需要开发还要制定排期。现在大家自发把各自的工具和API注册到智能体平台上，实现了底层能力的链接，其他部门员工可直接调用，协作也变得不一样。
在经历内部锤炼后，言犀智能体平台对外开放。在商业模式上，不仅提供公有云服务，还支持私有化部署。
市场上已推出的智能体平台，不少侧重在个人开发者，但言犀智能体平台更针对行业。它在内部孵化时，获得京东零售、健康、物流各板块的广泛使用，沉淀了相应的行业解决方案。这次发布中，言犀智能体平台预置了相关配置模版和插件，以及100多种行业解决方案，客户用1分钟即可构建专属智能体。
针对企业如何充分利用智能体，京东相关负责人建议，尤其要注意两个方面：首先是持续挖掘畅销产品，打造行业标杆。例如，京东每周根据数据选取智能体在官方市场上架，以吸引更多用户。“黑客马拉松则进一步推动这一进程，每一次努力都将比上一次更为出色。”
另一则与平台运营相关。如何支撑成千上万员工的应用？一方面需要建立具有企业特色的分类体系，以便有效地对成千上万的智能体进行分类，使其易于查找；另一方面是及时积累和完善解决方案，以便用户可以直接应用。
智能体做出的人工智能原生应用，为企业软件市场带来了变革。一些智能体直接取代了现有的SaaS软件，而另一些则被嵌入到了SaaS系统中。言犀智能体平台还提供了简易的应用发布流程，企业可以通过Web、API等方式将构建的智能体发布到内部即时通讯工具，如企业微信及协同办公平台。
业界看到，Agent目前仍然处于非常初级的阶段，未来会产生更多意想不到的Agent能力，这有赖于长千上万的企业应用者。他们使用的过程，将是AI Agent进化的过程。
02
智能体背后，大模型的锻造流水线
言犀智能体平台目前已接入数十个大模型。而这些模型，由言犀人工智能开发计算平台输送而来。在上海云峰会期间，言犀人工智能开发计算平台全面升级到2.0版本，并根据大模型落地的关键要点，突显了其关键能力。
第一个能力是模型压缩+模型扩展。从去年底开始，各家企业的主要精力，都是根据客户的使用场景，在基础大模型上削减、扩展出各种小模型。曹鹏介绍，这是因为即便经历了军备竞赛式的投入，通用大模型到了真正的场景里，“仍缺乏那薄薄的一层纸，需要专门调优”。而且不少场景要求模型反应速度要快，推理成本要低，小模型的市场反而更大。
目前，企业一般是采用一个模型群组，来实现不同场景的应用。这些模型群组，需要对通用大模型进行萃取压缩，以及灌注企业知识进行放大而来。在言犀AI开发计算平台上，用户可通过零代码方式，通过这样的推和拉，能快速获取到一个企业的专业模型。同时，推理的成本降低100%，速度提升1.5倍。
“目前业界通常分两步走——压缩和垂域模型微调。”京东人工智能业务部相关负责人说，但言犀AI开发计算平台可在压缩的过程中，将垂域知识灌注进去。这也是京东广泛采纳的一个方案。
第二个能力是数据准备。每个行业都有大量数据，包括多模态数据。这需要工具链具备极强的处理能力。
同时，过程数据的缺失，是业界落地大模型中，遇到的最大障碍。“比如我们看到一个症状，以及专家的处置建议，但并不知道专家的推理逻辑是什么。”京东健康相关负责人告诉数智前线，如果没有推理逻辑，就解决不了幻觉问题。
“我们今天花了很大力气，通过专家和大模型去补充。”一种是通过RAG的方式，这是当下业界必不可少的技术，给模型文献资料，让它自动化地捕捉推理链路；另一种通过专家来补充。工具平台能不能帮专家团队提效，也是业界在拼的技术关键。
原文中的内容无法进行合理性扩写或更改。
此外，大模型合成数据非常火爆。“如何在垂域合成数据，与种子数据比较贴近，团队也做了深入工作。”京东人工智能业务部相关负责人说。
第三个能力是模型评估。它包括通用能力评估以及垂域能力评估。针对通用大模型评测，市场上有一些不错的榜单，公开了代码和评测数据集，可以自动评测，直接出分。“要先保通用能力。如果没有通用能力，就没有垂域。”
至于字段内容进行合理性的扩写，京东在健康、零售等领域有评测数据集，用户在完成模型调整后，也可以再次评估领域特定的内容。这也是自动化的。当然，还存在一些人工评估，例如在健康领域，人们对业务更为了解，平台也提供类似众包的方式，让大家参与评估。
在产业之中，建立一个评估系统非常关键。“与其说如何训练一个专业领域模型，不如有一个评估体系可以指导您，模型应该朝何方发展，这一点尤为重要。”除了工具平台外，京东还设立了评估团队，“这是我们的幕后英雄”。
03
AI大底座，加速大模型全场景落地
伴随着大模型及智能体应用到产业一线，业界发现，计算、网络、存储等底层基础设施也需要适应新局面，解决新挑战。
最典型的一点，当下产业端的大模型应用实践，要打造更开放的基础设施平台，比如支持多云环境、多核处理、多活性，能够承接多种模型类型，从而满足复杂的应用场景和业务需求。
目前，建立多模态大模型所需的计算能力，比以往增加了10倍甚至100倍。全球企业普遍采用异构计算能力，用于训练、调用和推理模型，以解决普遍存在的计算能力短缺问题，并提高性价比。
除了计算，在存储方面，模型训练高峰时段可能在数十秒内就要处理 TB 级别的数据存储，而传统应用中，这些海量小文件的处理任务，可分散在几个月时间跨度里完成。这使得存储产品必须朝向更高吞吐、更高IOPS、更高带宽和更低延时进化。“同样的GPU算力规模下，存储性能的高低，可能带来模型训练周期3倍的差异。”曹鹏在演讲中提到。
在Scaling law之下，超大规模集群对硬件间的网络效率提出挑战。不久前，马斯克高调披露已建成10万卡H100超级算力中心，业界对背后的网络架构——英伟达Spectrum-X也极为关注。毕竟，稳健、低延迟的网络关乎到集群里的计算资源能否被充分利用。
这些动向都表明，基础设施对于大型模型的实施进程至关重要。在这一系统性挑战面前，厂商们需要建立更为强大的人工智能基础设施，以加速大型模型在各种场景下的实际应用。
京东云峰会上，披露了京东云AI底座的最近演进。如在高性能的存力方面，作为京东云自主研发的新一代存储产品云海，历经了10余年京东自身复杂场景历练，能提供大模型超大量数据传输所需的极致性能。
峰会上，全面升级到3.0版本的京东云云海，在吞吐量、带宽、延迟等性能方面进一步提升，为大型模型的全面落地提供了更加坚实的支持。云海也与所有主流国产化平台兼容互认。
据了解，目前京东云云海在建设银行等重量级金融机构中大模型训练中，提供了底层数据存储的支撑。同时在上层应用上，也通过数据要素的合作，帮助这些企业去做线上数字化转型。
在算力层面，京东建立了云舰AI算力云平台。这个平台具备了对多种不同类型的算力资源进行统一管理和调度的能力，包括各种CPU、GPU和国产AI加速芯片。它支持将分布在多个地理位置的算力资源进行统一调度，为用户提供高性价比的算力服务。
另外，vGPU池化方案，通过GPU异构资源池化，能将人工智能算力利用率提升70%，可有效降低算力成本。行业普遍存在算力焦虑，这也是京东云提供的一种解法。
此外，京东云大模型安全可信平台，包含超过两百种独特的红蓝对抗攻击技术，覆盖监管合规要求的全部三十一类风险类型，风险分析准确率高达95%以上。
针对大模型企业今年以来的价格战，曹鹏提到，去年京东云峰会就提过要通过技术升级来降低成本，要全网比价，对标主流云厂商的最低成交价再低10%。目前，京东云有超过一百个产品规格通过比价售卖，并设立10亿比价金，把技术带来的红利回馈给开发者群体。
总体而言，在2024京东云峰会中，京东通过发布从基础设施、模型服务，再到智能体应用的全栈产品，正在加速与产业的融合，从而让更多企业的大模型落地，通过业务跑出来。
