1.4万个智能体跑在这家企业,它们都在做什么?

5月20日,京东云城市大会在上海举行,京东云发布JoyScale AI算力平台、JoyBuild大模型开发计算平台、JoyAgent智能体2.0等九大产品,三大垂直行业一体机,助力企业全面重构AI基础设施,生成企业专属数字员工,加速迈向深度应用。

京东集团技术委员会主席、京东云事业部总裁曹鹏表示:“随着深度应用加速来临,数字员工的上岗率将成为衡量一个企业先进性的标准。有多少工作是AI完成的,决定了企业未来能跑多快。新一代Agent(智能体)成为深度应用的代表,京东云JoyAgent2.0正在帮助企业生成专业数字员工。同时,大规模应用爆发,也将推动AI基础设施迈向标准化,AI Infra1.0已经具备。”

大模型一体机助力企业快速尝鲜大模型

一体机作为最快速部署大模型的方式之一,是尝鲜企业级AI的最佳路径。过去三个月,“开箱即用”的京东云大模型一体机跑出“新速度”,从苏浙沪到湘赣鲁,多省市全面铺开,医疗、汽车、教育、制造、泛互等多行业深度渗透,全国规模化落地突破500台。京东云大模型一体机软硬协同,支持千人规模企业并发需求,实现推理速度提升50%,满血版、标准版、轻量版为不同规模企业提供灵活选择,助力企业快速构建企业级AI服务能力,极大降低专业技术门槛。

今天,京东云正式发布医疗一体机、工业一体机、金融一体机等三大垂直行业一体机。

深度应用全面开启 智能体重塑AI生产力

虽然“超级应用”还未出现,但聚焦企业端的“深度应用”已奔涌而至,正在加速渗透到需要投入大量人力进行重复劳动的场景。随着大模型及智能体技术的持续升级,行业正加速迈向深度应用阶段。

京东正是大模型深度应用的超级孵化器。数据显示,近三个月京东大模型服务调用量爆发式增长,环比提升200%;超1.4万个智能体在京东内部运行,解决超18%的工作内容,在外卖员招聘、财务管理等领域大面积使用;各类大模型应用已深入到京东零售、物流、医疗等细分业务场景,为超50万个商家、超38万名快递小哥、超5万名副主任以上级别医生、超2万名采销运营、超1万名研发人员提高工作效率、提升服务体验。

智能体是深度应用方面最具代表性的方向。成长于京东自身业务系统的JoyAgent智能体2.0全新升级,基于混合代理模型(Mixture-of-Agents,MoA),融合大小型模型的优势,通过规划推理构建动态DAG执行引擎,大幅提升任务执行效率;集成了覆盖搜索、数据分析、代码开发等领域的丰富工具链,支持文本、图像、视频等多模态输入输出,为企业提供全面智能支持;还通过自研多智能体协同引擎,多个智能体可在对话规划、推理上协同工作,通过自我对话优化策略。

在GAIA Benchmark的Level 1-3测试中,JoyAgent表现卓越,尤其在复杂任务处理上优势明显,超越众多竞争对手,已从过去被动响应需求,进化为能主动聚焦问题、精准运算、深度分析、智能决策、精准执行。

技术栈迎来全面重构 AI基础设施走向标准化

随着大模型应用的深入,以CPU为中心的架构在支持AI原生应用上面临挑战,需要以GPU为中心重塑基础设施;此外,面对激增的推理需求,计算资源持续增加,企业需要思考资源投入产出的问题,都指向需要一套AI Native的基础设施。

在大模型开发应用方面,JoyBuild支持多类模型的调优开发,内置20余种开源模型和丰富的数据集,提供100余种算法和工具链。围绕开源模型蒸馏需求的不断增加,可以帮助客户根据自身业务特征,用自有数据进行大模型的蒸馏,快速开发专属大模型。

京东大模型开发计算技术相关论文被Natuer收录,为国内首次系统性解决开放环境下大模型开发效率难题,这套技术也支撑了JoyBuild应用。此外,JoyBuild推理引擎基于大规模专家并行推理集群技术,提升高并发下并行度,实现单Token推理成本降低80%。

在计算方面,京东云发布全新的JoySacle AI算力平台——以GPU为核心,高效异构计算,强大推理性能,具备极致的算力性能、灵活的异构算力管理等两大核心优势。

在存储方面,云海AI存储基于京东全自研的引擎,对AI训练语料的随机访问达到1000万级,单集群支持TB级超大带宽,能有效支持千亿级参数AI大模型的训练。云海针对性地提供了原生KV Cache特性,支持主流推理框架,以存代算的模式显著提升了推理性能,长文推理成本下降40%,长文/多轮对话响应延迟降低60%。

原标题:《1.4万个智能体跑在这家企业,它们都在做什么?》

栏目编辑:杨玉红

本文作者:新民晚报 金志刚

题图来源:采访对象提供

图片来源:采访对象提供