从数据处理到 Agent,链路缩短 80%:腾讯云发布 AI DLC 智能数据湖计算平台
7 月 30 日,腾讯云正式发布智能数据湖计算平台 AI DLC,面向自动驾驶、具身智能、Agent 等场景,提供覆盖数据处理、训练、推理到 Agent 应用的一体化能力。以自研 WorkBuddy 为例,接入后端到端时间缩短80%,算力降至原来的五分之一。
7 月 30 日,腾讯云正式发布智能数据湖计算平台 AI DLC,面向自动驾驶、具身智能、Agent 等场景,提供覆盖数据处理、训练、推理到 Agent 应用的一体化能力。以自研 WorkBuddy 为例,接入后端到端时间缩短80%,算力降至原来的五分之一。
企业开发 AI 应用,过去是一条被迫拆成三段的流水线:先用 Spark 做数据清洗和加工,将结果写入存储,再由 AI 团队通过 Ray 等框架完成训练和推理。不同环节运行在不同平台,数据反复搬运,权限、元数据和算力资源各管各的。
每一段搬运,都在消耗时间与算力。
Spark 数据清洗 → 存储中转 → Ray 训练推理。数据跨平台搬运,权限和资源各自管理,协作成本高,链路冗余。
Spark 与 Ray 在同一平台运行,共享数据、算力和权限体系。数据处理完成后直接进入训练和推理,无需跨平台搬运。
AI DLC 采用 Serverless 架构,算力按任务秒级弹性伸缩、按使用时长计费,企业无需预留和运维固定集群。它也是业内首个在同一平台提供生产级 Spark 与 Ray 全托管服务的计算平台。
注:传统方式中,数据从 Spark 到 Ray 需要经过存储中转,平均增加 30%-50% 的端到端耗时。AI DLC 通过共享数据层消除了这一瓶颈。
AI DLC 搭载了两款自研计算引擎——Meson 向量化引擎和 Xpark 多模态引擎,分别针对数据处理和推理场景做了深度优化。
Meson 兼容 Spark API、SQL 语法及生态组件,在标准测试中查询性能提升 3.6 倍,部分复杂查询最高加速 5 倍,CPU 使用率下降近一半。Xpark 面向文档、图片和音视频等多模态数据,提供 50 多种多模态和大模型算子,相比开源方案推理吞吐提升 3 倍,GPU 利用率可长期接近 100%。
在算力调度层面,AI DLC 将 CPU、GPU、TPU 等异构资源纳入统一资源池,根据任务动态调度,任务结束后自动释放并分配给其他作业。平台整体资源利用率可提升数倍,并已适配 国产主流 GPU 芯片。
注:Meson 的 3.6 倍性能提升基于标准 TPC-H 测试集,复杂查询(如多表关联、窗口函数)在真实场景中加速比更高。Xpark 的推理吞吐对比基准为开源 vLLM 部署方案。
性能数字摆出来了,但实际落地能打几分?两个案例给出了答案。
注:两个案例分别代表"内部产品自迭代"和"外部客户大规模生产"两种场景,均验证了 AI DLC 在真实负载下的性能与 scalability。
AI DLC 不只是加速了数据处理到推理的链路,它还面向 Agent 场景做了更深层的设计——让 Agent 的运行数据成为下一轮训练的养料。
Agent 跑得越多,数据湖越"聪明"。
Agent 运行产生的轨迹、记忆和用户反馈可沉淀至数据湖,经过 AI DLC 统一处理后,直接用于模型后训练和评估,结果再回流到 Agent。同时平台通过 MCP、Skills 和 Open API 开放能力,让 WorkBuddy、CodeBuddy 等 Agent 直接调用数据处理、训练和分析能力。
一个更深层的信号:随着企业 AI 应用从模型走向 Agent,数据平台正从"支撑数据分析"升级为"支撑 Agent 持续运行和迭代"。AI DLC 正是这一趋势下的基础设施级产品。
AI DLC 的实质不是"又一个大模型平台",而是将数据处理与 Agent 迭代整合为同一套基础设施。当 Agent 的运行数据能自动回流、清洗并反哺自身,企业 AI 应用才真正从"项目制"进入"产品化"阶段。这条路比堆参数更值得关注。
AI DLC 已正式发布,企业用户可通过腾讯云官网提交试用申请,体验从数据处理到 Agent 应用的一体化能力。
腾讯云官网 → 申请体验 AI DLC