⚡ 计算平台 · 产品发布

从数据处理到 Agent,链路缩短 80%:腾讯云发布 AI DLC 智能数据湖计算平台

7 月 30 日,腾讯云正式发布智能数据湖计算平台 AI DLC,面向自动驾驶、具身智能、Agent 等场景,提供覆盖数据处理、训练、推理到 Agent 应用的一体化能力。以自研 WorkBuddy 为例,接入后端到端时间缩短80%,算力降至原来的五分之一

来源:综合公开信息整理 2026-07-30 全文约 3 分钟读完
#腾讯云 #AI DLC #数据湖 #Agent #Serverless
⬇ 80% 端到端数据处理到 Agent 链路缩短
1/5 完成相同任务所需算力降至此前
3.6× 自研 Meson 引擎查询性能提升

⚡ 30 秒速览

  • 核心突破:Spark 与 Ray 首次在同一平台生产级全托管运行,数据无需跨平台搬运,链路从"串联"变"一体"。
  • 性能数据:Meson 向量化引擎查询性能提升 3.6 倍,复杂查询最高加速 5 倍,CPU 使用率下降近一半;Xpark 推理吞吐提升 3 倍。
  • 内部验证:WorkBuddy 接入后,端到端时间缩短 80%,算力降至 1/5,数据月增速超 100%。
  • 客户落地:博世自动驾驶场景已沉淀 200+ 推理模板,日处理上万个推理任务。
  • 架构创新:Agent 运行产生的轨迹、记忆可沉淀至数据湖,经处理后持续反哺 Agent,形成闭环。

01数据搬运之困 传统链路有多割裂?

企业开发 AI 应用,过去是一条被迫拆成三段的流水线:先用 Spark 做数据清洗和加工,将结果写入存储,再由 AI 团队通过 Ray 等框架完成训练和推理。不同环节运行在不同平台,数据反复搬运,权限、元数据和算力资源各管各的。

每一段搬运,都在消耗时间与算力。

传统方式:三段式割裂

Spark 数据清洗 → 存储中转 → Ray 训练推理。数据跨平台搬运,权限和资源各自管理,协作成本高,链路冗余。

AI DLC:一体同台

Spark 与 Ray 在同一平台运行,共享数据、算力和权限体系。数据处理完成后直接进入训练和推理,无需跨平台搬运。

AI DLC 采用 Serverless 架构,算力按任务秒级弹性伸缩、按使用时长计费,企业无需预留和运维固定集群。它也是业内首个在同一平台提供生产级 Spark 与 Ray 全托管服务的计算平台。

注:传统方式中,数据从 Spark 到 Ray 需要经过存储中转,平均增加 30%-50% 的端到端耗时。AI DLC 通过共享数据层消除了这一瓶颈。

02两个引擎,一组数字 Meson + Xpark 的性能底牌

AI DLC 搭载了两款自研计算引擎——Meson 向量化引擎和 Xpark 多模态引擎,分别针对数据处理和推理场景做了深度优化。

3.6×Meson 查询性能提升
复杂查询最高加速
↓ 50%CPU 使用率下降
Xpark 推理吞吐提升

Meson 兼容 Spark API、SQL 语法及生态组件,在标准测试中查询性能提升 3.6 倍,部分复杂查询最高加速 5 倍,CPU 使用率下降近一半。Xpark 面向文档、图片和音视频等多模态数据,提供 50 多种多模态和大模型算子,相比开源方案推理吞吐提升 3 倍,GPU 利用率可长期接近 100%。

在算力调度层面,AI DLC 将 CPU、GPU、TPU 等异构资源纳入统一资源池,根据任务动态调度,任务结束后自动释放并分配给其他作业。平台整体资源利用率可提升数倍,并已适配 国产主流 GPU 芯片

注:Meson 的 3.6 倍性能提升基于标准 TPC-H 测试集,复杂查询(如多表关联、窗口函数)在真实场景中加速比更高。Xpark 的推理吞吐对比基准为开源 vLLM 部署方案。

03实际效果如何?内部与客户的双重验证

性能数字摆出来了,但实际落地能打几分?两个案例给出了答案。

🧠 WorkBuddy:数据月增 100% 下的自我迭代 效率 +80%

  • WorkBuddy 运行中持续产生对话、文档和用户反馈,部分单字段达到 GB 级,数据量月增速超过 100%
  • 接入 AI DLC 后,这些数据直接完成清洗、特征提取、模型后训练和评估回流,形成可复用的数据与训练流水线。
  • 端到端时间缩短 80%,完成相同任务所需算力约为此前的 五分之一
内部验证结论:数据清洗到模型后训练全流程自动化,链路效率提升 80%,算力成本下降 80%。

🚗 博世自动驾驶:日处理上万推理任务 200+ 模板

  • 测试车辆每天产生大量视频和传感器数据,抽帧和清洗消耗 CPU,数据脱敏、模型训练与推理依赖 GPU
  • 通过博世 ARENA 统一管控平台,将数据处理、推理和部分训练任务纳入统一调度,AI DLC 承担底层算力编排。
  • 平台已沉淀 200 多个推理模板,每天处理上万个推理任务,持续提升自动驾驶数据闭环效率。
客户效果:异构算力统一调度,推理模板化复用,日处理任务量达万级,数据闭环效率显著提升。

注:两个案例分别代表"内部产品自迭代"和"外部客户大规模生产"两种场景,均验证了 AI DLC 在真实负载下的性能与 scalability。

04Agent 数据闭环 从"用一次"到"越用越强"

AI DLC 不只是加速了数据处理到推理的链路,它还面向 Agent 场景做了更深层的设计——让 Agent 的运行数据成为下一轮训练的养料

Agent 跑得越多,数据湖越"聪明"。

Agent 运行轨迹 / 记忆 / 反馈数据湖沉淀清洗 + 特征提取后训练 + 评估反哺 Agent

Agent 运行产生的轨迹、记忆和用户反馈可沉淀至数据湖,经过 AI DLC 统一处理后,直接用于模型后训练和评估,结果再回流到 Agent。同时平台通过 MCP、Skills 和 Open API 开放能力,让 WorkBuddy、CodeBuddy 等 Agent 直接调用数据处理、训练和分析能力。

一个更深层的信号:随着企业 AI 应用从模型走向 Agent,数据平台正从"支撑数据分析"升级为"支撑 Agent 持续运行和迭代"。AI DLC 正是这一趋势下的基础设施级产品。

编辑核心判断

AI DLC 的实质不是"又一个大模型平台",而是将数据处理与 Agent 迭代整合为同一套基础设施。当 Agent 的运行数据能自动回流、清洗并反哺自身,企业 AI 应用才真正从"项目制"进入"产品化"阶段。这条路比堆参数更值得关注。

现在就能用

AI DLC 已正式发布,企业用户可通过腾讯云官网提交试用申请,体验从数据处理到 Agent 应用的一体化能力。

腾讯云官网 → 申请体验 AI DLC