微软 Azure API Management 专用 AI Gateway 层公开预览:多模型统一治理与权限隐忧并存
核心论点:微软将多个模型提供商、MCP 服务器和工具收敛到独立的 AI Gateway 控制平面,以集中治理换取效率;但密钥作用域、智能体生命周期、定价与旧版共存路径不清,使统一治理的价值和风险同时被放大。
版块 1
核心事件:专用 AI Gateway 层进入公开预览
AI Gateway 专用层
控制平面围绕模型 / MCP / 工具组织,而非 API
可用区域
美国东部 2、瑞典中部
(预览免费)
预览期间免费,并提供实验教程
模型来源
Azure Foundry
OpenAI
Anthropic
Mistral
AWS Bedrock
Google Vertex AI
所有 OpenAI 兼容提供商共用一个端点路径,根据 model 字段精确匹配路由
预配速度
约 1 分钟
无需规划缩放单元
资源运行在客户自己的订阅和 Entra 租户中
可观测性
OpenTelemetry 令牌指标
→ 导出至
Application Insights
Datadog
Grafana
导出目标由客户控制
版块 3
社区反应:成本治理是最被低估的部分
Paolo Perrone
,AI Engineer 新闻简报撰写者
“大多数团队只有在事故发生后才会补上速率限制和支出跟踪,而将其集中管理,可以获得一个控制平面,而不是每个应用各自打补丁。”
版块 4
最大悬而未决问题:智能体生命周期
智能体未正常结束
输出会被保留供审计?
?
网关会故障转移并重试?
?
控制权在网关还是编排层?
?
差距:治理流量 ≠ 治理完整生命周期
Adolph White Jr.,企业 AI 系统架构师
“如果智能体产出了有用的工作成果,但运行在没有正常完成的情况下结束,这些输出会被保留下来以供审计审查,还是网关会进行故障转移并重试?”
公告未说明对智能体输出可更改内容的控制权,属于网关还是上层编排层。
版块 5
竞争格局:AWS、Databricks 与 Azure 的差距
|
Azure 专用 AI Gateway |
Databricks Unity AI Gateway |
| 状态 |
公开预览 / 无 SLA / 定价未定 |
6 月发布 / 多功能测试中 |
| 治理 |
模型 + MCP + 工具 策略卡片 / OTel |
扩展 Unity Catalog 硬支出上限 / 智能路由 |
| 集成 |
Foundry / OpenAI / Bedrock / Vertex |
模型 / 智能体 / MCP / 技能 Claude Code / Codex |
已有约两年积累,差距不像表面那么大
行业反应:爱尔兰航空数据/AI 工作领域的 Sreenivasulu Kandakuru 表示该层是迫切需要的,但认为 Azure 可能落后。Databricks Unity AI Gateway 于 6 月发布,扩展 Unity Catalog,可在运行时治理模型、智能体、MCP 服务和技能。微软推出 AI 网关功能已有大约两年,实际差距并不像表面比较所暗示的那么大。
版块 6
权限边界:运行时密钥作用域是整个网关
旧 APIM 订阅域
API 组 A
API 组 B
API 组 C
使用者可按 API 集合限制
运行时密钥 · 范围 = 整个网关
⚠ 密钥泄露影响面 = 全部模型 + 工具
模型 A
模型 B
工具 C
工具 D
MCP 服务
每个应用一个密钥 → 泄露时全部资产暴露
与现有 APIM 订阅的区别:新层没有按 API 集合限制使用者的机制。在正式规划接入模式之前,这是最值得仔细审视的设计决策。
版块 8
共存与迁移困惑
已构建 AI 网关的组织(Premium / Standard v2)
既有 AI 网关能力
⟷
新专用 AI Gateway
混淆案例:AI 工程师 Rajib Mahapatro 称已使用相关 AI 网关能力四个月,涉及缓存、内容安全、日志记录和令牌限制——这些属于现有功能,并非新层。
未决问题:已经在 Premium 或 Standard v2 上构建 AI 网关的组织,目前没有任何公开指导说明这些投入会被继承、并行运行,还是迁移到新层中。官方未给出公开的共存或迁移指引。
编辑判断
方向正确,预览未闭合
本次发布的价值在于把多提供商、多工具汇入一个由客户掌控的平面,并在门户中完成策略配置;但最尖锐的盲区不是流量治理,而是生命周期治理。智能体未正常结束时输出是否留痕、由谁重试、网关与编排层如何分工,都没有答案。密钥以整个网关为边界,也会让“每个应用一个密钥”的安全建议变得脆弱。预览版无 SLA、定价未公布,更是让成本治理这一卖点停留在口号层面。
权限边界未闭合
智能体生命周期问责未闭合
迁移与定价共识未闭合
综合公开信息整理