微软 Azure API Management 专用 AI Gateway 层公开预览:多模型统一治理与权限隐忧并存

核心论点:微软将多个模型提供商、MCP 服务器和工具收敛到独立的 AI Gateway 控制平面,以集中治理换取效率;但密钥作用域、智能体生命周期、定价与旧版共存路径不清,使统一治理的价值和风险同时被放大。
版块 1
核心事件:专用 AI Gateway 层进入公开预览
AI Gateway 专用层
控制平面围绕模型 / MCP / 工具组织,而非 API
可用区域
美国东部 2、瑞典中部 (预览免费)
预览期间免费,并提供实验教程
模型来源
Azure Foundry OpenAI Anthropic Mistral AWS Bedrock Google Vertex AI
所有 OpenAI 兼容提供商共用一个端点路径,根据 model 字段精确匹配路由
预配速度
约 1 分钟 无需规划缩放单元
资源运行在客户自己的订阅和 Entra 租户中
可观测性
OpenTelemetry 令牌指标 → 导出至
Application Insights Datadog Grafana
导出目标由客户控制
版块 2
策略配置与工具治理
平台团队
连接工具(MCP / OpenAPI / 连接器) | 发布经批准的模型 + 工具
内置连接器覆盖一千多个 SaaS 应用,无需托管服务器
策略
AI Gateway 策略卡片
令牌限制 配额 内容安全 模型故障转移
无认证 API Key OAuth 2.0 托管身份
应用团队
测试控制台 / 构建 | 无需等待中央变更
基于已批准的模型和工具自助构建
平台团队持续监督使用情况
版块 3
社区反应:成本治理是最被低估的部分
App A
限流 配额 支出
App B
限流 配额 支出
App C
限流 配额 支出
每个应用各自打补丁
速率限制
支出跟踪
配额
一个控制平面,而不是每个应用各自打补丁
Paolo Perrone ,AI Engineer 新闻简报撰写者
“大多数团队只有在事故发生后才会补上速率限制和支出跟踪,而将其集中管理,可以获得一个控制平面,而不是每个应用各自打补丁。”
版块 4
最大悬而未决问题:智能体生命周期
智能体未正常结束
输出会被保留供审计?
网关会故障转移并重试?
控制权在网关还是编排层?
差距:治理流量 ≠ 治理完整生命周期
Adolph White Jr.,企业 AI 系统架构师
“如果智能体产出了有用的工作成果,但运行在没有正常完成的情况下结束,这些输出会被保留下来以供审计审查,还是网关会进行故障转移并重试?”
公告未说明对智能体输出可更改内容的控制权,属于网关还是上层编排层。
版块 5
竞争格局:AWS、Databricks 与 Azure 的差距
Azure 专用 AI Gateway Databricks Unity AI Gateway
状态 公开预览 / 无 SLA / 定价未定 6 月发布 / 多功能测试中
治理 模型 + MCP + 工具
策略卡片 / OTel
扩展 Unity Catalog
硬支出上限 / 智能路由
集成 Foundry / OpenAI / Bedrock / Vertex 模型 / 智能体 / MCP / 技能
Claude Code / Codex
已有约两年积累,差距不像表面那么大
行业反应:爱尔兰航空数据/AI 工作领域的 Sreenivasulu Kandakuru 表示该层是迫切需要的,但认为 Azure 可能落后。Databricks Unity AI Gateway 于 6 月发布,扩展 Unity Catalog,可在运行时治理模型、智能体、MCP 服务和技能。微软推出 AI 网关功能已有大约两年,实际差距并不像表面比较所暗示的那么大。
版块 6
权限边界:运行时密钥作用域是整个网关
旧 APIM 订阅域
API 组 A
API 组 B
API 组 C
使用者可按 API 集合限制
运行时密钥 · 范围 = 整个网关
⚠ 密钥泄露影响面 = 全部模型 + 工具
模型 A 模型 B 工具 C 工具 D MCP 服务
每个应用一个密钥 → 泄露时全部资产暴露
与现有 APIM 订阅的区别:新层没有按 API 集合限制使用者的机制。在正式规划接入模式之前,这是最值得仔细审视的设计决策。
版块 7
预览版的局限与不确定性
SLA
尽力而为可用性
预览配额
未公布 模型、工具、密钥、吞吐量有限制
定价
预览后期 成本治理卖点仍停在口号层面
版块 8
共存与迁移困惑
已构建 AI 网关的组织(Premium / Standard v2)
既有 AI 网关能力
新专用 AI Gateway
继承
并行运行
迁移
混淆案例:AI 工程师 Rajib Mahapatro 称已使用相关 AI 网关能力四个月,涉及缓存、内容安全、日志记录和令牌限制——这些属于现有功能,并非新层。

未决问题:已经在 Premium 或 Standard v2 上构建 AI 网关的组织,目前没有任何公开指导说明这些投入会被继承、并行运行,还是迁移到新层中。官方未给出公开的共存或迁移指引。
编辑判断
方向正确预览未闭合
本次发布的价值在于把多提供商、多工具汇入一个由客户掌控的平面,并在门户中完成策略配置;但最尖锐的盲区不是流量治理,而是生命周期治理。智能体未正常结束时输出是否留痕、由谁重试、网关与编排层如何分工,都没有答案。密钥以整个网关为边界,也会让“每个应用一个密钥”的安全建议变得脆弱。预览版无 SLA、定价未公布,更是让成本治理这一卖点停留在口号层面。
权限边界未闭合 智能体生命周期问责未闭合 迁移与定价共识未闭合