AI Gateway 到底是什么？

当一个 LLM 应用只调用单一模型时，直接连接供应商 API 通常已经足够。随着模型数量、业务场景和团队规模增加，认证、限流、回退、日志与成本统计会逐渐散落在每个服务里。AI Gateway 试图把这些横切能力收拢到统一入口。

它解决的三个问题

1. 接入一致性

应用可以通过较稳定的接口访问不同模型，把供应商差异隔离在网关之后。这样做不能消除模型行为差异，但能减少工程层面的重复适配。

2. 流量控制

网关可以基于延迟、配额、价格或可用性选择模型，并在请求失败时执行有限回退。关键是保留清晰的策略和失败语义，避免“自动回退”掩盖质量下降。

3. 可观测性

统一入口天然适合记录请求耗时、错误、Token 使用和模型分布。若再关联应用版本、提示词版本与评估结果，就能从“API 是否成功”继续追踪到“回答是否可用”。

它不是什么

AI Gateway 不是评估系统，也不是 Agent 运行时。它无法替你定义正确答案，无法判断业务任务是否完成，更不能自动保证复杂工具链的可靠性。

更准确的理解是：Gateway 提供控制面，Evaluation 提供判断，应用本身承担最终语义。