大模型网关详解：多模型路由、Fallback、限流与成本控制

发表于2026-01-30|人工智能

|浏览量:

网关把模型调用从业务代码里剥离成基础设施。

职责

统一 API、鉴权、路由（按任务/租户/语言）、fallback、限流、缓存、计费、日志。Router 偏策略；Gateway 偏策略+策略执行+策略存储。

路由策略

简单问答小模型；复杂推理强模型；失败降级；A/B 与 canary。成本：强模型仅走 escalation 规则。

与 RAG/Agent

网关不替代 RAG，位于模型调用边界。Agent 多次调用更依赖网关聚合计费与 timeout。

误区

网关层过厚拖延迟；无 fallback 单点；所有请求最强模型成本爆炸。

延伸思考

网关可内置 semantic cache（相似 query 命中），注意 privacy 分区。Fallback 链：主模型→备用模型→规则回复。Rate limit 支持 token bucket 与并发数双限。成本报表按 team/model/day 聚合，驱动 routing 策略。与 Service Mesh 关系：网关是 L7 AI 专用，Mesh 管通用 mTLS 与流量。自建 vs 商用（Portkey、LiteLLM 等）权衡运维成本与功能深度。

实践小结

练习：配置主备模型 fallback 路由规则。按 team 设 rate limit。出一份 model 单价对照表驱动 routing policy。

工程检查清单

检查清单：routing/fallback/ratelimit/cost report/cache policy。网关是模型治理中枢，应独立于业务迭代发布。

读者 takeaway

读者 takeaway：网关把模型调用变成可治理的基础设施。routing、fallback、成本报表集中后，业务团队才能专注编排而不用各自对接多家 API。

学习建议

文章作者: Dai Wei

文章链接: https://www.daiwei.biz/knowledge/ai/system-design/llm-gateway/

版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Dai Wei！

LLM 网关路由成本

扫码打赏

微信
支付宝

相关推荐

大模型 API 调用工程实践：流式输出、重试、限流与结构化返回

生产级 LLM 调用是分布式系统工程，不是单次 HTTP POST。调用阶段鉴权 → 路由 → 组装 Prompt → 请求模型 → 流式/同步消费 → 校验 → 持久化 → 计费埋点。每阶段需超时与可观测。流式选型SSE 简单、单向，适合 Chat；WebSocket 双向，适合语音/协作；chunked HTTP 兼容性好。注意 Nginx 缓冲关闭、代理超时、客户端断连取消。可靠性幂等 Key 防重复扣费；指数退避重试；熔断与 fallback 模型。流式异常：断连、TTFT 超时、中途错误帧。误区默认缓冲导致「假流式」；无 cancel 泄漏资源；结构化输出不校验就入库。延伸思考Spring AI 等框架封装了 ChatClient，但生产仍需自管：连接池、超时、断路器、bulkhead。流式场景在模型输出 Markdown 代码块时，注意 SSE 事件边界解析，避免半行 JSON 被截断。重试仅对 idempotent 读操作或带幂等键的写操作；对「已扣费但客户端超时」要有对账任务。限流按 tenant+model 维度，防止单客户拖垮...

大模型基础专题：运行机制、API 调用、结构化输出与评测

大模型基础是 AI 应用的「操作系统层」——不懂机制就容易在成本与安全上踩坑。专题范围运行机制（Token、窗口、采样）；API 工程（流式、重试、限流）；结构化输出与 Function Calling；评测体系（Golden Set、灰度）。学习顺序先机制后 API；先同步后流式；先 JSON 契约后工具调用；先离线评测后线上监控。与 Agent/RAG 专题交叉阅读。实践建议用同一套小任务对比不同 temperature 与 max_tokens；压测流式 TTFT；建立 50 条 Golden Case。误区跳过机制直接调 SDK；不做结构化校验；无成本监控。延伸思考动手实验建议：同一问题扫 temperature 0~1 观察稳定性；对比 stream vs 非 stream 的 TTFT；用 invalid schema 测试重试逻辑。Structured output 与 FC 应在小项目里串起来：模型输出 JSON→校验→调 HTTP 工具→结果回写。评测从 30 条核心 case 起步，覆盖拒答、工具、格式、安全。专题读完应能画出「一次生产...

AI 系统设计专题：从生产级架构到安全、可观测与语音 Agent

系统设计专题回答「Prompt Demo 如何变成可运维的后端服务」。范围应用分层架构；LLM 网关；安全与权限；Trace 与评测；语音 Agent 全链路。与 LLM basis、Agent、RAG 交叉。阅读顺序application-architecture → llm-gateway → llm-security → ai-observability → ai-voice。工程原则模型外置；状态与 Prompt 版本化；失败可降级；可观测先行；安全默认拒绝。误区单体脚本部署；密钥进 Prompt；无 SLO 与成本预算。延伸思考系统设计专题与开发专题的交界在网关与可观测：它们横切所有 AI 功能。语音 Agent 是独立高延迟链路，不宜与文本服务混部署而不隔离资源。学习输出标准：能画生产架构、能列安全清单、能估 Token 成本、能设计 Trace schema。与 Java/Go 后端结合时，AI 能力宜作为独立 service 或 sidecar，通过 internal API 调用，便于独立扩缩与密钥管理。实践小结练习：对照专题给现有 A...

AI 应用评测体系：从 Golden Set 构建到线上灰度闭环

没有评测的 AI 功能只能叫实验，不能叫产品。为何自建 Golden Set公开 benchmark 与业务分布脱节；需要覆盖权限、拒答、工具、多轮、边界输入。每条 case：输入、期望行为、评分 rubric、标签分层。构建方法从日志采样 + 人工标注 Badcase；合成数据补长尾；分层（核心/扩展/对抗）。100–300 条核心集可启动迭代；持续增补。闭环离线回归 → 预发 shadow → 灰度指标（准确率、引用率、人工接管）→ 全量。版本绑定 Prompt、检索索引、模型 id。误区只看 BLEU/ROUGE；无对抗用例；Golden Set 不维护导致腐化。延伸思考Golden case 字段可含：input、expected_tools、expected_citations、forbidden_content、difficulty tag。扩展覆盖可用 mutation：改写法、加噪声、换语言、注入恶意片段。分层时核心集挡回归，扩展集测泛化，对抗集测安全。线上灰度看：answer grounded rate、用户 thum...

AI 核心概念总览：LLM、Agent、RAG、MCP 与系统设计

核心概念的价值是把分散术语放到同一条请求链路上理解。链路视角用户问题 →（可选 RAG 检索）→ 上下文组装 → LLM 推理 →（可选 FC/MCP 工具）→ 结构化/自然语言输出 → 日志与评测。Token 与上下文窗口决定成本与记忆；采样参数影响确定性。关键机制结构化输出分 JSON Mode、Schema 约束、Structured Outputs 三层。Agent Loop 连接工具反馈。Embedding 支撑语义检索；GraphRAG 补关系推理。网关统一模型路由；安全层防注入与越权。工程取舍长上下文 vs RAG；微调 vs 检索；单 Agent vs 多 Agent；同步 vs 流式。按延迟、成本、可解释性选型。误区术语堆砌无链路；忽视评测与引用溯源；把 Demo 架构当生产架构。延伸思考串联概念时，可画一张请求路径：用户输入经网关鉴权，编排层决定是否 RAG、是否启用 Agent，上下文层合并 Memory 与检索片段，模型层产出文本或 tool call，工具层经 MCP/FC 执行，结果经校验后返回并写 Trac...

Spring Cloud Gateway 面试题总结：路由、Predicate、Filter、限流熔断与工作原理

Spring Cloud Gateway 是 Spring 栈网关首选。本文归纳路由匹配、过滤器链、限流熔断与 Reactive 模型等面试考点及生产注意事项。要解决什么问题面试问 Gateway 与 Zuul 差异、Route 组成、GlobalFilter 顺序、如何实现鉴权限流、为何不要阻塞 Netty event loop。生产上还遇到路由动态刷新失败、CORS 重复、StripPrefix 配置错误导致 404 等实际问题。核心原理Route=Id+URI+Predicate+Filter。Predicate 组合 match；GatewayFilter 作用于 route，GlobalFilter 全局。基于 WebFlux+Netty 事件驱动。RequestRateLimiter 结合 Redis；Resilience4j 做 circuit breaker。LoadBalancerClientFilter 把 lb://service 解析为真实 host。Order 决定 filter 链顺序。方案权衡Reactive ...

评论

数据加载中