AI 系统设计专题回答一个问题：Prompt Demo 如何变成可运维、可度量、可审计的生产服务。本文是模块学习地图，说明阅读顺序、贯穿全模块的工程原则，以及它与其他 AI 专题的分工。

模块定位

跑通一次模型调用，只说明模型在某个样例上给过可用回答。进入生产环境，还要继续回答：多模型怎么路由，失败怎么兜底，Token 成本如何归因，一次 Agent 请求如何还原，敏感工具由谁授权。本专题按后端视角组织这些能力——架构、网关、安全、可观测、语音链路，目标读者是做过 Demo、准备把 AI 能力接进真实业务的开发者。

学习地图

建议按依赖关系顺序阅读五篇核心文章：

  1. AI 应用系统设计：模块主线。从 Prompt 管理讲到模型网关、RAG、Memory、工具调用、异步任务与评测，先建立整体分层视角。
  2. LLM/Agent 安全实战：沿一次工具调用理解直接与间接 Prompt Injection、工具越权、MCP 授权、数据防泄与安全回归。
  3. 大模型网关：模型调用的治理收口——多模型路由、Fallback、限流配额、缓存、Token 预算与成本归因。
  4. AI 可观测性与 Trace：沿一次错误回答还原模型、检索、工具与 Agent 的执行过程，掌握 Span 拆分、上下文传播、采样与 Badcase 回流。
  5. AI 语音技术：实时链路专题，覆盖 VAD、ASR、LLM、TTS、流式播放与打断处理，是对延迟最敏感的场景。

先主线后横切：架构给出分层框架，安全与网关是横切所有功能的治理能力，可观测提供排查证据，语音把前面所有约束放进更严苛的实时预算里。

贯穿全模块的工程原则

  • 模型外置：模型名、Prompt 模板与参数进配置和版本管理，不散落在业务代码里；
  • 失败可降级：限流、超时、Fallback 是默认配置，不是事后补丁；
  • 可观测先行：功能上线前先能 Trace、能算成本，否则线上无从排查；
  • 安全默认拒绝：工具最小权限、敏感操作审批、检索侧权限过滤；
  • 成本可归因：按场景与租户拆分 Token 消耗，没有预算就不上线。

与其他专题的关系

本专题与 LLM 基础、Agent、RAG 三个专题交叉：基础专题解释模型能力与评测方法，Agent 专题讲编排与循环，RAG 专题讲检索链路，系统设计专题负责把它们纳入统一的后端 SLO 框架。网关与可观测是横切能力，任何一条 AI 功能线都会穿过它们；语音 Agent 的资源画像不同（ASR/TTS worker 与文本服务应隔离部署），适合最后学习。与 Java/Go 后端结合时，AI 能力宜作为独立服务或 sidecar 通过内部 API 暴露，便于独立扩缩容与密钥管理。

小结

  1. 模块主线是”让 AI 功能成为平台能力”：架构定分层，网关收口治理，安全划边界，可观测给证据，语音处理实时性。
  2. 五篇文章按”架构 → 安全 → 网关 → 观测 → 语音”的顺序读，先主线后横切。
  3. 学习产出标准：能画生产架构图、能列安全清单、能估 Token 成本、能设计 Trace schema。