系统设计专题回答「Prompt Demo 如何变成可运维的后端服务」。

范围

应用分层架构；LLM 网关；安全与权限；Trace 与评测；语音 Agent 全链路。与 LLM basis、Agent、RAG 交叉。

阅读顺序

application-architecture → llm-gateway → llm-security → ai-observability → ai-voice。

工程原则

模型外置；状态与 Prompt 版本化；失败可降级；可观测先行；安全默认拒绝。

误区

单体脚本部署；密钥进 Prompt；无 SLO 与成本预算。

延伸思考

系统设计专题与开发专题的交界在网关与可观测：它们横切所有 AI 功能。语音 Agent 是独立高延迟链路，不宜与文本服务混部署而不隔离资源。学习输出标准：能画生产架构、能列安全清单、能估 Token 成本、能设计 Trace schema。与 Java/Go 后端结合时，AI 能力宜作为独立 service 或 sidecar，通过 internal API 调用，便于独立扩缩与密钥管理。

实践小结

练习：对照专题给现有 AI 服务打成熟度分（1-5）。选最弱一环（常见是安全或观测）做两周 sprint。输出 target architecture one-pager。

工程检查清单

检查清单：架构/网关/安全/观测/语音五篇顺序；与 LLM/Agent/RAG 交叉点是否标注；生产成熟度自评。系统设计是把 AI 能力纳入后端 SLO 框架。

读者 takeaway

读者 takeaway：系统设计专题回答「AI 功能如何成为平台能力」。网关、安全、观测三板斧齐，才能多业务线复用模型能力而不互相踩坑。

学习建议