AI 系统设计题考察把 LLM 放进现有后端体系的能力。

常见题型

设计企业知识库问答、Agent 平台、模型网关、多租户 LLM 服务、实时语音助手。评分点：分层、异步、缓存、权限、降级、成本。

要点清单

入口鉴权与限流；编排与状态存储；RAG 索引流水线；网关路由/fallback；Trace + 评测；密钥与 PII 治理；流式与 WebSocket。

权衡表达

强模型 vs 小模型路由；同步 vs 队列异步；集中网关 vs 侧车。准备容量估算：Token/日、峰值 QPS。

误区

架构图画成「一个框叫 LLM」；无失败路径；忽视合规与审计。

延伸思考

画图题建议分层：客户端、API、编排、知识索引、向量库、模型网关、观测、配置中心。强调异步：长 Agent 任务入队，Webhook 回调。多租户：配额、模型路由、数据隔离。语音题补充 ASR/TTS 流式与打断。安全题画信任边界：用户输入、检索内容、工具执行环境。容量估算示例：日 100 万问、均 2k input token、30% 走 RAG，可粗算 embedding 与 LLM 月成本，展示工程思维。

实践小结

练习：计时 35 分钟画「多租户 RAG 平台」架构，含网关、索引流水线、评测。口头补充容量估算与安全威胁。对照参考答案查遗漏层（ often 缺 audit 或 async）。

工程检查清单

检查清单：能否 35 分钟画多租户 RAG；网关/fallback 是否涵盖；异步长任务是否设计；安全 audit 是否提及；容量估算是否练过。系统设计题缺一层往往体现在「只有一个 LLM 框」。

读者 takeaway

读者 takeaway：AI 系统设计题考察「把 LLM 当依赖服务」的后端思维。每层都要有失败路径与指标，否则架构图只是漂亮幻灯片。

学习建议