大模型 API 看起来只是一次请求加一次返回，落地时的坑却全藏在细节里：Token 怎么花掉、上下文为什么塞不下、采样参数为什么让答案忽稳忽飘、结构化输出为什么偶发失败、上线前凭什么说「效果变好了」。这个专题把这些问题逐一讲清，作为后续 Agent、RAG 专题的地基。

专题定位

这个专题适合三类读者：刚接触 LLM 应用开发、想系统补基础的工程师；写过 Prompt Demo、但对生产级调用链路不熟的后端；以及准备大模型应用开发方向面试的同学。读完的目标不是「会背参数名」，而是能独立画出一次生产级调用的完整时序图，并知道每一环可能怎么坏。

学习路线

四篇主线，建议按顺序读，前一篇是后一篇的前置：

  1. LLM 运行机制：Token、上下文窗口、Temperature 等概念还原为可观察、可调试的工程参数。不懂机制，后面的成本与稳定性问题都无从谈起。
  2. 大模型 API 调用工程实践：消息角色体系、SSE 流式与取消、Token 计量、重试限流、超时熔断、密钥与网关，把一次调用接进真实后端。
  3. 大模型结构化输出详解：JSON Schema、Function Calling 与工具调用的契约设计，以及失败后的校验与兜底。
  4. AI 应用评测体系：从 Golden Set、LLM-as-Judge 到回归流水线，回答「改动到底是优化还是回退」。

动手清单

只读不练，这些概念留不下来。四件事对应四篇：

  • 用同一个问题扫一遍 temperature 从 0 到 1，观察输出稳定性与措辞变化。
  • 分别用同步和流式各调一次接口，记录 TTFT 差距，并检查中间代理是否缓冲了 SSE。
  • 故意给一个非法的 JSON Schema 或截断的响应，验证你的校验与重试逻辑会不会把脏数据放进库。
  • 攒 30~50 条真实场景的 Golden Case，跑一次基线评测，体验「没有评测集的优化只是主观感受」。

常见误区

  • 跳过运行机制直接调 SDK，Token 账单和上下文截断问题出现时完全无法定位。
  • 把流式输出当成「更快出结果」——它只缩短首字等待，不缩短总时长，也不省钱。
  • 结构化输出只靠 Prompt 叮嘱，不做 Schema 校验就解析入库。
  • 凭手感判断「新 Prompt 好像更好」，没有固定评测集和版本绑定。
  • 把 API Key 写进前端或代码仓库，等泄露了再补救。

小结

大模型基础是整个 AI 应用的上层建筑：机制理解帮你控制成本与稳定性，API 工程保证链路可靠，结构化输出保证结果可被程序消费，评测体系保证每次迭代方向可证。四者缺任何一块，后面的 Agent 与 RAG 都是空中楼阁。