大模型基础专题：运行机制、API 调用、结构化输出与评测

发表于2025-03-23|人工智能

|浏览量:

大模型基础是 AI 应用的「操作系统层」——不懂机制就容易在成本与安全上踩坑。

专题范围

运行机制（Token、窗口、采样）；API 工程（流式、重试、限流）；结构化输出与 Function Calling；评测体系（Golden Set、灰度）。

学习顺序

先机制后 API；先同步后流式；先 JSON 契约后工具调用；先离线评测后线上监控。与 Agent/RAG 专题交叉阅读。

实践建议

用同一套小任务对比不同 temperature 与 max_tokens；压测流式 TTFT；建立 50 条 Golden Case。

误区

跳过机制直接调 SDK；不做结构化校验；无成本监控。

延伸思考

动手实验建议：同一问题扫 temperature 0~1 观察稳定性；对比 stream vs 非 stream 的 TTFT；用 invalid schema 测试重试逻辑。Structured output 与 FC 应在小项目里串起来：模型输出 JSON→校验→调 HTTP 工具→结果回写。评测从 30 条核心 case 起步，覆盖拒答、工具、格式、安全。专题读完应能画出「一次生产调用」的时序图，而不只是列举 API 参数名。

实践小结

练习：用 curl 或 SDK 各调一次 sync/stream，记录 TTFT。跑 small Golden Set 评测不同 temperature。列出你项目中最该先补的 LLM 基础短板一项并排期。

工程检查清单

检查清单：机制/API/结构化/评测四篇是否串联；是否动手测 stream 与 schema；是否有 Golden Set v0。基础专题目标是独立设计一次生产级 chat 调用时序。

读者 takeaway

读者 takeaway：大模型基础是一切的上层建筑。机制理解帮助控成本，API 工程保证可靠，评测保证迭代有方向——三者缺一，Agent/RAG 都是空中楼阁。

学习建议

文章作者: Dai Wei

文章链接: https://www.daiwei.biz/knowledge/ai/llm-basis/overview/

版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Dai Wei！

LLM API 评测结构化输出

扫码打赏

微信
支付宝

相关推荐

大模型基础面试题总结

LLM 面试要同时答清原理与调用链路上的工程细节。运行机制Token 化、上下文窗口、注意力与成本；temperature/top_p 影响；输入输出 Token 计费；Prompt Cache 适用场景。 API 工程流式 SSE、重试幂等、超时、限流、结构化返回校验。JSON 漂移处理三层约束。评测Golden Set、自动指标 + 人工、线上采样与灰度。公开 benchmark 与业务集差异。误区只背 Transformer；不讲失败重试；忽视结构化输出生产实践。延伸思考API 题准备：SSE 事件格式、客户端断连、服务端 cancel、幂等键设计。结构化输出题画三层约束并说明 parse 失败重试策略。评测题区分 offline/online metric，提及 human eval 采样率。综合场景如「账单摘要」：强调 PII 脱敏、JSON schema、audit log。运行机理题别忽略：长上下文推理未必更准，中间 lost-in-the-middle 现象可主动提及，体现深度。实践小结练习：手写 SSE 事件流示例与 JSON ...

AI 应用评测体系：从 Golden Set 构建到线上灰度闭环

没有评测的 AI 功能只能叫实验，不能叫产品。为何自建 Golden Set公开 benchmark 与业务分布脱节；需要覆盖权限、拒答、工具、多轮、边界输入。每条 case：输入、期望行为、评分 rubric、标签分层。构建方法从日志采样 + 人工标注 Badcase；合成数据补长尾；分层（核心/扩展/对抗）。100–300 条核心集可启动迭代；持续增补。闭环离线回归 → 预发 shadow → 灰度指标（准确率、引用率、人工接管）→ 全量。版本绑定 Prompt、检索索引、模型 id。误区只看 BLEU/ROUGE；无对抗用例；Golden Set 不维护导致腐化。延伸思考Golden case 字段可含：input、expected_tools、expected_citations、forbidden_content、difficulty tag。扩展覆盖可用 mutation：改写法、加噪声、换语言、注入恶意片段。分层时核心集挡回归，扩展集测泛化，对抗集测安全。线上灰度看：answer grounded rate、用户 thum...

大模型 API 调用工程实践：流式输出、重试、限流与结构化返回

生产级 LLM 调用是分布式系统工程，不是单次 HTTP POST。调用阶段鉴权 → 路由 → 组装 Prompt → 请求模型 → 流式/同步消费 → 校验 → 持久化 → 计费埋点。每阶段需超时与可观测。流式选型SSE 简单、单向，适合 Chat；WebSocket 双向，适合语音/协作；chunked HTTP 兼容性好。注意 Nginx 缓冲关闭、代理超时、客户端断连取消。可靠性幂等 Key 防重复扣费；指数退避重试；熔断与 fallback 模型。流式异常：断连、TTFT 超时、中途错误帧。误区默认缓冲导致「假流式」；无 cancel 泄漏资源；结构化输出不校验就入库。延伸思考Spring AI 等框架封装了 ChatClient，但生产仍需自管：连接池、超时、断路器、bulkhead。流式场景在模型输出 Markdown 代码块时，注意 SSE 事件边界解析，避免半行 JSON 被截断。重试仅对 idempotent 读操作或带幂等键的写操作；对「已扣费但客户端超时」要有对账任务。限流按 tenant+model 维度，防止单客户拖垮...

大模型结构化输出：从 JSON 契约到 Function Calling 落地

「请返回 JSON」不是工程方案，契约必须在生成与解析两侧 enforce。三层约束JSON Mode 保语法；JSON Schema 定字段；Structured Outputs 在生成期约束。仍建议服务端 parse + 校验 + 重试。 Function Calling模型输出 tool name + arguments；业务侧执行并回传。与 MCP 配合：FC 是意图，MCP 是通道。工具描述要准，减少错选。安全分层只读查询 / 写操作 / 高危操作分级；参数白名单；人工确认；沙箱执行。记录每次 tool call 审计。误区解析失败直接 500；工具权限过大；Schema 过复杂模型填不对。延伸思考JSON 漂移表现：多余 markdown 围栏、中文标点、缺字段、类型错（字符串数字）。工程契约应在服务端定义 Pydantic/Zod 模型，失败时带错误信息重试一次，仍失败则降级模板或人工。Function Calling 工具描述要含「何时不要用」。并行 tool call 需考虑依赖关系与事务性。安全上，读库与写库工具分离；...

AI 核心概念总览：LLM、Agent、RAG、MCP 与系统设计

核心概念的价值是把分散术语放到同一条请求链路上理解。链路视角用户问题 →（可选 RAG 检索）→ 上下文组装 → LLM 推理 →（可选 FC/MCP 工具）→ 结构化/自然语言输出 → 日志与评测。Token 与上下文窗口决定成本与记忆；采样参数影响确定性。关键机制结构化输出分 JSON Mode、Schema 约束、Structured Outputs 三层。Agent Loop 连接工具反馈。Embedding 支撑语义检索；GraphRAG 补关系推理。网关统一模型路由；安全层防注入与越权。工程取舍长上下文 vs RAG；微调 vs 检索；单 Agent vs 多 Agent；同步 vs 流式。按延迟、成本、可解释性选型。误区术语堆砌无链路；忽视评测与引用溯源；把 Demo 架构当生产架构。延伸思考串联概念时，可画一张请求路径：用户输入经网关鉴权，编排层决定是否 RAG、是否启用 Agent，上下文层合并 Memory 与检索片段，模型层产出文本或 tool call，工具层经 MCP/FC 执行，结果经校验后返回并写 Trac...

LLM 运行机制：Token、上下文窗口与采样参数怎么影响输出

Token 与窗口不是抽象概念，它们直接决定账单与回答质量。 Token 与窗口文本切分为 Token；上下文窗口是单次可见上限。多模态输入（图/音）也占 Token。溢出时尾部或中间截断，系统指令可能被挤掉。采样参数temperature 越高越发散；top_p 核采样；max_tokens 限制输出。确定性任务低温；创意任务略升温。同一 Prompt 不同参数可 A/B。成本预算输入通常比输出便宜；长上下文模型单价更高。Prompt Cache 对重复前缀省钱。预算公式：系统+检索+历史+输出 reserve。误区窗口拉满；忽视截断策略；无 max_tokens 导致账单失控。延伸思考多模态计费常让人低估：一张高分辨率图可能等价数千 text token。窗口管理上，系统指令应模板化且可缓存；历史对话可 rolling summary；RAG 片段按相关性截断。Prompt Cache 适合固定前缀（系统+工具 schema），变动部分放后缀。预算公式实践：reserve 20% 给 output，检索不超过 40%，历史不超过 30%，其余给...

评论

数据加载中