AI 应用评测体系：从 Golden Set 构建到线上灰度闭环

发表于2025-05-28|人工智能

|浏览量:

没有评测的 AI 功能只能叫实验，不能叫产品。

为何自建 Golden Set

公开 benchmark 与业务分布脱节；需要覆盖权限、拒答、工具、多轮、边界输入。每条 case：输入、期望行为、评分 rubric、标签分层。

构建方法

从日志采样 + 人工标注 Badcase；合成数据补长尾；分层（核心/扩展/对抗）。100–300 条核心集可启动迭代；持续增补。

闭环

离线回归 → 预发 shadow → 灰度指标（准确率、引用率、人工接管）→ 全量。版本绑定 Prompt、检索索引、模型 id。

误区

只看 BLEU/ROUGE；无对抗用例；Golden Set 不维护导致腐化。

延伸思考

Golden case 字段可含：input、expected_tools、expected_citations、forbidden_content、difficulty tag。扩展覆盖可用 mutation：改写法、加噪声、换语言、注入恶意片段。分层时核心集挡回归，扩展集测泛化，对抗集测安全。线上灰度看：answer grounded rate、用户 thumbs、人工复核队列深度。公开 benchmark 可借鉴题型，但指标必须映射到业务 KPI，否则优化方向会偏离。

实践小结

练习：从生产日志脱敏采样 50 条建 v0 Golden Set，定义 rubric。跑一版自动评分 + 5 条人工复核。设定灰度门禁：低于阈值自动 rollback prompt 版本。

工程检查清单

检查清单：Golden 分层；对抗集；版本绑定；灰度门禁；人工复核采样；Badcase 回流。无评测的模型升级等于盲飞。

读者 takeaway

读者 takeaway：评测是把 AI 从 demo 推向产品的转换器。Golden Set 是资产，需持续投资；没有评测的优化都是主观感受。

学习建议

文章作者: Dai Wei

文章链接: https://www.daiwei.biz/knowledge/ai/llm-basis/llm-evaluation/

版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Dai Wei！

LLM 评测 Golden Set 质量

扫码打赏

微信
支付宝

相关推荐

大模型基础专题：运行机制、API 调用、结构化输出与评测

大模型基础是 AI 应用的「操作系统层」——不懂机制就容易在成本与安全上踩坑。专题范围运行机制（Token、窗口、采样）；API 工程（流式、重试、限流）；结构化输出与 Function Calling；评测体系（Golden Set、灰度）。学习顺序先机制后 API；先同步后流式；先 JSON 契约后工具调用；先离线评测后线上监控。与 Agent/RAG 专题交叉阅读。实践建议用同一套小任务对比不同 temperature 与 max_tokens；压测流式 TTFT；建立 50 条 Golden Case。误区跳过机制直接调 SDK；不做结构化校验；无成本监控。延伸思考动手实验建议：同一问题扫 temperature 0~1 观察稳定性；对比 stream vs 非 stream 的 TTFT；用 invalid schema 测试重试逻辑。Structured output 与 FC 应在小项目里串起来：模型输出 JSON→校验→调 HTTP 工具→结果回写。评测从 30 条核心 case 起步，覆盖拒答、工具、格式、安全。专题读完应能画出「一次生产...

大模型基础面试题总结

LLM 面试要同时答清原理与调用链路上的工程细节。运行机制Token 化、上下文窗口、注意力与成本；temperature/top_p 影响；输入输出 Token 计费；Prompt Cache 适用场景。 API 工程流式 SSE、重试幂等、超时、限流、结构化返回校验。JSON 漂移处理三层约束。评测Golden Set、自动指标 + 人工、线上采样与灰度。公开 benchmark 与业务集差异。误区只背 Transformer；不讲失败重试；忽视结构化输出生产实践。延伸思考API 题准备：SSE 事件格式、客户端断连、服务端 cancel、幂等键设计。结构化输出题画三层约束并说明 parse 失败重试策略。评测题区分 offline/online metric，提及 human eval 采样率。综合场景如「账单摘要」：强调 PII 脱敏、JSON schema、audit log。运行机理题别忽略：长上下文推理未必更准，中间 lost-in-the-middle 现象可主动提及，体现深度。实践小结练习：手写 SSE 事件流示例与 JSON ...

大模型网关详解：多模型路由、Fallback、限流与成本控制

网关把模型调用从业务代码里剥离成基础设施。职责统一 API、鉴权、路由（按任务/租户/语言）、fallback、限流、缓存、计费、日志。Router 偏策略；Gateway 偏策略+策略执行+策略存储。路由策略简单问答小模型；复杂推理强模型；失败降级；A/B 与 canary。成本：强模型仅走 escalation 规则。与 RAG/Agent网关不替代 RAG，位于模型调用边界。Agent 多次调用更依赖网关聚合计费与 timeout。误区网关层过厚拖延迟；无 fallback 单点；所有请求最强模型成本爆炸。延伸思考网关可内置 semantic cache（相似 query 命中），注意 privacy 分区。Fallback 链：主模型→备用模型→规则回复。Rate limit 支持 token bucket 与并发数双限。成本报表按 team/model/day 聚合，驱动 routing 策略。与 Service Mesh 关系：网关是 L7 AI 专用，Mesh 管通用 mTLS 与流量。自建 ...

大模型 API 调用工程实践：流式输出、重试、限流与结构化返回

生产级 LLM 调用是分布式系统工程，不是单次 HTTP POST。调用阶段鉴权 → 路由 → 组装 Prompt → 请求模型 → 流式/同步消费 → 校验 → 持久化 → 计费埋点。每阶段需超时与可观测。流式选型SSE 简单、单向，适合 Chat；WebSocket 双向，适合语音/协作；chunked HTTP 兼容性好。注意 Nginx 缓冲关闭、代理超时、客户端断连取消。可靠性幂等 Key 防重复扣费；指数退避重试；熔断与 fallback 模型。流式异常：断连、TTFT 超时、中途错误帧。误区默认缓冲导致「假流式」；无 cancel 泄漏资源；结构化输出不校验就入库。延伸思考Spring AI 等框架封装了 ChatClient，但生产仍需自管：连接池、超时、断路器、bulkhead。流式场景在模型输出 Markdown 代码块时，注意 SSE 事件边界解析，避免半行 JSON 被截断。重试仅对 idempotent 读操作或带幂等键的写操作；对「已扣费但客户端超时」要有对账任务。限流按 tenant+model 维度，防止单客户拖垮...

AI 核心概念总览：LLM、Agent、RAG、MCP 与系统设计

核心概念的价值是把分散术语放到同一条请求链路上理解。链路视角用户问题 →（可选 RAG 检索）→ 上下文组装 → LLM 推理 →（可选 FC/MCP 工具）→ 结构化/自然语言输出 → 日志与评测。Token 与上下文窗口决定成本与记忆；采样参数影响确定性。关键机制结构化输出分 JSON Mode、Schema 约束、Structured Outputs 三层。Agent Loop 连接工具反馈。Embedding 支撑语义检索；GraphRAG 补关系推理。网关统一模型路由；安全层防注入与越权。工程取舍长上下文 vs RAG；微调 vs 检索；单 Agent vs 多 Agent；同步 vs 流式。按延迟、成本、可解释性选型。误区术语堆砌无链路；忽视评测与引用溯源；把 Demo 架构当生产架构。延伸思考串联概念时，可画一张请求路径：用户输入经网关鉴权，编排层决定是否 RAG、是否启用 Agent，上下文层合并 Memory 与检索片段，模型层产出文本或 tool call，工具层经 MCP/FC 执行，结果经校验后返回并写 Trac...

LLM 运行机制：Token、上下文窗口与采样参数怎么影响输出

Token 与窗口不是抽象概念，它们直接决定账单与回答质量。 Token 与窗口文本切分为 Token；上下文窗口是单次可见上限。多模态输入（图/音）也占 Token。溢出时尾部或中间截断，系统指令可能被挤掉。采样参数temperature 越高越发散；top_p 核采样；max_tokens 限制输出。确定性任务低温；创意任务略升温。同一 Prompt 不同参数可 A/B。成本预算输入通常比输出便宜；长上下文模型单价更高。Prompt Cache 对重复前缀省钱。预算公式：系统+检索+历史+输出 reserve。误区窗口拉满；忽视截断策略；无 max_tokens 导致账单失控。延伸思考多模态计费常让人低估：一张高分辨率图可能等价数千 text token。窗口管理上，系统指令应模板化且可缓存；历史对话可 rolling summary；RAG 片段按相关性截断。Prompt Cache 适合固定前缀（系统+工具 schema），变动部分放后缀。预算公式实践：reserve 20% 给 output，检索不超过 40%，历史不超过 30%，其余给...

评论

数据加载中