大模型基础面试题总结

发表于2026-03-25|人工智能

|浏览量:

LLM 面试要同时答清原理与调用链路上的工程细节。

运行机制

Token 化、上下文窗口、注意力与成本；temperature/top_p 影响；输入输出 Token 计费；Prompt Cache 适用场景。

API 工程

流式 SSE、重试幂等、超时、限流、结构化返回校验。JSON 漂移处理三层约束。

评测

Golden Set、自动指标 + 人工、线上采样与灰度。公开 benchmark 与业务集差异。

误区

只背 Transformer；不讲失败重试；忽视结构化输出生产实践。

延伸思考

API 题准备：SSE 事件格式、客户端断连、服务端 cancel、幂等键设计。结构化输出题画三层约束并说明 parse 失败重试策略。评测题区分 offline/online metric，提及 human eval 采样率。综合场景如「账单摘要」：强调 PII 脱敏、JSON schema、audit log。运行机理题别忽略：长上下文推理未必更准，中间 lost-in-the-middle 现象可主动提及，体现深度。

实践小结

练习：手写 SSE 事件流示例与 JSON schema 校验伪代码。解释 TTFT 与 TPOT 指标。准备「结构化输出失败」的线上处理剧本。

工程检查清单

检查清单：Token/采样/API/结构化/评测五块各 3 题；SSE 异常是否掌握；JSON 校验重试是否讲清；公开 benchmark 与业务集差异是否说明。LLM 面试要原理与工程并排。

读者 takeaway

读者 takeaway：LLM 面试=机理 + API 生产实践 + 评测。能讲清一次失败调用的排查（超时/截断/JSON 错）即显示真实经验。

学习建议

文章作者: Dai Wei

文章链接: https://www.daiwei.biz/knowledge/ai/interview-questions/llm-interview-questions/

版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Dai Wei！

LLM 面试 API 评测

扫码打赏

微信
支付宝

相关推荐

大模型基础专题：运行机制、API 调用、结构化输出与评测

大模型基础是 AI 应用的「操作系统层」——不懂机制就容易在成本与安全上踩坑。专题范围运行机制（Token、窗口、采样）；API 工程（流式、重试、限流）；结构化输出与 Function Calling；评测体系（Golden Set、灰度）。学习顺序先机制后 API；先同步后流式；先 JSON 契约后工具调用；先离线评测后线上监控。与 Agent/RAG 专题交叉阅读。实践建议用同一套小任务对比不同 temperature 与 max_tokens；压测流式 TTFT；建立 50 条 Golden Case。误区跳过机制直接调 SDK；不做结构化校验；无成本监控。延伸思考动手实验建议：同一问题扫 temperature 0~1 观察稳定性；对比 stream vs 非 stream 的 TTFT；用 invalid schema 测试重试逻辑。Structured output 与 FC 应在小项目里串起来：模型输出 JSON→校验→调 HTTP 工具→结果回写。评测从 30 条核心 case 起步，覆盖拒答、工具、格式、安全。专题读完应能画出「一次生产...

大模型 API 调用工程实践：流式输出、重试、限流与结构化返回

生产级 LLM 调用是分布式系统工程，不是单次 HTTP POST。调用阶段鉴权 → 路由 → 组装 Prompt → 请求模型 → 流式/同步消费 → 校验 → 持久化 → 计费埋点。每阶段需超时与可观测。流式选型SSE 简单、单向，适合 Chat；WebSocket 双向，适合语音/协作；chunked HTTP 兼容性好。注意 Nginx 缓冲关闭、代理超时、客户端断连取消。可靠性幂等 Key 防重复扣费；指数退避重试；熔断与 fallback 模型。流式异常：断连、TTFT 超时、中途错误帧。误区默认缓冲导致「假流式」；无 cancel 泄漏资源；结构化输出不校验就入库。延伸思考Spring AI 等框架封装了 ChatClient，但生产仍需自管：连接池、超时、断路器、bulkhead。流式场景在模型输出 Markdown 代码块时，注意 SSE 事件边界解析，避免半行 JSON 被截断。重试仅对 idempotent 读操作或带幂等键的写操作；对「已扣费但客户端超时」要有对账任务。限流按 tenant+model 维度，防止单客户拖垮...

AI 应用评测体系：从 Golden Set 构建到线上灰度闭环

没有评测的 AI 功能只能叫实验，不能叫产品。为何自建 Golden Set公开 benchmark 与业务分布脱节；需要覆盖权限、拒答、工具、多轮、边界输入。每条 case：输入、期望行为、评分 rubric、标签分层。构建方法从日志采样 + 人工标注 Badcase；合成数据补长尾；分层（核心/扩展/对抗）。100–300 条核心集可启动迭代；持续增补。闭环离线回归 → 预发 shadow → 灰度指标（准确率、引用率、人工接管）→ 全量。版本绑定 Prompt、检索索引、模型 id。误区只看 BLEU/ROUGE；无对抗用例；Golden Set 不维护导致腐化。延伸思考Golden case 字段可含：input、expected_tools、expected_citations、forbidden_content、difficulty tag。扩展覆盖可用 mutation：改写法、加噪声、换语言、注入恶意片段。分层时核心集挡回归，扩展集测泛化，对抗集测安全。线上灰度看：answer grounded rate、用户 thum...

Java集合常见面试题总结(上)

集合面试上篇通常覆盖体系结构、接口继承关系，以及 List/Set/Map 最常用实现的差异——这是后续源码题的地图。核心概念Collection 单列：List 有序可重复、Set 不重复、Queue 队列。Map 双列键值对，不继承 Collection。经典实现：ArrayList/LinkedList、HashSet/TreeSet、HashMap/LinkedHashMap/TreeMap。迭代器 Iterator 与 fail-fast：modCount 检测并发修改。关键机制与实践选型速记：随机访问、尾部增删 → ArrayList；头尾插删、无随机访问 → LinkedList；去重无序 → HashSet；有序 → TreeSet/LinkedHashSet；键值查找 → HashMap；插入顺序 → LinkedHashMap；排序键 → TreeMap。HashMap 依赖 hashCode/equals；JDK 8 链表+红黑树；负载因子与 2 幂容量。常见误区与小结 Hash...

Agent 项目面试怎么讲？从系统架构、技术选型到 Badcase 复盘

项目面试考的是决策过程与指标，不是堆名词。复盘结构背景与指标 → 架构图（入口、编排、模型、检索、工具）→ 选型理由 → 关键 Badcase → 迭代与评测。30 秒版讲价值；3 分钟版讲链路与一次优化。技术选型为何 Agent 而非纯 Workflow；模型选择；RAG 还是微调；网关与缓存。准备 QPS、P95 延迟、单次成本、准确率/人工接管率。 Badcase 示范检索漏召、工具参数错、循环死锁、注入越权——每类说检测与修复。展示 Golden Set 与回归流程加分。误区只讲 Demo 不讲生产；无数据指标；把 Copilot 当 Agent 却无工具闭环。延伸思考复盘表字段建议：场景、DAU/QPS、模型与版本、检索库规模、工具列表、核心指标（准确率/延迟/成本/接管率）、三次迭代改动、仍未解决问题。讲 Badcase 用 STAR：现象→根因（哪一层）→改动→指标变化。技术选型题准备对比表：Workflow vs Agent、单模型 vs 路由、RAG vs 微调。30 秒版突出业务价值；3 分钟版突出...

AI 系统设计面试题总结

AI 系统设计题考察把 LLM 放进现有后端体系的能力。常见题型设计企业知识库问答、Agent 平台、模型网关、多租户 LLM 服务、实时语音助手。评分点：分层、异步、缓存、权限、降级、成本。要点清单入口鉴权与限流；编排与状态存储；RAG 索引流水线；网关路由/fallback；Trace + 评测；密钥与 PII 治理；流式与 WebSocket。权衡表达强模型 vs 小模型路由；同步 vs 队列异步；集中网关 vs 侧车。准备容量估算：Token/日、峰值 QPS。误区架构图画成「一个框叫 LLM」；无失败路径；忽视合规与审计。延伸思考画图题建议分层：客户端、API、编排、知识索引、向量库、模型网关、观测、配置中心。强调异步：长 Agent 任务入队，Webhook 回调。多租户：配额、模型路由、数据隔离。语音题补充 ASR/TTS 流式与打断。安全题画信任边界：用户输入、检索内容、工具执行环境。容量估算示例：日 100 万问、均 2k input token、30% 走 RAG，可粗算 embedding 与 LLM 月成本，展示...

评论

数据加载中