RAG 优化：从召回、重排到上下文工程

发表于2025-09-17|人工智能

|浏览量:

RAG 优化先修数据，再调检索，最后才换大模型。

优化闭环

标注 Badcase → 定位层（解析/Chunk/召回/重排/生成）→ 改策略 → Golden 回归。指标：Recall@K、MRR、答案 grounded 率、人工分。

召回层

混合检索 BM25 + 向量；Query 改写/HyDE；多路召回合并。重排用 cross-encoder 或小模型。

上下文

去重、排序、长度预算；引用格式约束；拒答当检索分低时。

误区

一上来换 GPT-4；忽视 Metadata 过滤；无标注集盲目调参。

延伸思考

Badcase 分类示例：未召回（调 chunk/混合检索）、召回了但排序靠后（调 rerank）、上下文太长模型忽略（压缩/重排）、生成了未在片段中的事实（加强引用约束与拒答）。数据治理包括：去重、敏感信息脱敏、过期文档下架。A/B 可对比 reranker 有无、top_k 大小、query rewrite 策略。优化顺序切忌跳步——没有标注集就无法证明改动有效。

实践小结

练习：标注 20 条 Badcase 分层。只改 rerank top_k 观察指标。建立 weekly retrieval quality review 例会模板。

工程检查清单

检查清单：Badcase 标注流程；rerank/rewrite 实验记录；数据治理；指标 dashboard。优化必须闭环，否则是随机调参。

读者 takeaway

读者 takeaway：RAG 优化是数据驱动的迭代循环，不是玄学调参。先标注 Badcase 分层，再改策略，用 Golden Set 证明有效——这条纪律比任何 trick 都重要。

学习建议

文章作者: Dai Wei

文章链接: https://www.daiwei.biz/knowledge/ai/rag/rag-optimization/

版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Dai Wei！

RAG 重排召回优化

扫码打赏

微信
支付宝

相关推荐

RAG 知识库文档如何更新：增量更新、版本控制、去重与全量重建

知识库不是一次索引就结束，更新策略决定答案是否过时。核心问题新增/修改/删除如何同步；embedding 模型变更需全量重嵌；版本与 doc_id 一致性；去重防重复 chunk。元数据设计doc_id、version、hash、updated_at、source、acl。修改：删旧 vector + 写新。删除：软删标记 + 过滤。增量 vs 全量增量适合日常；全量适合模型切换、索引 corruption、大规模重构。定时对账校验 count/hash。误区只 append 不删改；换 embedding 模型不重建；无版本导致旧新片段同时召回矛盾。延伸思考增量 pipeline 可监听对象存储事件或 CMS webhook，消息体带 doc version。embedding 模型升级时，计划维护窗口跑全量 re-embed，双写索引后切换 alias。去重用 content hash，同 hash 跳过。删除要传播到向量库与 BM25 索引。对账任务每日比较源系统文档数与索引条目数。灾难恢复保留快照与重建脚本，避免单点索引损坏无退...

RAG 面试题总结

RAG 面试重点在召回链路而非「向量库名词」。基础RAG 阶段：离线索引与在线检索生成；Embedding 与相似度；混合检索；幻觉与引用。进阶Chunk 策略、Parent-Child、重排、Query 改写；权限过滤在召回前；增量更新与 embedding 版本一致。 GraphRAG何时补图结构；多跳 vs 向量 Top-K；成本权衡。排查题「答非所问」从解析、Chunk、召回、重排、Prompt 五层查。误区：只会说 Milvus 不会说评测闭环。延伸思考Chunk 题比较固定长、递归、语义、Parent-Child 适用场景。优化题说闭环：Badcase 标注→定位层→改策略→回归。更新题强调 embedding 版本一致与 delete-then-insert。GraphRAG 题说何时值得：多跳、全局摘要、关系密集域。排查「胡编」先查检索是否空、引用是否匹配、模型是否忽略 context。准备混合检索公式：BM25 召回 + 向量召回 + RRF 合并 + cross-encoder 重排。实践小结练习：对一条「答非所问」样本做五层排查笔记。口述混合检...

AI 应用开发面试题专题

面试复习应覆盖 LLM、Agent、RAG、系统设计四条线的高频追问。模块划分大模型基础（Token、API、结构化输出、评测）；Agent（Loop、Memory、MCP、Harness）；RAG（索引、Chunk、优化、GraphRAG）；系统设计（架构、网关、安全、可观测、语音）。复习方法每模块准备 3 分钟口述 + 1 个画图题（RAG 链路、Agent Trace、网关拓扑）。结合自己项目讲 Badcase 与指标，比背定义更有说服力。高频交叉题RAG 与 Memory 区别；MCP 与 FC；Prompt vs Context；何时不用 Agent。准备「为什么不用微调/长上下文 alone」的权衡回答。误区只刷题不做项目复盘；忽视系统设计与安全面。延伸思考复习节奏建议：第一周扫 LLM+API，第二周 Agent+MCP，第三周 RAG 全链路，第四周系统设计+安全。每周末用 45 分钟模拟面试：15 分钟概念、15 分钟白板、15 分钟项目深挖。把专题文章当字典，把面试题当 checklist。对后端候选人，面试官常追问「你怎么保证线上质量...

AI 应用开发知识体系：大模型、Agent、RAG、MCP、Prompt 工程与系统设计

AI 应用开发不是单点调 API，而是模型、检索、工具、评测与运维的串联工程。知识主线后端工程师进入 AI 领域，建议按四条线并行：大模型基础（Token、采样、结构化输出）、Agent（Loop、Memory、工具）、RAG（索引、召回、更新）、系统设计（网关、安全、可观测、评测）。四条线互相依赖——只懂 Prompt 不懂召回，知识库问答会翻车；只懂 RAG 不懂权限，生产环境会泄露。工作机制一次典型企业问答请求：入口鉴权 → 查询改写 → 混合检索 → 重排 → 上下文组装 → 模型生成 → 引用校验 → 日志落盘。任何环节缺失都会在 Demo 与生产之间形成鸿沟。工程实践优先建立 Golden Set 与回归评测，再迭代 Prompt 和检索；网关层统一限流、路由与成本核算；Agent 工具调用必须最小权限 + 审计。学习顺序建议：核心概念 → LLM 机制 → Agent/RAG 专题 → 面试题查漏补缺 → 系统设计收尾。常见误区把「全量文档塞进上下文」当 RAG；把 MCP 当安全方案；忽略 Token 预算导致长任务失忆；Demo 未做失败重...

AI Agent 记忆系统：短期记忆、长期记忆与记忆演化机制

记忆让 Agent 跨轮次保持任务连贯，也是长对话失控的主要变量。记忆分类短期记忆通常是对话历史与当前任务状态，受上下文窗口限制。长期记忆存用户偏好、历史结论、实体关系，常用向量库或 KV/图数据库。 episodic 记「发生了什么」，semantic 记「知道什么」。生命周期写入：工具结果、用户确认、摘要压缩后入库。读取：按 query 检索相关记忆注入上下文。更新：冲突合并、过期淘汰、重要性打分。遗忘：主动删除敏感或过时条目。与 RAG 的边界RAG 面向企业知识库、强调溯源与权限；Memory 面向会话/用户态、强调个性化与任务连续。二者可共存：RAG 供事实，Memory 供交互历史。勿把整库当 Memory 无差别注入。实践与误区长任务定期做 rolling summary；记忆写入前脱敏。误区：无限追加历史导致偏题；不做去重重复注入矛盾信息；长期记忆无 TTL 引发隐私风险。延伸思考工程上可为 Memory 设计写入门槛：仅持久化用户显式确认、工具返回的结构化结论、或经摘要压缩后的高价值事实。读取侧做相关性阈值，低于阈值不注入，避免...

GraphRAG：用图结构补充向量检索

向量 Top-K 擅长相似片段，GraphRAG 补关系推理与全局摘要类问题。动机Chunk 孤岛化；向量相似度不保证逻辑邻接；「整个库的趋势」类问题需社区检测与图遍历。GraphRAG 构建实体关系图，检索时走子图 + 摘要。机制索引期：抽取实体边、社区划分、生成社区摘要。查询期：局部向量检索 + 图扩展 + 汇总 Prompt。成本高于纯向量 RAG。选型适合关系密集、多跳问答、研报类全局问题。简单 FAQ 纯向量即可。可混合：向量初召 + 图 refine。误区一切上图；忽视构建与更新成本；图质量差于向量 baseline 未对比评测。延伸思考GraphRAG 索引成本包含实体抽取 LLM 调用、社区摘要生成与图存储。查询时若走全局搜索，延迟高于普通 RAG，适合离线分析型问答而非毫秒级客服。与向量混合：先用向量找种子实体，再 k-hop 扩展。更新时图边也需增量维护，否则节点过期。评测应用多跳数据集验证是否真的优于 baseline，避免为图而图。实践小结练习：选 5 个多跳问题，对比向量 RAG 与（若有）图扩展结果。估算构图 LLM 成本是否可接受。明...

评论

数据加载中