RAG 专题要解决的是”让大模型基于可更新、可溯源的企业知识回答问题”。它不是某个单一工具,而是一条从文档进来到答案出去的完整链路——任何一环薄弱,整体表现都会变成”答非所问”。这份地图帮你把各子主题串起来,按合理顺序逐个击破。

链路总览:先把全景装进脑子

一次 RAG 问答的完整链路分两段:

  • 离线索引:文档解析 → 清洗去噪 → 切分(Chunking)→ 向量化(Embedding)→ 写入向量库与元数据。
  • 在线检索:Query 改写 → 向量/全文混合召回 → 重排(Rerank)→ 上下文组装 → 生成与引用。

学习 RAG 最容易犯的错是只盯着某个点(比如纠结选哪个向量库),却忽视链路思维。检索质量差,可能是解析丢了表格结构,可能是切分断了语义,也可能是 Embedding 模型与语料不匹配——定位问题需要全链路视角。

五个子主题各管什么

  1. RAG 基础(rag-basis):建立核心概念——RAG 解决什么问题、离线与在线两段链路、Embedding 的语义匹配原理,以及与搜索、微调、长上下文的选型边界。这是一切的地基。
  2. 文档处理(rag-document-processing):决定效果上限。PDF 表格、双栏、扫描件的解析坑,版面分析,固定/语义/父子块切分策略,多模态内容处理,清洗质检流水线。解析阶段丢的信息,后面任何模型都救不回来。
  3. 向量数据库(rag-vector-store):决定规模与延迟。HNSW 等索引原理、向量库选型、元数据过滤与混合存储。
  4. 检索优化(rag-optimization):决定召回率。Query 改写、混合检索、重排、上下文压缩,以及用评测指标驱动调优。
  5. 知识库更新(rag-knowledge-update):保证时效。增量索引、文档级版本管理、删除传播、全量重建与灰度切换。
  6. GraphRAG:补关系型推理。当问题需要跨实体、多跳关联(”A 供应商的下游客户里谁投诉最多”)时,纯向量检索力不从心,图谱能补上这一课。

推荐学习顺序

按链路顺序学,每一步都能在前一步的产出上动手验证:

rag-basis(概念与边界)
→ rag-document-processing(入库前的质量)
→ rag-vector-store(存储与索引)
→ rag-optimization(检索质量调优)
→ rag-knowledge-update(上线后的运维)
→ graphrag(关系推理扩展)

边学边练的建议:每学完一个子主题,就在自己搭的最小知识库上做一次实验——换一种切分策略对比 Recall@5、加一层重排看答案忠实度变化、模拟文档修改验证旧向量是否被清理。RAG 是强工程导向的主题,只读不练很难形成判断力。

企业落地的里程碑视角

真实项目可以按五个里程碑推进:M1 单库 FAQ 跑通端到端;M2 上混合检索与重排,把召回质量拉起来;M3 补齐权限过滤与更新链路,达到生产可用;M4 建评测集,形成回归闭环;M5 再考虑 GraphRAG、Agent 等扩展。每个里程碑都要有可量化指标(Recall@k、人工评分占比、索引延迟),而不是”感觉变好了”。

常见误区

  • 只买向量库,不做切分评测:向量库是链路里最标准化的一环,文档处理才是差异化所在。
  • 忽视权限设计:检索侧不过滤 ACL,靠 Prompt 叮嘱模型保密等于没防。
  • Embedding 模型不锁版本:索引与查询用了不同模型,向量空间对不上,召回质量悄悄崩掉。
  • 没有评测集就谈优化:没有”问题—证据—答案”标注集,任何调优都无法验证。

小结

  1. RAG 是系统工程,效果取决于解析、切分、索引、召回、重排、生成、更新整条链路的最短板。
  2. 按”基础 → 文档处理 → 向量库 → 检索优化 → 知识更新 → GraphRAG”的顺序学习,每一步配套动手实验。
  3. 企业落地分五个里程碑推进,每步定义可量化指标,评测闭环是持续优化的前提。
  4. 学完本专题,你应该能独立设计一条含质检、增量更新、权限过滤的索引流水线,并主导一次企业知识库 POC 的技术评审。