RAG 专题:文档处理、向量数据库、GraphRAG、检索优化与知识库更新
RAG 专题要解决的是”让大模型基于可更新、可溯源的企业知识回答问题”。它不是某个单一工具,而是一条从文档进来到答案出去的完整链路——任何一环薄弱,整体表现都会变成”答非所问”。这份地图帮你把各子主题串起来,按合理顺序逐个击破。
链路总览:先把全景装进脑子
一次 RAG 问答的完整链路分两段:
- 离线索引:文档解析 → 清洗去噪 → 切分(Chunking)→ 向量化(Embedding)→ 写入向量库与元数据。
- 在线检索:Query 改写 → 向量/全文混合召回 → 重排(Rerank)→ 上下文组装 → 生成与引用。
学习 RAG 最容易犯的错是只盯着某个点(比如纠结选哪个向量库),却忽视链路思维。检索质量差,可能是解析丢了表格结构,可能是切分断了语义,也可能是 Embedding 模型与语料不匹配——定位问题需要全链路视角。
五个子主题各管什么
- RAG 基础(rag-basis):建立核心概念——RAG 解决什么问题、离线与在线两段链路、Embedding 的语义匹配原理,以及与搜索、微调、长上下文的选型边界。这是一切的地基。
- 文档处理(rag-document-processing):决定效果上限。PDF 表格、双栏、扫描件的解析坑,版面分析,固定/语义/父子块切分策略,多模态内容处理,清洗质检流水线。解析阶段丢的信息,后面任何模型都救不回来。
- 向量数据库(rag-vector-store):决定规模与延迟。HNSW 等索引原理、向量库选型、元数据过滤与混合存储。
- 检索优化(rag-optimization):决定召回率。Query 改写、混合检索、重排、上下文压缩,以及用评测指标驱动调优。
- 知识库更新(rag-knowledge-update):保证时效。增量索引、文档级版本管理、删除传播、全量重建与灰度切换。
- GraphRAG:补关系型推理。当问题需要跨实体、多跳关联(”A 供应商的下游客户里谁投诉最多”)时,纯向量检索力不从心,图谱能补上这一课。
推荐学习顺序
按链路顺序学,每一步都能在前一步的产出上动手验证:
rag-basis(概念与边界) |
边学边练的建议:每学完一个子主题,就在自己搭的最小知识库上做一次实验——换一种切分策略对比 Recall@5、加一层重排看答案忠实度变化、模拟文档修改验证旧向量是否被清理。RAG 是强工程导向的主题,只读不练很难形成判断力。
企业落地的里程碑视角
真实项目可以按五个里程碑推进:M1 单库 FAQ 跑通端到端;M2 上混合检索与重排,把召回质量拉起来;M3 补齐权限过滤与更新链路,达到生产可用;M4 建评测集,形成回归闭环;M5 再考虑 GraphRAG、Agent 等扩展。每个里程碑都要有可量化指标(Recall@k、人工评分占比、索引延迟),而不是”感觉变好了”。
常见误区
- 只买向量库,不做切分评测:向量库是链路里最标准化的一环,文档处理才是差异化所在。
- 忽视权限设计:检索侧不过滤 ACL,靠 Prompt 叮嘱模型保密等于没防。
- Embedding 模型不锁版本:索引与查询用了不同模型,向量空间对不上,召回质量悄悄崩掉。
- 没有评测集就谈优化:没有”问题—证据—答案”标注集,任何调优都无法验证。
小结
- RAG 是系统工程,效果取决于解析、切分、索引、召回、重排、生成、更新整条链路的最短板。
- 按”基础 → 文档处理 → 向量库 → 检索优化 → 知识更新 → GraphRAG”的顺序学习,每一步配套动手实验。
- 企业落地分五个里程碑推进,每步定义可量化指标,评测闭环是持续优化的前提。
- 学完本专题,你应该能独立设计一条含质检、增量更新、权限过滤的索引流水线,并主导一次企业知识库 POC 的技术评审。
本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Dai Wei!
评论

