RAG 向量索引算法和向量数据库

发表于2025-08-25|人工智能

|浏览量:

向量库解决「百万级语义近邻搜索」，不是简单的 key-value。

Embedding 与检索

文本→稠密向量；Query 同空间近邻即语义相似。需同一模型、同一维度。相似度常用 cosine/IP，距离用 L2。

为何专用库

高维 ANN（HNSW、IVF）在延迟与 recall 间权衡；需过滤（metadata）、副本、持久化。小数据 Faiss/pgvector 够用；大规模 Milvus/ES 向量场。

索引选择

精确 NN 小数据；HNSW 低延迟；IVF 大规模。参数影响 recall 与 build 时间。

误区

只向量不做关键词；维度过高未归一化；不设 ef/search 参数调优。

延伸思考

pgvector 适合已有 Postgres 团队；Milvus/Qdrant 适合大规模；ES 适合同时要 BM25 的场景。HNSW 参数 M、efConstruction 影响 build 时间与 recall。过滤查询（tenant_id、acl）应在 ANN 前或与支持 metadata filter 的引擎结合。冷热分层：热库 SSD、冷库对象存储+按需加载。监控 p99 查询延迟与 recall 抽样，索引 rebuild 需蓝绿切换避免查询中断。

实践小结

练习：在 pgvector 或本地 Faiss 建 1 万条索引，压测 p99。试 metadata filter 查询。记录 HNSW ef_search 对 recall 的影响曲线。

工程检查清单

检查清单：ANN 参数；metadata filter；p99 监控；索引蓝绿；冷热分层。向量库选型匹配规模与团队运维能力即可。

读者 takeaway

读者 takeaway：向量库是性能与运维的 tradeoff，没有银弹。匹配团队规模选型，持续监控 p99 与 recall 抽样，比追逐最新 DB 品牌更务实。

学习建议

文章作者: Dai Wei

文章链接: https://www.daiwei.biz/knowledge/ai/rag/rag-vector-store/

版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Dai Wei！

RAG Embedding 向量数据库 HNSW

扫码打赏

微信
支付宝

相关推荐

RAG 基础概念：检索、生成与工程取舍

RAG 在检索与生成之间架桥，解决时效、私有数据与幻觉三难题（非零幻觉）。工作原理离线索引六步：摄入、清洗、元数据、Chunk、Embedding、入库。在线：Query 向量化 → 相似检索 → 上下文增强 → 生成 + 引用。为何需要预训练知识过期；企业数据不可外泄；生成需证据降低胡编。但仍可能检索错、引用错、模型不跟指令。与搜索对比找文档用搜索；读文档答问题用 RAG。很多企业双入口并存。RAG 延迟与成本更高，需评测与 ACL。误区RAG 消灭幻觉；Chunk 越大越好；不做混合检索与重排。延伸思考Embedding 模型选择看语种、领域、维度与推理成本；查询与文档应同一模型。相似度 metric 要与索引实现一致（cosine/L2/IP）。与微调对比：RAG 适合知识频繁变、需 citation；微调适合风格/格式固定、知识相对稳定。长上下文可补 RAG 但无法替代权限与溯源。生产 RAG 必做：低分拒答、引用片段展示、用户反馈回流索引。实践小结练习：手工走一遍索引+查询，打印 top5 chunk 与最终答案，检查 gr...

RAG 面试题总结

RAG 面试重点在召回链路而非「向量库名词」。基础RAG 阶段：离线索引与在线检索生成；Embedding 与相似度；混合检索；幻觉与引用。进阶Chunk 策略、Parent-Child、重排、Query 改写；权限过滤在召回前；增量更新与 embedding 版本一致。 GraphRAG何时补图结构；多跳 vs 向量 Top-K；成本权衡。排查题「答非所问」从解析、Chunk、召回、重排、Prompt 五层查。误区：只会说 Milvus 不会说评测闭环。延伸思考Chunk 题比较固定长、递归、语义、Parent-Child 适用场景。优化题说闭环：Badcase 标注→定位层→改策略→回归。更新题强调 embedding 版本一致与 delete-then-insert。GraphRAG 题说何时值得：多跳、全局摘要、关系密集域。排查「胡编」先查检索是否空、引用是否匹配、模型是否忽略 context。准备混合检索公式：BM25 召回 + 向量召回 + RRF 合并 + cross-encoder 重排。实践小结练习：对一条「答非所问」样本做五层排查笔记。口述混合检...

GraphRAG：用图结构补充向量检索

向量 Top-K 擅长相似片段，GraphRAG 补关系推理与全局摘要类问题。动机Chunk 孤岛化；向量相似度不保证逻辑邻接；「整个库的趋势」类问题需社区检测与图遍历。GraphRAG 构建实体关系图，检索时走子图 + 摘要。机制索引期：抽取实体边、社区划分、生成社区摘要。查询期：局部向量检索 + 图扩展 + 汇总 Prompt。成本高于纯向量 RAG。选型适合关系密集、多跳问答、研报类全局问题。简单 FAQ 纯向量即可。可混合：向量初召 + 图 refine。误区一切上图；忽视构建与更新成本；图质量差于向量 baseline 未对比评测。延伸思考GraphRAG 索引成本包含实体抽取 LLM 调用、社区摘要生成与图存储。查询时若走全局搜索，延迟高于普通 RAG，适合离线分析型问答而非毫秒级客服。与向量混合：先用向量找种子实体，再 k-hop 扩展。更新时图边也需增量维护，否则节点过期。评测应用多跳数据集验证是否真的优于 baseline，避免为图而图。实践小结练习：选 5 个多跳问题，对比向量 RAG 与（若有）图扩展结果。估算构图 LLM 成本是否可接受。明...

AI 应用开发面试题专题

面试复习应覆盖 LLM、Agent、RAG、系统设计四条线的高频追问。模块划分大模型基础（Token、API、结构化输出、评测）；Agent（Loop、Memory、MCP、Harness）；RAG（索引、Chunk、优化、GraphRAG）；系统设计（架构、网关、安全、可观测、语音）。复习方法每模块准备 3 分钟口述 + 1 个画图题（RAG 链路、Agent Trace、网关拓扑）。结合自己项目讲 Badcase 与指标，比背定义更有说服力。高频交叉题RAG 与 Memory 区别；MCP 与 FC；Prompt vs Context；何时不用 Agent。准备「为什么不用微调/长上下文 alone」的权衡回答。误区只刷题不做项目复盘；忽视系统设计与安全面。延伸思考复习节奏建议：第一周扫 LLM+API，第二周 Agent+MCP，第三周 RAG 全链路，第四周系统设计+安全。每周末用 45 分钟模拟面试：15 分钟概念、15 分钟白板、15 分钟项目深挖。把专题文章当字典，把面试题当 checklist。对后端候选人，面试官常追问「你怎么保证线上质量...

AI 内容规划 TODO

内容规划的价值在于把「已知缺口」变成可执行的阅读与动手顺序。规划思路JavaGuide AI 专题按 P0–P2 划分：P0 补齐生产级架构、网关、安全、可观测；P1 深化 Agent Harness、Loop、MCP 合规与 RAG 优化；P2 扩展 Java AI 框架与 MCP 进阶。规划不是目录堆砌，而是识别团队最常卡住的工程短板。优先级机制P0 对应「一上线就痛」：权限、注入、成本、Trace。P1 对应「规模上来才痛」：多 Agent 冲突、Chunk 策略、知识库增量。P2 对应「生态扩展」：Spring AI、LangChain4j 等与协议演进。实践建议动手顺序：先搭最小 RAG + 评测闭环 → 加一个带工具的 Agent → 接网关与 Trace → 补安全沙箱。每完成一阶段，用 20 条 Golden Case 回归，避免「读很多、测很少」。误区把 TODO 当完成清单而非路线图；追新框架却未建立评测基线；跳过安全与可观测直接做功能 Demo。延伸思考对照 TODO 清单自检时，可以用一张能力雷达图：横轴是 LLM/API、Agen...

RAG 专题：文档处理、向量数据库、GraphRAG、检索优化与知识库更新

RAG 专题解决「让模型基于可更新、可溯源的企业知识回答」的问题。链路总览解析 → 清洗 → Chunk → Embedding → 索引 → 查询改写 → 召回 → 重排 → 生成 → 引用。任一环节弱则整体「答非所问」。子专题文档处理定上限；向量库定规模与延迟；优化定召回率；GraphRAG 补关系；更新保时效。与 LLM 评测、权限设计联动。实践顺序rag-basis → document-processing → vector-store → optimization → knowledge-update → graphrag。误区只买向量库不做 Chunk 评测；无权限过滤；忽视 embedding 模型版本锁定。延伸思考企业 RAG 项目常见里程碑：M1 单库 FAQ、M2 混合检索+重排、M3 权限与更新、M4 评测闭环、M5 Graph/Agent 扩展。每阶段定义可量化指标，如 Recall@5、人工评分>=4 的比例。文档处理与向量库选型往往被低估工期——扫描件 PDF、表格、多语言混合是常态。专题学习后应能独立设计索引...

评论

数据加载中