RAG 文档处理与切分策略：从解析、清洗、Chunking 到多模态内容处理

发表于2025-07-30|人工智能

|浏览量:

上传前半段决定 RAG 上限——Garbage In, Garbage Out。

处理链路

格式解析（PDF/HTML/Office）→ 去噪 → 结构识别（标题/table）→ Chunk → 元数据（来源、页码、ACL）→ Embedding。

Chunk 策略

固定长度简单但断语义；递归字符保段落；语义切分贵；按标题/结构切边界清晰；Parent-Child 小 chunk 召回、大 parent 生成。重叠缓解边界截断。

多模态

图/表需 OCR 或专用模型；表格转 Markdown 保结构。代码库按函数/类切分。

误区

不清洗 HTML 噪声；统一 chunk size；无元数据无法过滤与溯源。

延伸思考

PDF 解析优先保结构：标题层级、列表、表格单元格边界。代码文档按函数切分并保留 import 上下文。FAQ 可整段为 chunk。重叠 size 通常 10%-20% chunk length。Metadata 至少含 source_id、page、section、acl、lang、updated_at，供过滤与展示引用。多模态 pipeline 还要考虑 OCR 置信度低时人工审核队列，否则脏文本进入索引后很难排查。

实践小结

练习：对同一 PDF 试固定长与按标题两种 Chunk，比较 Recall@5。记录 metadata 字段设计。处理一份含表格样本，观察解析质量。

工程检查清单

检查清单：解析质量；Chunk 策略 A/B；metadata 完整；表格/OCR 特殊处理；脏数据隔离。文档处理是 RAG ROI 最高投入点之一。

读者 takeaway

读者 takeaway：Chunk 策略是 RAG 的 hidden lever。同一套 embedding 与模型，换 Chunk 可能带来最大幅度的 Recall 提升，且成本远低于换 GPT 版本。

学习建议

文章作者: Dai Wei

文章链接: https://www.daiwei.biz/knowledge/ai/rag/rag-document-processing/

版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Dai Wei！

RAG Chunk 文档解析

扫码打赏

微信
支付宝

相关推荐

AI 应用开发面试题专题

面试复习应覆盖 LLM、Agent、RAG、系统设计四条线的高频追问。模块划分大模型基础（Token、API、结构化输出、评测）；Agent（Loop、Memory、MCP、Harness）；RAG（索引、Chunk、优化、GraphRAG）；系统设计（架构、网关、安全、可观测、语音）。复习方法每模块准备 3 分钟口述 + 1 个画图题（RAG 链路、Agent Trace、网关拓扑）。结合自己项目讲 Badcase 与指标，比背定义更有说服力。高频交叉题RAG 与 Memory 区别；MCP 与 FC；Prompt vs Context；何时不用 Agent。准备「为什么不用微调/长上下文 alone」的权衡回答。误区只刷题不做项目复盘；忽视系统设计与安全面。延伸思考复习节奏建议：第一周扫 LLM+API，第二周 Agent+MCP，第三周 RAG 全链路，第四周系统设计+安全。每周末用 45 分钟模拟面试：15 分钟概念、15 分钟白板、15 分钟项目深挖。把专题文章当字典，把面试题当 checklist。对后端候选人，面试官常追问「你怎么保证线上质量...

AI Agent 记忆系统：短期记忆、长期记忆与记忆演化机制

记忆让 Agent 跨轮次保持任务连贯，也是长对话失控的主要变量。记忆分类短期记忆通常是对话历史与当前任务状态，受上下文窗口限制。长期记忆存用户偏好、历史结论、实体关系，常用向量库或 KV/图数据库。 episodic 记「发生了什么」，semantic 记「知道什么」。生命周期写入：工具结果、用户确认、摘要压缩后入库。读取：按 query 检索相关记忆注入上下文。更新：冲突合并、过期淘汰、重要性打分。遗忘：主动删除敏感或过时条目。与 RAG 的边界RAG 面向企业知识库、强调溯源与权限；Memory 面向会话/用户态、强调个性化与任务连续。二者可共存：RAG 供事实，Memory 供交互历史。勿把整库当 Memory 无差别注入。实践与误区长任务定期做 rolling summary；记忆写入前脱敏。误区：无限追加历史导致偏题；不做去重重复注入矛盾信息；长期记忆无 TTL 引发隐私风险。延伸思考工程上可为 Memory 设计写入门槛：仅持久化用户显式确认、工具返回的结构化结论、或经摘要压缩后的高价值事实。读取侧做相关性阈值，低于阈值不注入，避免...

RAG 优化：从召回、重排到上下文工程

RAG 优化先修数据，再调检索，最后才换大模型。优化闭环标注 Badcase → 定位层（解析/Chunk/召回/重排/生成）→ 改策略 → Golden 回归。指标：Recall@K、MRR、答案 grounded 率、人工分。召回层混合检索 BM25 + 向量；Query 改写/HyDE；多路召回合并。重排用 cross-encoder 或小模型。上下文去重、排序、长度预算；引用格式约束；拒答当检索分低时。误区一上来换 GPT-4；忽视 Metadata 过滤；无标注集盲目调参。延伸思考Badcase 分类示例：未召回（调 chunk/混合检索）、召回了但排序靠后（调 rerank）、上下文太长模型忽略（压缩/重排）、生成了未在片段中的事实（加强引用约束与拒答）。数据治理包括：去重、敏感信息脱敏、过期文档下架。A/B 可对比 reranker 有无、top_k 大小、query rewrite 策略。优化顺序切忌跳步——没有标注集就无法证明改动有效。实践小结练习：标注 20 条 B...

RAG 基础概念：检索、生成与工程取舍

RAG 在检索与生成之间架桥，解决时效、私有数据与幻觉三难题（非零幻觉）。工作原理离线索引六步：摄入、清洗、元数据、Chunk、Embedding、入库。在线：Query 向量化 → 相似检索 → 上下文增强 → 生成 + 引用。为何需要预训练知识过期；企业数据不可外泄；生成需证据降低胡编。但仍可能检索错、引用错、模型不跟指令。与搜索对比找文档用搜索；读文档答问题用 RAG。很多企业双入口并存。RAG 延迟与成本更高，需评测与 ACL。误区RAG 消灭幻觉；Chunk 越大越好；不做混合检索与重排。延伸思考Embedding 模型选择看语种、领域、维度与推理成本；查询与文档应同一模型。相似度 metric 要与索引实现一致（cosine/L2/IP）。与微调对比：RAG 适合知识频繁变、需 citation；微调适合风格/格式固定、知识相对稳定。长上下文可补 RAG 但无法替代权限与溯源。生产 RAG 必做：低分拒答、引用片段展示、用户反馈回流索引。实践小结练习：手工走一遍索引+查询，打印 top5 chunk 与最终答案，检查 gr...

AI 应用系统设计：从 Prompt Demo 到生产级架构

生产架构要把「一次聊天」变成可治理、可扩展的任务流水线。分层入口（鉴权、限流、会话）→ 编排（Agent/Workflow）→ 能力（RAG/Memory/Tools）→ 模型网关 → 观测与存储。Demo 常缺编排与治理层。三类上下文RAG 知识（只读、带来源）；Memory（用户态、可写）；Tool 结果（ ephemeral、需摘要）。勿混在一个 blob Prompt 里。交互模式同步适合低延迟短答；流式改善体验；异步队列适合长 Agent 任务 + 回调/Webhook。误区Prompt 硬编码在代码；无 idempotency；单模型无 fallback。延伸思考入口层除鉴权外，还应做 prompt injection 初筛、请求大小限制、会话 fixation 防护。编排层持久化 run state，支持 cancel。Prompt 管理用 Git+配置中心，版本与发布绑定。RAG/Memory/Tools 三个 context builder 独立模块，最后 merge 时做 token b...

RAG 知识库文档如何更新：增量更新、版本控制、去重与全量重建

知识库不是一次索引就结束，更新策略决定答案是否过时。核心问题新增/修改/删除如何同步；embedding 模型变更需全量重嵌；版本与 doc_id 一致性；去重防重复 chunk。元数据设计doc_id、version、hash、updated_at、source、acl。修改：删旧 vector + 写新。删除：软删标记 + 过滤。增量 vs 全量增量适合日常；全量适合模型切换、索引 corruption、大规模重构。定时对账校验 count/hash。误区只 append 不删改；换 embedding 模型不重建；无版本导致旧新片段同时召回矛盾。延伸思考增量 pipeline 可监听对象存储事件或 CMS webhook，消息体带 doc version。embedding 模型升级时，计划维护窗口跑全量 re-embed，双写索引后切换 alias。去重用 content hash，同 hash 跳过。删除要传播到向量库与 BM25 索引。对账任务每日比较源系统文档数与索引条目数。灾难恢复保留快照与重建脚本，避免单点索引损坏无退...

评论

数据加载中