RAG 体系 ​

相关笔记：Elasticsearch

RAG 看起来就五步：切块、向量化、存、检索、拼。但真正决定效果的，全在细节里 —— 90% 的 RAG 效果问题，都出在「切块」和「召回」，而不是模型。

1. 什么时候该用 RAG ​

判断口诀：「不知道」用 RAG，「不会说」才微调。

2. 离线管道：解析与切块 ​

2.1 解析（最脏最累的一步） ​

PDF 是 RAG 的第一大坑：表格丢结构、双栏串行、扫描件没文字。

一句经验：输入脏，后面全白搭。清洗（去页眉页脚、去乱码、合并断行）值得花掉整个项目 1/3 的时间。

2.2 切块（chunking）策略 ​

三条硬经验：

1. 一定要有 overlap（10%～20%），否则答案正好跨在边界上就丢了；
2. 每块带上「来源 + 章节标题」（元数据），既提升检索，又方便引用；
3. 块大小和问题粒度匹配：问「年假几天」用 200～500 token；问「这个方案怎么做」要大一些。

3. Embedding ​

注意：换了 embedding 模型 = 重建整个库。所以选型要在项目早期定，别中途换。

4. 索引与向量库 ​

HNSW 参数（最常被问）：

没有通用参数，必须用自己的数据集画 recall-latency 曲线。

5. 在线链路：召回才是命门 ​

用户问题
  ↓ Query 改写（多轮/口语化 → 完整查询）
  ↓ 并行两路：向量检索（语义）+ BM25（关键词）
  ↓ RRF 融合
  ↓ 元数据过滤（租户/时间/权限）
  ↓ Rerank 精排（cross-encoder，取 top 5）
  ↓ 拼 Prompt（带编号 + 引用要求）
  ↓ 模型生成 + 拒答兜底

用户问题
  ↓ Query 改写（多轮/口语化 → 完整查询）
  ↓ 并行两路：向量检索（语义）+ BM25（关键词）
  ↓ RRF 融合
  ↓ 元数据过滤（租户/时间/权限）
  ↓ Rerank 精排（cross-encoder，取 top 5）
  ↓ 拼 Prompt（带编号 + 引用要求）
  ↓ 模型生成 + 拒答兜底

5.1 Query 改写 ​

多轮对话里「它多少钱」必须改写为「XX 套餐多少钱」才能召回。手段：用模型改写（多一次小调用）、或用规则拼接上一轮实体。

5.2 混合检索与 RRF ​

纯向量对专有名词/型号/编号很弱（语义相近但完全不同），所以要加关键词通道。

RRF（Reciprocal Rank Fusion） 是把两路排名融合的标准做法，不需要归一化分数：

score(d) = Σ  1 / (k + rank_i(d))       k 常取 60

score(d) = Σ  1 / (k + rank_i(d))       k 常取 60

它只看名次不看分数，所以对两路分数量纲不一致的情况特别稳。

5.3 Rerank ​

• 粗排（向量/BM25）召回 50～100 条；
• 用 Cross-Encoder（如 bge-reranker）逐条打分，取 top 3～5；
• 代价是慢（要过一遍模型），所以只对少量候选做。

实测经验：加 Rerank 通常是性价比最高的一步，尤其候选池大、问题口语化时。

5.4 元数据过滤与权限 ​

• 一定要在检索阶段做租户/权限过滤，不能检索完再筛（会泄露、也会污染 topK）；
• 时间过滤对「最新政策」类问题很关键。

6. 生成：拼 Prompt 与拒答 ​

资料（编号）：
[1] ...
[2] ...

要求：
- 只依据资料回答，资料没有就说「资料中未提及」；
- 每个结论标注来源编号，如 [1]；
- 不要编造资料里没有的数字。

资料（编号）：
[1] ...
[2] ...

要求：
- 只依据资料回答，资料没有就说「资料中未提及」；
- 每个结论标注来源编号，如 [1]；
- 不要编造资料里没有的数字。

拒答策略比「努力作答」更重要：空召回或相似度低于阈值时，直接说「没找到」，不要硬编。

7. 评估：分两段看 ​

建评测集的正确姿势：从真实日志里抽 50～200 条问题 → 标注答案所在文档/片段 → 每次改动跑一遍。

记住顺序：先修检索，再修生成。召不回，模型再强也是编。

8. 进阶 ​

9. 常见失败模式对照 ​

10. 速查表 ​