先补齐必要概念
适合：第一次接触检索增强回答。
- 召回
- 从资料库找出可能相关的候选，不表示它们最终进入模型输入。
- 重排
- 重新排列候选的优先级，影响有限上下文中先放哪些材料。
- 必要证据
- 足以支持本问题结论的材料集合，可能同时需要正文和例外条款。
- 证据支持
- 结论是否被实际材料及适用条件支持；有引用链接也可能没有支持。
原理怎样一步步成立？
- 确认资料
原始资料存在、有效且有权使用。
- 召回与排序
记录候选标识及排名。
- 组装上下文
保留必要材料、条件与来源标识。
- 生成与核对
检查每项结论及拒答是否符合证据。
入门 · 理解原理
为什么搜到了文档，回答还是错？
本层目标：能说明检索到、送入模型和支持结论是不同阶段。
从开卷作答理解 RAG
RAG 先找材料，再将材料放入模型上下文生成回答。它改变的是本次作答可用的证据，并没有因此保证每个结论都正确。资料库没有答案、文档过期或者当前用户无权读取时，增加模型能力不能补出合法的证据。
一条规则可能需要两块材料
教学场景：一般退款期为七天，但预售商品按另一个条件处理。只放一般条款、漏掉例外，会得到看起来合理却错误的回答。需要把支持结论的证据集合标出来，而不是只标一个“相关文档”。
每经过一步都可能丢失
正确材料可能没被召回，也可能召回后排得太低；排序正确后又被上下文裁掉；材料全部送入后，生成仍可能忽略条件。诊断从最早的缺口开始，才能知道应该修检索、排序、组装还是生成。
运行实验，观察反例
固定证据标识列表的管线诊断；不执行向量检索、真实重排、语言模型或语义裁判。
Python 3.10+ · 默认运行只使用标准库 · 在你的电脑运行
- 核对 necessary evidence 的两块材料
- 运行上下文缺失反例
- 分别改变候选与回答支持条件
python3 rag_evidence.py查看本入口脚本
"""Trace evidence survival through fixed lists; no search or LLM is executed."""
import json
def diagnose(required, candidates, ranked, context, supported_claims):
if not required.issubset(set(candidates)):
return "retrieval"
if not required.issubset(set(ranked)):
return "ranking"
if not required.issubset(set(context)):
return "context"
if not supported_claims:
return "generation"
return "supported"
def demo():
required = {"policy-current", "policy-exception"}
candidates = ["old-policy", "policy-current", "policy-exception"]
ranked = ["policy-current", "policy-exception", "old-policy"]
stage = diagnose(required, candidates, ranked, ranked[:1], True)
fixed = diagnose(required, candidates, ranked, ranked[:2], True)
assert stage == "context" and fixed == "supported"
return dict(first_failure=stage, fixed_evidence_check=fixed,
generation_still_needs_review=True)
if __name__ == "__main__":
print(json.dumps(demo(), sort_keys=True))
本地运行的预期输出
{"first_failure": "context", "fixed_evidence_check": "supported", "generation_still_needs_review": true}- 定位最早证据缺口
- 集合检查与语义检查分开
- 最终修复需核对真实结论
本层验收任务
画出资料、候选、排序、上下文和回答五个阶段，标注一般条款及例外在哪一步丢失。
完成后逐条核对
- 区分候选与实际输入
- 必要证据同时包含规则与例外
- 不把所有失败归结为模型不够强
保存自己的过程、代码与结果。这里提供验收要求，暂不自动评分或保存课程掌握状态。
收起答案，检查理解
检索日志里出现正确文档，能证明模型见到了正确条款吗？
展开参考推导
不能。还要核对切块、排序、上下文选择及实际发送材料，正确文档可能只出现在候选列表。
延伸原理与知识练习
遇到不熟悉的原理，先阅读实现、连续追问和迁移案例，再独立说明前提与边界。作答与笔记保存到原有账号记录。
本专题的全部关联解析与练习（4 道）
依据与验证范围
原理依据来自公开资料；数字、案例和任务是本站教学设计。离线实验验证本页注明的范围，学习效果仍需通过独立任务与反馈判断。