先补齐必要概念
适合：已经搭建 RAG，需要定位质量退化。
- 召回
- 从资料库找出可能相关的候选，不表示它们最终进入模型输入。
- 重排
- 重新排列候选的优先级，影响有限上下文中先放哪些材料。
- 必要证据
- 足以支持本问题结论的材料集合，可能同时需要正文和例外条款。
- 证据支持
- 结论是否被实际材料及适用条件支持；有引用链接也可能没有支持。
原理怎样一步步成立？
- 确认资料
原始资料存在、有效且有权使用。
- 召回与排序
记录候选标识及排名。
- 组装上下文
保留必要材料、条件与来源标识。
- 生成与核对
检查每项结论及拒答是否符合证据。
进阶 · 定位故障
把一次答错变成分阶段实验
本层目标：能够保留复现条件、找到证据丢失点并验证修复。
固定输入世界
记录问题、改写、权限、知识版本、分块、检索渠道与候选规模。对失败样本人工标注必要证据。没有这些条件，今天答对、明天答错可能只是资料变化，不能可靠归因于某个参数。
根据首个缺口选择修复
缺少精确产品编号时考虑关键词召回；候选包含正确材料但排序低时检查重排；排序正确、例外被截掉时修上下文组装。混合检索融合的是多个排名或经过明确校准的信号，不能随意将不同量纲分数相加。Azure 的 RRF 是具体实现的一种排名融合机制，不代表所有系统都采用它。
修复后检查新代价
增大 top-k 可能提高候选覆盖，也可能增加噪声、成本和输入长度。固定有答案、无答案、旧版本与权限受限样本，比较阶段结果以及最终证据支持。一次个案成功只证明该样本改善，不能推导整体效果。
运行实验，观察反例
固定证据标识列表的管线诊断；不执行向量检索、真实重排、语言模型或语义裁判。
Python 3.10+ · 默认运行只使用标准库 · 在你的电脑运行
- 核对 necessary evidence 的两块材料
- 运行上下文缺失反例
- 分别改变候选与回答支持条件
python3 rag_evidence.py查看本入口脚本
"""Trace evidence survival through fixed lists; no search or LLM is executed."""
import json
def diagnose(required, candidates, ranked, context, supported_claims):
if not required.issubset(set(candidates)):
return "retrieval"
if not required.issubset(set(ranked)):
return "ranking"
if not required.issubset(set(context)):
return "context"
if not supported_claims:
return "generation"
return "supported"
def demo():
required = {"policy-current", "policy-exception"}
candidates = ["old-policy", "policy-current", "policy-exception"]
ranked = ["policy-current", "policy-exception", "old-policy"]
stage = diagnose(required, candidates, ranked, ranked[:1], True)
fixed = diagnose(required, candidates, ranked, ranked[:2], True)
assert stage == "context" and fixed == "supported"
return dict(first_failure=stage, fixed_evidence_check=fixed,
generation_still_needs_review=True)
if __name__ == "__main__":
print(json.dumps(demo(), sort_keys=True))
本地运行的预期输出
{"first_failure": "context", "fixed_evidence_check": "supported", "generation_still_needs_review": true}- 定位最早证据缺口
- 集合检查与语义检查分开
- 最终修复需核对真实结论
本层验收任务
为“候选第 30 名有正确证据，但最终只用 5 块”写诊断与对照实验。
完成后逐条核对
- 先确认前 5 块是否缺少必要证据
- 分开改变排序和上下文规模
- 同时复核无答案样本、条件遗漏与输入成本
保存自己的过程、代码与结果。这里提供验收要求，暂不自动评分或保存课程掌握状态。
收起答案，检查理解
所有问题都增大 top-k，有什么可能的退化？
展开参考推导
噪声和重复材料可能挤掉关键条件，增加容量与延迟成本；最终结论仍可能不忠于证据，所以需固定样本比较。
延伸原理与知识练习
遇到不熟悉的原理，先阅读实现、连续追问和迁移案例，再独立说明前提与边界。作答与笔记保存到原有账号记录。
本专题的全部关联解析与练习（4 道）
依据与验证范围
原理依据来自公开资料；数字、案例和任务是本站教学设计。离线实验验证本页注明的范围，学习效果仍需通过独立任务与反馈判断。