RAG 答错时，如何判断是召回、重排、上下文还是生成的问题？

实现与取舍

代码示例

仅用排名实现一个最小 RRF 融合

Python 3 标准库演示。输入是假设的两个排名列表，没有真实检索、向量模型或语义重排；rank_constant 与检索 top-k 是不同参数。

def rrf(rankings, rank_constant=60):
    if rank_constant <= 0:
        raise ValueError("rank_constant must be positive")
    scores = {}
    for ranking in rankings:
        seen = set()
        for rank, doc_id in enumerate(ranking, start=1):
            if doc_id in seen:
                continue
            seen.add(doc_id)
            scores[doc_id] = scores.get(doc_id, 0.0) + 1 / (rank_constant + rank)
    return sorted(scores.items(), key=lambda item: (-item[1], item[0]))

keyword = ["exact-error-code", "overview", "faq"]
vector = ["overview", "exact-error-code", "runbook"]
for doc_id, score in rrf([keyword, vector]):
    print(doc_id, f"{score:.6f}")

预期输出

exact-error-code 0.032522
overview 0.032522
faq 0.015873
runbook 0.015873

工程推演

场景

假设工程场景：用户问某接口错误码，向量检索返回概念介绍，却漏掉包含精确错误码的运维文档。

设计决策

增加关键词召回并用排名融合；记录候选与最终上下文，复核错误码及适用版本。

验证目标

预期行为：精确文档进入候选后可检查是否被重排保留，并追踪回答引用是否对应它。

适用边界

示例没有承诺指标提升；融合参数、候选数量与重排选择必须在本地标注集验证。

易错点

• 检索不到答案时只升级生成模型
• 只记录最终答案，不记录候选与上下文
• 把 RRF 分数或相似度当成答案真实性概率

参考资料

依据公开技术资料设计；参考资料支持技术机制，场景与评分标准为本站设计，不代表某公司面试原题。 新增问答与迁移案例用于原理讲解，来源核查与案例运行验证分别记录。

• Azure AI Search：RRF 融合与各阶段分数
• Azure AI Search：向量过滤模式及召回影响
• Anthropic：Demystifying evals for AI agents

检查自己理解到哪一步

读完后可以对照这些标准解释原理、边界和取舍。掌握程度由你自评；需要进一步验证时，再完成下方小任务。

基础达标

能拆分解析、召回、重排、上下文和生成。

中高级信号

用中间候选、必要证据和固定查询集定位丢失点。

资深信号

通过消融隔离问题来源，结合权限、时效与最终引用判断。