AFAgent Field Notes会员账号
知识目录选择核心方向与细分内容
Q41高级场景设计约 18 分钟

语义裁判的校准与误差

让另一个 LLM 给答案打分可靠吗?怎样校准裁判?

考察裁判偏差、人工一致性、评分契约和对抗样本。

LLM-as-Judge校准偏差

知识内容核对 2026-10-03 · 原题来源核对 2026-10-02

本题目录

READ · UNDERSTAND · TRANSFER

阅读理解,按需巩固

我的笔记与复习 ↗

原理与解答已折叠。用自己的话解释核心机制、边界和验证方法,再展开对照。

作答与个人记录

每次修改后的提交会保留为独立历史。掌握程度由你对照标准自评。

先用自己的话解释

核心原理、解析、问答和迁移案例已收起。准备好后展开,对照内容找出遗漏。

巩固练习 按需完成 · 建议 15 分钟

写一份三维评分规则,并设计一条能骗过只看文风裁判的错误答案。

展开验收要求与检查点
  • 事实与文风分开评分
  • 理由指向证据
  • 危险错误不能被平均分掩盖

重点检查

  • 确定性检查与主观裁判分开
  • 能检测顺序和长度偏差
  • 有人工校准及版本治理