先补齐必要概念
适合：需要排查评测失败或版本回归。
- 后置条件
- 任务结束时业务世界必须满足的事实，例如报告存在且已按批准内容发布。
- 硬约束
- 必须单独满足的条件，例如授权、效果次数与预算，不与语言质量取平均。
- 轨迹
- 执行中的关键动作及顺序，用于核对过程约束，不一定要求唯一固定路径。
- 保留测试集
- 不参与调参的一组样本，用于评估改动在未迎合样本上的表现。
原理怎样一步步成立？
- 定义任务契约
输入、允许动作、产物与禁止行为。
- 采集可信事实
观察业务效果、权限、用量和关键事件。
- 分维度判定
规则核验与语义审阅分别处理。
- 分析与回归
输出具体失败条件，复测变化与不同合法路径。
进阶 · 定位故障
找出是系统退化还是评分器误判
本层目标：能区分业务错误、合法路径差异与评判误差。
先看失败维度和实际证据
重放失败样本的输入版本、工具配置、观测与关键轨迹，确认评分器读取的事实是否可靠。任务实际正确而评分器固定要求某个工具顺序，是评测契约过窄；任务重复发布而评分器只看最终文本，则是契约缺失。
允许不同的合法路径
若任务允许并行检索，A 后 B 与 B 后 A 都可能正确。轨迹检查应关心必要事件、依赖与禁止行为，而不是比较所有事件的唯一完整排列。业务效果相同不代表过程都合法，过程检查也不能机械否定所有替代路径。
对随机性与裁判误差分别实验
同一任务重复运行，记录成功率和失败类型；有重试机会时说明统计单位是尝试还是任务。开放式裁判需要与人工标准校准，并复核分歧样本。使用被反复调参迎合的数据评估最终质量，会高估改进。
运行实验，观察反例
合成可信观测上的本地规则评分器；不运行 Agent、不验证采集系统或模型裁判准确性。
Python 3.10+ · 默认运行只使用标准库 · 在你的电脑运行
- 观察好结果但越权的反例
- 分别改变审批、效果次数与成本
- 写出评分器尚未覆盖的内容质量条件
python3 evaluation_contract.py查看本入口脚本
"""Rule-based scorer over synthetic trusted observations, not an LLM judge."""
import json
def evaluate(observed):
checks = dict(outcome=observed["report_exists"],
permission=observed["unauthorized_reads"] == 0,
approval=observed["approval_matches"],
single_effect=observed["publish_count"] == 1,
budget=observed["cost_cents"] <= 100)
return dict(passed=all(checks.values()),
failed_checks=[name for name, passed in checks.items() if not passed])
def demo():
observation = dict(report_exists=True, unauthorized_reads=1,
approval_matches=True, publish_count=1, cost_cents=80)
result = evaluate(observation)
assert result == dict(passed=False, failed_checks=["permission"])
return result
if __name__ == "__main__":
print(json.dumps(demo(), sort_keys=True))
本地运行的预期输出
{"failed_checks": ["permission"], "passed": false}- 硬约束不能由语言质量抵消
- 失败输出指向具体条件
- 可信采集与语义裁判需要另行验证
继续做进阶研究实验
让评测读取事件和实际效果
沿同一研究任务的实际检查点、事件和服务方回执，区分运行成功、结果契约和未评分的语义质量。
python3 cli.py memory-put
python3 cli.py submit
python3 cli.py run
python3 evaluate.py
python3 -m unittest discover -s . -p test_lab.py -v保留证据，逐条核对
- 从事件和检查点解释 passed 的各项依据。
- 分别指出 scope、引用、幂等效果和步骤预算的可信观测。
- semantic_support 与 model_quality 是 not_scored，不能把 passed 写成模型质量成绩。
默认使用确定性摘要函数和合成文档；评测真实运行轨迹与机械约束，没有验证真实模型的语义支持。
本层验收任务
给并行查资料任务设计两个合法轨迹和一个越权轨迹，再写判定规则。
完成后逐条核对
- 合法路径不因无关顺序差异失败
- 越权事件独立判失败
- 说明重复运行与任务成功率的统计口径
保存自己的过程、代码与结果。这里提供验收要求，暂不自动评分或保存课程掌握状态。
收起答案，检查理解
换一个更宽松的裁判后成功率上升，能说系统质量提升了吗？
展开参考推导
不能直接说。判定标准变化也能导致分数上升，应固定或校准标准，再比较实际任务结果与人工分歧。
延伸原理与知识练习
遇到不熟悉的原理，先阅读实现、连续追问和迁移案例，再独立说明前提与边界。作答与笔记保存到原有账号记录。
本专题的全部关联解析与练习（5 道）
依据与验证范围
原理依据来自公开资料；数字、案例和任务是本站教学设计。离线实验验证本页注明的范围，学习效果仍需通过独立任务与反馈判断。