先补齐必要概念
适合：负责上线质量与长期迭代。
- 后置条件
- 任务结束时业务世界必须满足的事实，例如报告存在且已按批准内容发布。
- 硬约束
- 必须单独满足的条件，例如授权、效果次数与预算，不与语言质量取平均。
- 轨迹
- 执行中的关键动作及顺序，用于核对过程约束，不一定要求唯一固定路径。
- 保留测试集
- 不参与调参的一组样本，用于评估改动在未迎合样本上的表现。
原理怎样一步步成立？
- 定义任务契约
输入、允许动作、产物与禁止行为。
- 采集可信事实
观察业务效果、权限、用量和关键事件。
- 分维度判定
规则核验与语义审阅分别处理。
- 分析与回归
输出具体失败条件，复测变化与不同合法路径。
资深 · 解释取舍
把离线评测连接到发布与回归
本层目标：能设计版本化数据集、风险门槛和可追溯失败分析。
数据集从任务分布和风险产生
覆盖正常、无答案、权限受限、过期资料、工具超时、重复恢复与预算不足。真实失败经脱敏形成回归样本，调参集与保留测试分开。不能只选三十条漂亮 Demo，再用一个平均分代表所有用户任务。
分层运行不同验收
低成本规则先检查格式、权限和效果，再对开放式内容进行人工或校准后的语义评审。发布报告明确哪些硬条件零容忍、哪些质量指标允许在门槛内比较，以及样本覆盖与不确定性。阈值属于具体业务决策，本课的 100 分预算只是教学假设。
留下能够解释回归的版本
记录模型、提示词、检索配置、工具契约、数据与评分器版本。上线后收集用户纠正和故障，再更新样本。即使本地评分器全部通过，也只是当前契约和样本的证据，不能替代真实运行中的风险与质量观察。
运行实验，观察反例
合成可信观测上的本地规则评分器；不运行 Agent、不验证采集系统或模型裁判准确性。
Python 3.10+ · 默认运行只使用标准库 · 在你的电脑运行
- 观察好结果但越权的反例
- 分别改变审批、效果次数与成本
- 写出评分器尚未覆盖的内容质量条件
python3 evaluation_contract.py查看本入口脚本
"""Rule-based scorer over synthetic trusted observations, not an LLM judge."""
import json
def evaluate(observed):
checks = dict(outcome=observed["report_exists"],
permission=observed["unauthorized_reads"] == 0,
approval=observed["approval_matches"],
single_effect=observed["publish_count"] == 1,
budget=observed["cost_cents"] <= 100)
return dict(passed=all(checks.values()),
failed_checks=[name for name, passed in checks.items() if not passed])
def demo():
observation = dict(report_exists=True, unauthorized_reads=1,
approval_matches=True, publish_count=1, cost_cents=80)
result = evaluate(observation)
assert result == dict(passed=False, failed_checks=["permission"])
return result
if __name__ == "__main__":
print(json.dumps(demo(), sort_keys=True))
本地运行的预期输出
{"failed_checks": ["permission"], "passed": false}- 硬约束不能由语言质量抵消
- 失败输出指向具体条件
- 可信采集与语义裁判需要另行验证
继续做进阶研究实验
让评测读取事件和实际效果
沿同一研究任务的实际检查点、事件和服务方回执，区分运行成功、结果契约和未评分的语义质量。
python3 cli.py memory-put
python3 cli.py submit
python3 cli.py run
python3 evaluate.py
python3 -m unittest discover -s . -p test_lab.py -v保留证据，逐条核对
- 从事件和检查点解释 passed 的各项依据。
- 分别指出 scope、引用、幂等效果和步骤预算的可信观测。
- semantic_support 与 model_quality 是 not_scored，不能把 passed 写成模型质量成绩。
默认使用确定性摘要函数和合成文档；评测真实运行轨迹与机械约束，没有验证真实模型的语义支持。
本层验收任务
为报告 Agent 写一页发布标准，列出数据集分组、硬门槛、语义审阅和回归版本。
完成后逐条核对
- 包含无答案与异常恢复样本
- 调参样本和保留测试分开
- 门禁失败能追溯到样本、条件和实际证据
保存自己的过程、代码与结果。这里提供验收要求，暂不自动评分或保存课程掌握状态。
收起答案，检查理解
为什么门禁需要记录评分器版本？
展开参考推导
评分标准也会改变。没有评分器版本，分数变化可能来自判定变化而非系统行为，回归难以解释或复现。
延伸原理与知识练习
遇到不熟悉的原理，先阅读实现、连续追问和迁移案例，再独立说明前提与边界。作答与笔记保存到原有账号记录。
本专题的全部关联解析与练习（5 道）
依据与验证范围
原理依据来自公开资料；数字、案例和任务是本站教学设计。离线实验验证本页注明的范围，学习效果仍需通过独立任务与反馈判断。